VERFAHREN ZUM DETEKTIEREN EINES BLICKWINKELABHÄNGIGEN MERKMALS EINES DOKUMENTES

Beschreibung

[0001] Die vorliegende Erfindung betrifft das Gebiet der Detektion blickwinkelabhängiger Merkmale, insbesondere von Hologrammen, auf Dokumenten.

[0002] Die Offenlegungsschrift US 2009/154813 A1 zeigt ein Verfahren und eine Vorrichtung zum Validieren eines Hologramms, welches von einem Dokument umfasst ist.

[0003] Die Offenlegungsschrift US 2012/163666 A1 zeigt ein Verfahren, um die Authentizität eines Führerscheins zu verifizieren.

[0004] Die Druckschrift "BROWN L G: "A SURVEY OF IMAGE REGISTRATION TECHNIQUES", ACM COMPUTING SURVEYS, ACM, NEW YORK, NY, US, US, Bd. 24, Nr. 4, 1. Dezember 1992 (1992-12-01), Seiten 325-376, XP000561460, ISSN: 0360-0300, DOI: 10.1145/146370.146374" gibt eine Übersicht von verschiedenen Bildregistrierungstechniken an.

[0005] Die Offenlegungsschrift WO 92/01975 A1 zeigt ein Verfahren zur Identifizierung eines Hologramms.

[0006] Die Offenlegungsschrift US 2005/129282 A1 zeigt ein Verfahren zur Verifikation eines Hologramms.

[0007] Die Offenlegungsschrift WO 2010/116279 A1 ist auf eine Vorrichtung und ein Verfahren für eine automatische Verifikation von polarisationsabhängigen Bildern gerichtet.

[0008] Blickwinkelabhängige Merkmale, beispielsweise Hologramme, werden für eine Vielzahl von Anwendungen eingesetzt, um eine Prüfung einer Echtheit oder Authentizität von Dokumenten zu ermöglichen. Beispielsweise werden blickwinkelabhängige Merkmale auf Identifikationsdokumenten oder Banknoten aufgebracht, um ein Kopieren der Dokumente zu erschweren. Blickwinkelabhängige Merkmale können dabei blickwinkelabhängige Darstellungen aufweisen.

[0009] Eine Verifikation eines blickwinkelabhängigen Merkmals zur Prüfung der Echtheit oder Authentizität eines Dokumentes kann manuell durch eine Person durchgeführt werden.

[0010] Die Detektion des blickwinkelabhängigen Merkmals des Dokumentes erfolgt dabei visuell durch die Person. Anschließend kann das blickwinkelabhängige Merkmal visuell durch die Person verifiziert werden, beispielsweise durch einen visuellen Vergleich der Darstellungen des blickwinkelabhängigen Merkmals mit vorbekannten Referenzdarstellungen. Eine Detektion und Verifikation eines blickwinkelabhängigen Merkmals durch eine Person ist üblicherweise sehr zeitintensiv.

[0011] Zur Verifikation eines blickwinkelabhängigen Merkmals eines Dokumentes ist daher ein Einsatz elektronischer Assistenzsysteme von besonderem Interesse. Hierfür ist es wünschenswert, eine Detektion des blickwinkelabhängigen Merkmals des Dokumentes in automatisierter Weise durchzuführen.

[0012] In A. Hartl, J. Grubert, D. Schmalstieg, und G. Reitmayr, "Mobile interactive hologram verification", in ISMAR, Seiten 75 - 82, 2013, ist ein Ansatz zur mobilen Verifikation von Hologrammen beschrieben.

[0013] In A. Hartl, und G. Reitmayr, "Rectangular target extraction for mobile augmented reality applications", in Proceedings of the International Conference on Pattern Recognition, Seiten 81 - 84, 2012, ist ein Ansatz zur Extraktion rechteckförmiger Objekte beschrieben.

[0014] Es ist daher die Aufgabe der vorliegenden Erfindung, ein effizientes Konzept zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes zu schaffen.

[0015] Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungsformen sind Gegenstand der abhängigen Patentansprüche, der Beschreibung sowie der Zeichnungen.

[0016] Die Erfindung basiert auf der Erkenntnis, dass die obige Aufgabe durch ein Erfassen von Bildern des Dokumentes in unterschiedlichen Raumlagen relativ zu dem Dokument und durch ein Bestimmen eines Bildunterschiedes zwischen den erfassten Bildern gelöst werden kann. Durch das Erfassen der Bilder des Dokumentes in unterschiedlichen Raumlagen wird erreicht, dass das blickwinkelabhängige Merkmal in den Bildern des Dokumentes unterschiedliche blickwinkelabhängige Darstellungen aufweist. Durch das Bestimmen des Bildunterschieds zwischen den erfassten Bildern, können Bildbereiche mit starken optischen Veränderungen effizient dem blickwinkelabhängigen Merkmal zugeordnet werden.

[0017] Gemäß einem ersten Aspekt betrifft die Erfindung ein Verfahren zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes unter Verwendung einer Bildkamera, wobei das blickwinkelabhängige Merkmal blickwinkelabhängige Darstellungen aufweist, mit einem Erfassen eines ersten Bildes des Dokumentes durch die Bildkamera in einer ersten Raumlage des Dokumentes relativ zu der Bildkamera, um ein erstes Dokumentenbild zu erhalten, einem Erfassen eines zweiten Bildes des Dokumentes durch die Bildkamera in einer zweiten Raumlage des Dokumentes relativ zu der Bildkamera, um ein zweites Dokumentenbild zu erhalten, und einem Erfassen eines Bildunterschieds zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild, um das blickwinkelabhängige Merkmal des Dokumentes zu detektieren. Dadurch wird der Vorteil erreicht, dass ein effizientes Konzept zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes realisiert werden kann.

[0018] Das blickwinkelabhängige Merkmal kann blickwinkelabhängige Darstellungen und/oder beleuchtungswinkelabhängige Darstellungen aufweisen.

[0019] Das Dokument kann eines der folgenden Dokumente sein: ein Identitätsdokument, wie beispielsweise ein Personalausweis, ein Reisepass, ein Zugangskontrollausweis, ein

[0020] Berechtigungsausweis, ein Unternehmensausweis, ein Steuerzeichen, ein Ticket, eine Geburtsurkunde, ein Führerschein, ein Kraftfahrzeugausweis, oder ein Zahlungsmittel, beispielsweise eine Bankkarte oder eine Kreditkarte. Das Dokument kann ferner einen elektronisch auslesbaren Schaltkreis, beispielsweise einen RFID-Chip umfassen. Das Dokument kann ein- oder mehrlagig sowie papier- und/oder kunststoffbasiert sein. Das Dokument kann aus kunststoffbasierten Folien aufgebaut sein, welche zu einem Kartenkörper mittels Verkleben und/oder Laminieren zusammengefügt werden, wobei die Folien bevorzugt ähnliche stoffliche Eigenschaften aufweisen.

[0021] Die erste Raumlage des Dokumentes relativ zu der Bildkamera kann eine Anordnung und/oder Neigung des Dokumentes relativ zu der Bildkamera umfassen. Die erste Raumlage kann eine Pose mit sechs Freiheitsgraden umfassen, wobei drei Freiheitsgrade der Anordnung zugeordnet sein können, und wobei drei Freiheitsgrade der Neigung, beispielsweise umfassend eine Translation und eine Rotation, zugeordnet sein können.

[0022] Die zweite Raumlage des Dokumentes relativ zu der Bildkamera kann eine Anordnung und/oder Neigung des Dokumentes, beispielsweise umfassend eine Translation und eine Rotation, relativ zu der Bildkamera umfassen. Die zweite Raumlage kann eine Pose mit sechs Freiheitsgraden umfassen, wobei drei Freiheitsgrade der Anordnung zugeordnet sein können, und wobei drei Freiheitsgrade der Neigung, beispielsweise umfassend eine Translation und eine Rotation, zugeordnet sein können.

[0023] Das erste Dokumentenbild kann ein Farbbild oder ein Graustufenbild sein. Das erste Dokumentenbild kann eine Mehrzahl von Pixeln umfassen. Das zweite Dokumentenbild kann ein Farbbild oder ein Graustufenbild sein. Das zweite Dokumentenbild kann eine Mehrzahl von Pixeln umfassen. Das erste Dokumentenbild und das zweite Dokumentenbild können einen Bildstapel bilden.

[0024] Der Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild kann auf Basis der Mehrzahl von Pixeln des ersten Dokumentenbildes und der Mehrzahl von Pixeln des zweiten Dokumentenbildes erfasst werden.

[0025] Gemäß einer Ausführungsform umfasst das Verfahren ein Erfassen einer Mehrzahl von Bildern des Dokumentes durch die Bildkamera in unterschiedlichen Raumlagen des Dokumentes relativ zu der Bildkamera, wobei das Erfassen des ersten Bildes des Dokumentes ein Auswählen des ersten Bildes aus der Mehrzahl von Bildern in der ersten Raumlage umfasst, und wobei das Erfassen des zweiten Bildes des Dokumentes ein Auswählen des zweiten Bildes aus der Mehrzahl von Bildern in der zweiten Raumlage umfasst. Dadurch wird der Vorteil erreicht, dass das erste Dokumentenbild und das zweite Dokumentenbild in unterschiedlichen Raumlagen erfasst werden können.

[0026] Das Erfassen der Mehrzahl von Bildern des Dokumentes kann ein Bestimmen einer jeweiligen Raumlage auf Basis eines jeweiligen Bildes umfassen. Die jeweiligen Raumlagen können mit der ersten Raumlage verglichen werden, um das erste Bild aus der Mehrzahl von Bildern auszuwählen. Die jeweiligen Raumlagen können mit der zweiten Raumlage verglichen werden, um das zweite Bild aus der Mehrzahl von Bildern auszuwählen. Die erste Raumlage und die zweite Raumlage können vorbestimmt sein.

[0027] Gemäß der Erfindung umfasst das Erfassen des ersten Bildes des Dokumentes ferner ein perspektivisches Entzerren des ersten Dokumentenbildes auf Basis der ersten Raumlage, und umfasst das Erfassen des zweiten Bildes des Dokumentes ferner ein perspektivisches Entzerren des zweiten Dokumentenbildes auf Basis der zweiten Raumlage. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient erfasst werden kann.

[0028] Durch das perspektivische Entzerren des ersten Dokumentenbildes kann ein rechteckförmiges erstes Dokumentenbild bereitgestellt werden. Durch das perspektivische Entzerren des zweiten Dokumentenbildes kann ein rechteckförmiges zweites Dokumentenbild bereitgestellt werden.

[0029] Das perspektivische Entzerren des ersten Dokumentenbildes kann ein Skalieren des ersten Dokumentenbildes umfassen. Das perspektivische Entzerren des zweiten Dokumentenbildes kann ein Skalieren des zweiten Dokumentenbildes umfassen.

[0030] Gemäß der Erfindung umfasst das Verfahren ferner ein Bestimmen der ersten Raumlage des Dokumentes relativ zu der Bildkamera auf Basis des ersten Dokumentenbildes und/oder ein Bestimmen der zweiten Raumlage des Dokumentes relativ zu der Bildkamera auf Basis des zweiten Dokumentenbildes. Dadurch wird der Vorteil erreicht, dass die erste Raumlage und/oder die zweite Raumlage zum Auswählen des ersten Bildes und/oder des zweiten Bildes aus der Mehrzahl von Bildern verwendet werden kann. Die erste Raumlage und/oder die zweite Raumlage können ferner zum perspektivischen Entzerren des ersten Dokumentenbildes und/oder des zweiten Dokumentenbildes verwendet werden.

[0031] Das Bestimmen der ersten Raumlage und das Bestimmen der zweiten Raumlage kann ein Bestimmen einer jeweiligen Homographie umfassen.

[0032] Gemäß einer Ausführungsform wird die jeweilige Raumlage mittels einer Kantendetektion bestimmt. Dadurch wird der Vorteil erreicht, dass die jeweilige Raumlage relativ zu rechteckförmigen Dokumenten effizient bestimmt werden kann.

[0033] Die Kantendetektion kann eine Detektion von Linien, Rechtecken, Parallelogrammen oder Trapezen im ersten Dokumentenbild und/oder im zweiten Dokumentenbild umfassen. Die Kantendetektion kann unter Verwendung einer Hough-Transformation durchgeführt werden.

[0034] Gemäß einer Ausführungsform wird das jeweilige Dokumentenbild zur Rauschreduktion tiefpassgefiltert. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient erfasst werden kann.

[0035] Die Tiefpassfilterung kann mittels eines gefensterten Mittelwertfilters oder eines gefensterten Gaußfilters durchgeführt werden. Die Tiefpassfilterung kann ferner ein Bestimmen eines jeweiligen Integralbildes des jeweiligen Dokumentenbildes umfassen, wobei die Tiefpassfilterung unter Verwendung des jeweiligen Integralbildes durchgeführt werden kann.

[0036] Gemäß einer Ausführungsform wird das erste Dokumentenbild mit dem zweiten Dokumentenbild verglichen, um eine Ausrichtung des ersten Dokumentenbildes in Bezug zu dem zweiten Dokumentenbild zu bestimmen, wobei das erste Dokumentenbild und das zweite Dokumentenbild auf Basis der bestimmten Ausrichtung in Bezug aufeinander ausgerichtet werden. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient bestimmt werden kann.

[0037] Das Vergleichen des ersten Dokumentenbildes mit dem zweiten Dokumentenbild kann ein Extrahieren und Vergleichen von Bildmerkmalen des ersten Dokumentenbildes und des zweiten Dokumentenbildes umfassen. Die Bildmerkmale können beispielsweise BRISK-Bildmerkmale oder SURF-Bildmerkmale sein.

[0038] Gemäß einer Ausführungsform umfasst das Bestimmen des Bildunterschieds zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild ein Bestimmen eines Unterschiedsbildes auf Basis des ersten Dokumentenbildes und des zweiten Dokumentenbildes, wobei das Unterschiedsbild einen Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild anzeigt. Dadurch wird der Vorteil erreicht, dass der Bildunterschied anhand des Unterschiedsbildes effizient angezeigt werden kann.

[0039] Das Unterschiedsbild kann ein Graustufenbild sein. Das Unterschiedsbild kann eine Mehrzahl von Pixeln umfassen. Das Unterschiedsbild kann ferner einem Bildstapel zugeordnet sein.

[0040] Gemäß einer Ausführungsform wird ein Mittelwert aus einem ersten Pixelwert eines Pixels des ersten Dokumentenbildes und einem zweiten Pixelwert eines Pixels des zweiten Dokumentenbildes bestimmt, wobei eine erste Abweichung des ersten Pixelwertes von dem Mittelwert bestimmt wird, wobei eine zweite Abweichung des zweiten Pixelwertes von dem Mittelwert bestimmt wird, und wobei der Bildunterschied auf Basis der ersten Abweichung und der zweiten Abweichung erfasst wird. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient erfasst werden kann.

[0041] Der erste Pixelwert und/oder der zweite Pixelwert können Graustufenwerte sein. Der Mittelwert kann ein arithmetischer Mittelwert oder ein Median sein. Die Abweichung kann eine quadratische Abweichung oder eine absolute Abweichung sein.

[0042] Gemäß einer Ausführungsform wird eine erste Dokumentenbildmaske auf Basis des ersten Dokumentenbildes bestimmt, wobei eine zweite Dokumentenbildmaske auf Basis des zweiten Dokumentenbildes bestimmt wird, und wobei der Bildunterschied auf Basis der ersten Dokumentenbildmaske und der zweiten Dokumentenbildmaske erfasst wird. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient bestimmt werden kann.

[0043] Die erste Dokumentenbildmaske kann Pixel mit binärwertigen Pixelwerten aufweisen, um gültige und ungültige Pixel des ersten Dokumentenbildes anzuzeigen. Die zweite Dokumentenbildmaske kann Pixel mit binärwertigen Pixelwerten aufweisen, um gültige und ungültige Pixel des zweiten Dokumentenbildes anzuzeigen.

[0044] Gemäß einer Ausführungsform zeigt die jeweilige Dokumentenbildmaske Pixel des jeweiligen Dokumentenbildes an, welche zur Erfassung des Bildunterschieds verwendbar sind. Dadurch wird der Vorteil erreicht, dass nur gültige Pixel des jeweiligen Dokumentenbildes zur Erfassung des Bildunterschieds verwendet werden.

[0045] Ein Pixel eines jeweiligen Dokumentenbildes kann beispielsweise ungültig sein, wenn der Pixel einem Bereich des Dokumentes zugeordnet ist, welcher unvollständig erfasst wurde.

[0046] Gemäß der Erfindung wird der Bildunterschied in eine Mehrzahl von Bildsegmenten segmentiert, wobei das blickwinkelabhängige Merkmal des Dokumentes auf Basis zumindest eines Bildsegmentes der Mehrzahl von Bildsegmenten detektiert wird. Dadurch wird der Vorteil erreicht, dass Bildsegmente zur Detektion des blickwinkelabhängigen Merkmals verwendet werden können. Der Bildunterschied kann durch ein Unterschiedsbild angezeigt werden, wobei das Unterschiedsbild in die Mehrzahl von Bildsegmenten segmentiert wird.

[0047] Die Segmentierung kann mittels eines pixelorientierten Bildsegmentierungsverfahrens, eines kantenorientierten Bildsegmentierungsverfahrens, eines bereichsorientierten Bildsegmentierungsverfahrens, eines modellorientierten Bildsegmentierungsverfahrens, oder eines texturorientierten Bildsegmentierungsverfahrens durchgeführt werden. Das Bildsegmentierungsverfahren kann beispielsweise ein Maximally-Stable-Extremal-Regions (MSER) Verfahren oder ein Mean-Shift Verfahren umfassen. Die Bildsegmente können zusammenhängende Bildsegmente sein.

[0048] Gemäß der Erfindung wird für ein Bildsegment der Mehrzahl von Bildsegmenten ein Bildsegmentmaß bestimmt, wobei das bestimmte Bildsegmentmaß mit einem vorbestimmten Bildsegmentmaß verglichen wird, um das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals zu qualifizieren. Dadurch wird der Vorteil erreicht, dass ein Bildsegment, welches das vorbestimmte Bildsegmentmaß aufweist, für die Detektion des blickwinkelabhängigen Merkmals verwendet werden kann.

[0049] Das Bildsegmentmaß kann eine Fläche des Bildsegmentes, ein Seitenlängenverhältnis des Bildsegmentes, eine Kompaktheit des Bildsegmentes, ein Pixelwert eines Pixels des Bildsegmentes, oder ein Homogenitätsmaß des Bildsegmentes sein.

[0050] Gemäß der Erfindung ist einem Bildsegment der Mehrzahl von Bildsegmenten ein erstes Dokumentenbildsegment des ersten Dokumentenbildes und ein zweites Dokumentenbildsegment des zweiten Dokumentenbildes zugeordnet, wobei das erste Dokumentenbildsegment mit dem zweiten Dokumentenbildsegment verglichen wird, um das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals zu qualifizieren. Dadurch wird der Vorteil erreicht, dass ein geeignetes Bildsegment für die Detektion des blickwinkelabhängigen Merkmals verwendet werden kann.

[0051] Der Vergleich des ersten Dokumentenbildsegmentes mit dem zweiten Dokumentenbildsegment wird mittels einer normalisierten Kreuzkorrelation durchgeführt.

[0052] Das Bildsegment wird für die Detektion des blickwinkelabhängigen Merkmals qualifiziert, wenn das erste Dokumentenbildsegment und das zweite Dokumentenbildsegment unterschiedlich sind.

[0053] Gemäß einer Ausführungsform umfasst das blickwinkelabhängige Merkmal ein Hologramm oder eine Drucktinte mit blickwinkelabhängigen Reflexionseigenschaften oder Absorptionseigenschaften. Dadurch wird der Vorteil erreicht, dass das blickwinkelabhängige Merkmal mit blickwinkelabhängigen Darstellungen einfach realisiert werden kann.

[0054] Gemäß einem zweiten Aspekt betrifft die Erfindung ein Mobilgerät nach Anspruch 10 zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes, wobei das blickwinkelabhängige Merkmal blickwinkelabhängige Darstellungen aufweist, mit einer Bildkamera, welche ausgebildet ist, ein erstes Bild des Dokumentes in einer ersten Raumlage des Dokumentes relativ zu der Bildkamera zu erfassen, um ein erstes Dokumentenbild zu erhalten, und ein zweites Bild des Dokumentes in einer zweiten Raumlage des Dokumentes relativ zu der Bildkamera zu erfassen, um ein zweites Dokumentenbild zu erhalten, und einem Prozessor, welcher ausgebildet ist, einen Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild zu erfassen, um das blickwinkelabhängige Merkmal des Dokumentes zu detektieren. Dadurch wird der Vorteil erreicht, dass ein effizientes Konzept zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes realisiert werden kann.

[0055] Das Mobilgerät kann ein Mobiltelefon oder ein Smartphone sein. Die Bildkamera kann eine digitale Bildkamera sein. Der Prozessor kann ein Computerprogramm ausführen.

[0056] Das Mobilgerät kann ferner eine Beleuchtungseinrichtung zum Beleuchten des Dokumentes aufweisen. Die Beleuchtungseinrichtung kann eine LED-Beleuchtungseinrichtung sein.

[0057] Das Verfahren kann mittels des Mobilgerätes ausgeführt werden. Weitere Merkmale des Mobilgerätes resultieren unmittelbar aus der Funktionalität des Verfahrens.

[0058] Gemäß einem dritten Aspekt betrifft die Erfindung ein Computerprogramm nach Anspruch 11 mit einem

[0059] Programmcode zum Ausführen des Verfahrens, wenn das Computerprogramm auf einem Computer ausgeführt wird. Dadurch wird der Vorteil erreicht, dass das Verfahren automatisiert und wiederholbar ausgeführt werden kann.

[0060] Das Computerprogramm kann in maschinen-lesbarer Form vorliegen. Der Programmcode kann eine Folge von Befehlen für einen Prozessor umfassen. Das Computerprogramm kann durch den Prozessor des Mobilgerätes ausgeführt werden.

[0061] Die Erfindung kann in Hardware und/oder Software realisiert werden.

[0062] Weitere Ausführungsbeispiele werden Bezug nehmend auf die beiliegenden Figuren näher erläutert. Es zeigen:

Fig. 1 ein Diagramm eines Verfahrens zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform;

Fig. 2 ein Diagramm eines Mobilgerätes zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform;

Fig. 3 ein Diagramm eines Verfahrens zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform;

Fig. 4 ein Diagramm eines Detektionsszenarios zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform;

Fig. 5 ein Diagramm einer Mehrzahl von erfassten Bildern des Dokumentes gemäß einer Ausführungsform;

Fig. 6 ein Oberflächendiagramm eines Unterschiedsbildes gemäß einer Ausführungsform;

Fig. 7 ein Diagramm eines Unterschiedsbildes und ein Konturdiagramm eines segmentierten Unterschiedsbildes gemäß einer Ausführungsform;

Fig. 8 Konturdiagramme mit Bildsegmenten für eine Mehrzahl von erfassten Bildern eines Dokumentes gemäß einer Ausführungsform; und

Fig. 9 ein Diagramm einer Mehrzahl von Raumlagen zum Erfassen einer Mehrzahl von Bildern des Dokumentes gemäß einer Ausführungsform.

[0063] Fig. 1 zeigt ein Diagramm eines Verfahrens 100 zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform. Das Verfahren 100 wird unter Verwendung einer Bildkamera durchgeführt. Das blickwinkelabhängige Merkmal weist blickwinkelabhängige Darstellungen auf.

[0064] Das Verfahren 100 umfasst ein Erfassen 101 eines ersten Bildes des Dokumentes durch die Bildkamera in einer ersten Raumlage des Dokumentes relativ zu der Bildkamera, um ein erstes Dokumentenbild zu erhalten, ein Erfassen 103 eines zweiten Bildes des Dokumentes durch die Bildkamera in einer zweiten Raumlage des Dokumentes relativ zu der Bildkamera, um ein zweites Dokumentenbild zu erhalten, und ein Erfassen 105 eines Bildunterschieds zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild, um das blickwinkelabhängige Merkmal des Dokumentes zu detektieren.

[0065] Das blickwinkelabhängige Merkmal kann blickwinkelabhängige Darstellungen und/oder beleuchtungswinkelabhängige Darstellungen aufweisen.

[0066] Das Dokument kann eines der folgenden Dokumente sein: ein Identitätsdokument, wie beispielsweise ein Personalausweis, ein Reisepass, ein Zugangskontrollausweis, ein Berechtigungsausweis, ein Unternehmensausweis, ein Steuerzeichen, ein Ticket, eine Geburtsurkunde, ein Führerschein, ein Kraftfahrzeugausweis, oder ein Zahlungsmittel, beispielsweise eine Bankkarte oder eine Kreditkarte. Das Dokument kann ferner einen elektronisch auslesbaren Schaltkreis, beispielsweise einen RFID-Chip umfassen. Das Dokument kann ein- oder mehrlagig sowie papier- und/oder kunststoffbasiert sein. Das Dokument kann aus kunststoffbasierten Folien aufgebaut sein, welche zu einem Kartenkörper mittels Verkleben und/oder Laminieren zusammengefügt werden, wobei die Folien bevorzugt ähnliche stoffliche Eigenschaften aufweisen.

[0067] Die erste Raumlage des Dokumentes relativ zu der Bildkamera kann eine Anordnung und/oder Neigung des Dokumentes, beispielsweise umfassend eine Translation und eine Rotation, relativ zu der Bildkamera umfassen. Die erste Raumlage kann eine Pose mit sechs Freiheitsgraden umfassen, wobei drei Freiheitsgrade der Anordnung zugeordnet sein können, und wobei drei Freiheitsgrade der Neigung zugeordnet sein können.

[0068] Die zweite Raumlage des Dokumentes relativ zu der Bildkamera kann eine Anordnung und/oder Neigung des Dokumentes relativ zu der Bildkamera umfassen. Die zweite Raumlage kann eine Pose mit sechs Freiheitsgraden umfassen, wobei drei Freiheitsgrade der Anordnung zugeordnet sein können, und wobei drei Freiheitsgrade der Neigung zugeordnet sein können.

[0069] Das erste Dokumentenbild kann ein Farbbild oder ein Graustufenbild sein. Das erste Dokumentenbild kann eine Mehrzahl von Pixeln umfassen. Das zweite Dokumentenbild kann ein Farbbild oder ein Graustufenbild sein. Das zweite Dokumentenbild kann eine Mehrzahl von Pixeln umfassen. Das erste Dokumentenbild und das zweite Dokumentenbild können einen Bildstapel bilden.

[0070] Der Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild kann auf Basis der Mehrzahl von Pixeln des ersten Dokumentenbildes und der Mehrzahl von Pixeln des zweiten Dokumentenbildes erfasst werden.

[0071] Fig. 2 zeigt ein Diagramm eines Mobilgerätes 200 zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform. Das blickwinkelabhängige Merkmal weist blickwinkelabhängige Darstellungen auf.

[0072] Das Mobilgerät 200 umfasst eine Bildkamera 201, welche ausgebildet ist, ein erstes Bild des Dokumentes in einer ersten Raumlage des Dokumentes relativ zu der Bildkamera zu erfassen, um ein erstes Dokumentenbild zu erhalten, und ein zweites Bild des Dokumentes in einer zweiten Raumlage des Dokumentes relativ zu der Bildkamera zu erfassen, um ein zweites Dokumentenbild zu erhalten, und einen Prozessor 203, welcher ausgebildet ist, einen Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild zu erfassen, um das blickwinkelabhängige Merkmal des Dokumentes zu detektieren.

[0073] Das Mobilgerät 200 kann ein Mobiltelefon oder ein Smartphone sein. Die Bildkamera 201 kann eine digitale Bildkamera sein. Der Prozessor 203 kann ein Computerprogramm ausführen. Die Bildkamera 201 kann mit dem Prozessor 203 verbunden sein.

[0074] Das Mobilgerät 200 kann ferner eine Beleuchtungseinrichtung zum Beleuchten des Dokumentes aufweisen. Die Beleuchtungseinrichtung kann eine LED-Beleuchtungseinrichtung sein.

[0075] Das Verfahren 100 kann mittels des Mobilgerätes 200 ausgeführt werden. Weitere Merkmale des Mobilgerätes 200 resultieren unmittelbar aus der Funktionalität des Verfahrens 100.

[0076] Fig. 3 zeigt ein Diagramm eines Verfahrens 100 zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform. Das Verfahren 100 umfasst eine Schrittfolge 301 und eine Schrittfolge 303. Die Schrittfolge 301 wird für jedes erfasste Bild durchgeführt. Die Schrittfolge 303 wird einmal pro Dokument durchgeführt.

[0077] Die Schrittfolge 301 umfasst einen Schritt 305 einer Bildauswahl, einen Schritt 307 einer Registrierung eines Bildes, und einen Schritt 309 eines räumlichen Filterns des Bildes. Eine Mehrzahl erfasster Bilder und eine Mehrzahl bestimmter Raumlagen werden durch die Schrittfolge 301 verarbeitet, um einen Bildstapel bereitzustellen.

[0078] Die Schrittfolge 303 umfasst einen Schritt 311 einer Unterschiedsbilderzeugung und einen Schritt 313 einer Segmentierung und Filterung. Der Bildstapel wird durch die Schrittfolge 303 verarbeitet, um die Lage der Merkmale bereitzustellen.

[0079] Das Diagramm zeigt folglich Schrittfolgen 301, 303, welche für eine Detektion eines blickwinkelabhängigen Merkmals, beispielsweise eines Hologramms, pro Bild und pro Dokument durchgeführt werden können, sowie eine Auswertung des Bildstapels.

[0080] Gemäß einer Ausführungsform wird eine automatische Detektion von blickwinkelabhängigen Merkmalen eines Dokumentes in Echtzeit unter Verwendung von Bildern durchgeführt, welche mittels eines Mobilgerätes, beispielsweise eines Standard-Smartphones, erfasst werden. Unter Verwendung eines robusten Algorithmus zum Erfassen des Dokumentes in den Bildern, beispielsweise durch eine Verfolgung (engl. tracking) des Dokumentes, kann ein Bildstapel mit Bildern des Dokumentes aufgebaut und ausgewertet werden, um automatisch die Lage und die Größe von blickwinkelabhängigen Merkmalen des Dokumentes zu bestimmen. Eine automatische Detektion sowohl der Existenz als auch der Lage von blickwinkelabhängigen Merkmalen auf einem Dokument kann unter Verwendung einer mobilen Augmented Reality (AR) Anordnung durchgeführt werden.

[0081] Dadurch wird eine Vielzahl von Anwendungsfeldern eröffnet, beispielsweise eine Detektion von Dokumentenlayouts für einen nachfolgenden Klassifizierungsschritt oder eine automatische Modellbildung mit Verifikation. Aufgrund der Effizienz des Ansatzes, kann diese Aufgabe in Echtzeit auf einem Mobilgerät, beispielsweise einem Standard-Smartphone, durchgeführt werden. Durch die Verwendung von Mobilgeräten und durch die Robustheit des Ansatzes können Hilfsmittel bereitgestellt werden, welche jedermann eine Verifikation der Echtheit oder Authentizität von Dokumenten, auch ohne fortgeschrittenes Training, ermöglichen.

[0082] Im Folgenden wird ein Ansatz zur Erfassung und Verfolgung des Dokumentes erläutert.

[0083] Dokumente bestehen üblicherweise aus Papier oder Pappe und weisen eine rechteckförmige Form auf. Aus Gründen der Robustheit und Effizienz, werden schwerpunktmäßig ebene Bereiche von Dokumenten betrachtet. Eine Erfassung derartiger Dokumente mit einem Mobilgerät kann eine herausfordernde Aufgabe sein aufgrund von variierenden persönlichen Daten auf dem Dokument, aufgrund von Veränderungen des Blickwinkels, aufgrund der Beleuchtung, aufgrund eines unerwarteten Nutzerverhaltens, und/oder aufgrund von Begrenzungen der Bildkamera. Folglich sollten mehrere erfasste Bilder im Hinblick auf die Robustheit ausgewertet werden, was unter Verwendung einer mobilen Augmented Reality (AR) Anordnung erreicht werden kann.

[0084] Zunächst kann eine geeignete Dokumentenvorlage (engl. document template) erzeugt werden, welche für eine Bild-zu-Bild Verfolgung oder für einen dedizierten Registrierungsschritt verwendet werden kann. Diese kann auf einem Algorithmus zur Detektion von perspektivisch verzerrten Rechtecken basieren, und in Echtzeit auf einem Mobilgerät ausgeführt werden, und somit als grundlegender Aufbaublock dienen.

[0085] Der Nutzer kann aufgefordert werden, eine Bildkamera des Mobilgerätes vor einem Dokument oder Objekt anzuordnen und die Detektion auszulösen. Innerhalb eines vorbestimmten Interessenbereiches (engl. region of interest, ROI) in einem erfassten Bild, kann ein Kantenbild, beispielsweise unter Verwendung eines Canny-Kantendetektors mit einer automatischen Schwellwertauswahl, berechnet werden. Bildbereiche mit textartigen Strukturen können gefiltert werden, um Rauschen zu entfernen, gefolgt von einer Detektion von Linien, beispielsweise unter Verwendung einer Hough-Transformation. Die detektierten Linien können gemäß ihrer groben Richtung gruppiert werden. Eine Anfangshypothese für einen rechteckförmigen Bereich kann gebildet werden durch eine Betrachtung von Paaren von Linienbündeln, welche beispielsweise insgesamt vier Linien umfassen können.

[0086] Durch Überschneidung der Linien und Gewährleistung, dass die Schnittpunkte in dem Interessenbereich liegen, kann die Anzahl der Hypothesen deutlich reduziert werden. Eine endgültige geordnete Liste von Rechteck-Hypothesen kann durch eine Berechnung einer Stützfunktion auf einem erweiterten Kantenbild erzeugt werden. Der oberste Kandidat der Liste kann ausgewählt werden und eine Homographie kann berechnet werden, um eine entzerrte Darstellung zu erzeugen. Die Dimensionen des entzerrten Bildes können durch eine Mittelwertbildung der Pixelbreite und/oder -höhe der gewählten Hypothese bestimmt werden.

[0087] Das entzerrte Bild kann zum Erzeugen einer ebenen Verfolgungsvorlage verwendet werden, welche als eine Bildpyramide zur Laufzeit dargestellt werden kann, und welche unter Verwendung natürlicher Bildmerkmale verfolgt werden kann. Ein Harris-Eckendetektor und eine normalisierte Kreuzkorrelation (engl. normalized cross correlation, NCC) können verwendet werden, um Bildbereiche über nachfolgende Bilder hinweg abzugleichen und um eine Homographie zwischen der gegenwärtigen Bild und dem entzerrten Bild oder der Verfolgungsvorlage herzustellen. Ein Bewegungsmodell kann verwendet werden, um die Bildkamerabewegung zu schätzen und zu prädizieren, und um somit Rechenressourcen einzusparen. Folglich kann der Algorithmus in Echtzeit auf Mobilgeräten, beispielsweise Standard-Smartphones, ausgeführt werden und kann eine vollständige Raumlage oder Pose mit sechs Freiheitsgraden (engl. six degrees of freedom, 6DOF) für jedes erfasste Bild bereitstellen.

[0088] Die Anordnung hat den Vorteil, dass sie eine Interaktion mit zuvor unbekannten Dokumenten mit beliebigen persönlichen Daten erlaubt. Im Zusammenhang mit den nachfolgenden Algorithmen zum maschinellen Sehen (engl. computer vision, CV), kann eine Kenntnis eines gegenwärtigen Blickwinkels vorteilhaft sein, da sie erlauben kann, mit entzerrten Bildern zu arbeiten und die Bilderfassung zu steuern.

[0089] Im Folgenden wird ein Ansatz zur Erzeugung eines Bildstapels erläutert. Um über die Existenz von blickwinkelabhängigen Merkmalen auf dem Dokument zu urteilen, muss das Dokument von mehreren Blickwinkeln erfasst werden. Eine minimale Anzahl von n = 2 Bildern, welche aus geeigneten Blickwinkeln erfasst werden, kann verwendet werden, um auf die Existenz derartiger Merkmale zu schließen. Aus Gründen der Robustheit, sollten jedoch generell mehr Blickwinkel verwendet werden. Basierend auf den Ergebnissen der Dokumentverfolgung, umfasst der Algorithmus drei Hauptteil, um einen Bildstapel zu erzeugen: den Schritt 305 der Bildauswahl, den Schritt 307 der Entzerrung und/oder der Registrierung, und den Schritt 309 des räumlichen Filterns.

[0090] Die Bildauswahl in Schritt 305 kann folgendermaßen durchgeführt werden. Idealerweise sollte der Bildstapel eine Mehrzahl von Bildern mit Raumlagen umfassen, welche die Veränderlichkeit des blickwinkelabhängigen Merkmales auf die bestmögliche Weise nutzen. Für unerfahrene Nutzer kann diese Aufgabe herausfordernd sein. Daher sollte die Aufgabe der Bildauswahl, zugunsten der Wiederholbarkeit und einer reduzierten kognitiven Belastung, nicht durch den Nutzer durchgeführt werden. Die bestimmten Posen können verwendet werden, um Bilder automatisch auf Basis einer 2D-Orientierungskarte auszuwählen. Zudem kann die Sichtbarkeit und die Ähnlichkeit zur Vorlage berücksichtigt werden, um geeignete Bilder auszuwählen.

[0091] Die Entzerrung oder Registrierung in Schritt 307 kann folgendermaßen durchgeführt werden. Für jedes Bild, welches den Auswahlschritt passiert, kann eine geschätzte Homographie aus der Verfolgungsraumlage verwendet werden, um ein entzerrtes Bild zu erzeugen. Ein vollständiger Satz von Bildern kann somit einen Stapel aus gleichgroßen Bildern bilden. Grundsätzlich kann der Dokumentenverfolgungsalgorithmus robust sein und kann das Dokument erfolgreich über einen weiten Bereich von Blickwinkeln verfolgen. Teile des Dokumentes können sich jedoch aus dem gegenwärtigen Kamerabild herausbewegen und die Bilder können perspektivische Verzerrungen aufweisen. Die entzerrten Bilder können daher unvollständig sein und/oder nicht ideal ausgerichtet sein.

[0092] In einem zusätzlichen Schritt können eine Anpassung der Ausrichtung unter Verwendung einer Bildmerkmalsextraktion, ein gefenstertes Abgleichen und/oder eine Homographie-Schätzung durchgeführt werden. Dies kann jedoch die Bildrate reduzieren, was möglicherweise nicht wünschenswert ist. Da Bilder kontinuierlich durch die Bildkamera erfasst und bereitgestellt werden, können ungeeignete entzerrte oder registrierte Bilder unter Verwendung einer NCC-Bewertung verworfen werden, was rechnerisch effizienter sein kann. Aufgrund der Echtzeitverfolgung, kann dies einen effizienten Weg zum automatischen Auswählen von Bildern darstellen.

[0093] Das räumliche Filtern in Schritt 309 kann folgendermaßen durchgeführt werden. Jede neue Schicht, welche auf den Stapel entzerrter Bilder abgelegt wird, kann räumlich gefiltert werden, um besser mit Rauschen und verbliebenen Ungenauigkeiten bei der Registrierung umzugehen. Für diese Aufgabe kann ein gefensterter Mittelwertfilter eingesetzt werden, welcher auf einer Integralbildberechnung basieren kann. Unvollständige Bildinformationen, beispielsweise undefinierte und/oder schwarze Flächen beim Entzerren, können durch ein Erfassen gültiger Bildbereiche, welche beim Filtern verwendet werden, unter Verwendung einer zweiten Maske berücksichtigt werden. Das räumliche Filtern in Schritt 309 kann unter Verwendung einer vorbestimmten Fenstergröße, beispielsweise von 3x3 Pixeln, durchgeführt werden.

[0094] Im Folgenden wird ein Ansatz zur Detektion des blickwinkelabhängigen Merkmals erläutert. Im Gegensatz zu weiteren Effekten, wie beispielsweise Glanzlichtern, verbleiben visuelle Veränderungen, welche durch blickwinkelabhängige Merkmale verursacht werden, räumlichen konstant. Der Ansatz basiert auf dem Konzept, Veränderungen der Darstellungen über der Zeit zu verfolgen, wobei der entzerrte Bildstapel als Ausgangspunkt verwendet werden kann.

[0095] Der Algorithmus zum Verarbeiten des Bildstapels umfasst zwei Hauptteile: den Schritt 311 eines Erzeugen eines Unterschiedsbildes durch statistisch-basiertes Bewerten und den Schritt 313 eines Segmentierens und Suchens eines Modus (engl. mode) zum Erzeugen eines endgültigen Detektionsergebnisses. Zudem kann ein optionaler Verifikationsschritt durchgeführt werden, welcher NCC-Berechnungen an der geschätzten Lage des blickwinkelabhängigen Merkmals zwischen entzerrten oder registrierten Bildern des Bildstapels einsetzen kann, um falsch-positive Detektionen zu verwerfen.

[0096] Die Erzeugung des Unterschiedsbildes in Schritt 311 kann folgendermaßen durchgeführt werden. Der Bildstapel kann für jede Lage (x, y) als eine zeitliche Folge aufgefasst werden. Der Grad der Veränderung kann durch eine Berechnung eines geeigneten Abweichungsmaßes bezüglichen eines Modells m bei der Lage (x, y) über den gesamten Bildstapel bewertet werden, wobei Dokumentenbildmasken, welche in dem vorherigen Schritt bestimmt werden können, beachtet werden können. Somit kann eine Zwischendarstellung für Anzeichen von Blickwinkelabhängigkeit bereitgestellt werden, welche auch als Unterschiedsbild bezeichnet werden kann. Gemäß einer Ausführungsform ist das blickwinkelabhängige Merkmal ein Hologramm und das Unterschiedsbild eine Hologrammkarte (engl. Hologram Map).

[0097] Zum Erfassen eines Bildunterschiedes, welcher durch ein Unterschiedsbild angezeigt werden kann, kann ein Mittelwert m₀ oder ein Median m₁ in Verbindung mit einer mittleren quadratischen Abweichung im Bildraum gemäß

oder einer mittleren absoluten Abweichung gemäß

mit m ∈ {m₀, m₁} in verschiedenen Kombinationen eingesetzt werden. Dabei kann L(x, y) die Anzahl von Bildstapelschichten bezeichnen, welche gültige Pixelwerte für die Lage (x, y) entsprechend der Dokumentenbildmasken umfassen, wobei v_I(x, y) einen Pixelwert in Schicht I bezeichnen kann. Im Falle des Paares mo, eo kann die Modellerzeugung und Abweichungsberechnung direkt erfolgen, und nur geringe Rechenressourcen beanspruchen.

[0098] Die Segmentierung und Filterung in Schritt 313 kann folgendermaßen durchgeführt werden. Dominante räumliche Spitzen innerhalb des Bildunterschiedes oder des Unterschiedsbildes und benachbarte Bildbereiche mit großen Veränderungen vergleichbaren Wertes oder Betrages sollen lokalisiert werden. Folglich stellt dies eine Bildsegmentierungsaufgabe dar, wobei die Wahl des Bildsegmentierungsverfahrens sowohl die Qualität als auch die Laufzeit beeinflussen kann.

[0099] Da der Inhalt des Unterschiedsbildes von der Art des Dokumentes abhängen kann, kann eine Verwendung eines globalen Schwellwertes in bestimmten Fällen nicht ausreichend sein. Dann können lokal berechnete Schwellwerte verwendet werden, welche zusätzlich unter Verwendung von globaler Information angepasst werden können. Um Laufzeit zu sparen, können Integralbilder für die Filterung verwendet werden.

[0100] Die berechneten Bereiche können dann gefiltert werden, um die Anzahl von falschpositiven Detektionen zu reduzieren. Es können Kriterien bezüglich einer minimalen Fläche, eines Seitenlängenverhältnisses, und einer Kompaktheit zusammen mit einem minimalen Pixelwert und/oder einer Homogenität für den erhaltenen Bereich verwendet werden.

[0101] Der Ablauf des Detektierens eines blickwinkelabhängigen Merkmals kann ein Detektieren des Dokumentes und ein Bewegen eines Mobilgerätes mit einer Bildkamera oder ein Bewegen des Dokumentes, und ein Erfassen von Bildern des Dokumentes und zugehöriger Raumlagen umfassen. Diese Daten können dann durch den Algorithmus verarbeitet und analysiert werden. Dabei kann eine Beleuchtungseinrichtung des Mobilgerätes eingeschaltet oder ausgeschaltet sein. Die Beleuchtungseinrichtung kann vorteilhaft sein, um alle relevanten Darstellungen des blickwinkelabhängigen Merkmals zu erfassen.

[0102] Das Erzeugen und Aktualisieren des Bildstapels kann jeweils pro Bild durchgeführt werden. Die Erzeugung und Auswertung des Unterschiedsbildes mit einem optionalen Validierungsschritt kann anschließend durchgeführt werden. Nach erfolgreicher Detektion des blickwinkelabhängigen Merkmals des Dokumentes, kann das blickwinkelabhängige Merkmal in einem Bild unter Verwendung eines umgebenden Rahmens oder einer umgebenden Box bei der entsprechenden Lage hervorgehoben werden.

[0103] Eine Echtzeitverfolgung des Dokumentes kann verwendet werden, um registrierte Bilder aus einer Mehrzahl von Blickwinkeln zu erhalten. Dabei kann lediglich das Unterschiedsbild segmentiert werden, um mögliche Bildbereiche zu erhalten, welche anschließend validiert werden können. Dadurch kann ein Verfahren realisiert werden, welches einfach in bestehende Anwendungen zur Verifikation von Dokumenten integriert werden kann.

[0104] Fig. 4 zeigt ein Diagramm eines Detektionsszenarios zum Detektieren eines blickwinkelabhängigen Merkmals 402 eines Dokumentes 401 gemäß einer Ausführungsform.

[0105] Das Diagramm zeigt die Erfassung einer Mehrzahl von Bildern des Dokumentes 401 aus unterschiedlichen Raumlagen. Dabei wird ein erstes Dokumentenbild 403 in einer ersten Raumlage, ein zweites Dokumentenbild 405 in einer zweiten Raumlage, ein drittes Dokumentenbild 407 in einer dritten Raumlage, und ein N-tes Dokumentenbild 409 in einer N-ten Raumlage erfasst.

[0106] Fig. 5 zeigt ein Diagramm einer Mehrzahl von erfassten Bildern des Dokumentes gemäß einer Ausführungsform.

[0107] Ein erstes Dokumentenbild 403 aus einer ersten Raumlage, ein zweites Dokumentenbild 405 aus einer zweiten Raumlage, ein drittes Dokumentenbild 407 aus einer dritten Raumlage, und ein N-tes Dokumentenbild 409 aus einer N-ten Raumlage sind übereinander in Form eines Bildstapels dargestellt. Das erste Dokumentenbild 403, das zweite Dokumentenbild 405, das dritte Dokumentenbild 407, und das N-te Dokumentenbild 409 sind zusammen mit jeweiligen Dokumentenbildmasken dargestellt.

[0108] Das Dokument kann verfolgt werden, wobei eine Mehrzahl von Bildern des Dokumentes aus unterschiedlichen Raumlagen erfasst werden kann. Auf Grundlage einer geschätzten Raumlage oder Homographie kann jedes Dokumentenbild entzerrt und auf den Bildstapel gelegt werden. Die erfassten Dokumentenbilder können entzerrt werden und können eine vorbestimmte Auflösung aufweisen.

[0109] Fig. 6 zeigt ein Oberflächendiagramm 600 eines Unterschiedsbildes gemäß einer Ausführungsform. Das Oberflächendiagramm 600 zeigt dabei Pixelwerte des Unterschiedsbildes in Abhängigkeit von einer Lage (x, y) für ein Dokument.

[0110] Für eine Lage von x = 130 bis x = 140 sowie von y = 10 bis y = 20 weist das Oberflächendiagramm 600 hohe Pixelwerte auf. Unter Verwendung eines Bildsegmentierungsverfahrens kann ein Bildsegment in dem Unterschiedsbild bestimmt werden, welches diesem Bereich zugeordnet ist.

[0111] Fig. 7 zeigt ein Diagramm 701 eines Unterschiedsbildes und ein Konturdiagramm 703 eines segmentierten Unterschiedsbildes gemäß einer Ausführungsform.

[0112] Das Diagramm 701 zeigt Pixelwerte des Unterschiedsbildes in Abhängigkeit von einer Lage (x, y) für ein Dokument. Das Diagramm 701 entspricht dabei einem skalierten Intensitätsbild.

[0113] Das Konturdiagramm 703 zeigt ein Segmentierungsergebnis auf Basis des Unterschiedsbildes unter Verwendung eines adaptiven Schwellwertvergleichs. Ein Bildsegment für eine Lage von x = 130 bis x = 140 sowie von y = 10 bis y = 20 ist hell hervorgehoben. Das blickwinkelabhängige Merkmal des Dokumentes kann auf Basis des Bildsegmentes detektiert werden.

[0114] Fig. 8 zeigt Konturdiagramme 801, 803, 805, 807 mit Bildsegmenten für eine Mehrzahl von erfassten Bildern eines Dokumentes gemäß einer Ausführungsform. Die Mehrzahl von erfassten Bildern umfasst ein erstes Dokumentenbild 403, ein zweites Dokumentenbild 405, ein drittes Dokumentenbild 407, und ein N-tes Dokumentenbild 409.

[0115] Dem ersten Dokumentenbild 403 sind die Konturdiagramme 801 zugeordnet. Dem zweiten Dokumentenbild 405 sind die Konturdiagramme 803 zugeordnet. Dem dritten Dokumentenbild 407 sind die Konturdiagramme 805 zugeordnet. Dem N-ten Dokumentenbild 409 sind die Konturdiagramme 807 zugeordnet.

[0116] Es können verschiedene Segmentierungsverfahren, wie beispielsweise ein Maximally Stable Extremal Regions (MSER) Verfahren oder ein Mean-Shift Verfahren, eingesetzt werden. Um den Einfluss von Reflektionen auf dem Dokument zu reduzieren, kann ferner ein Glanzlichtdetektor eingesetzt werden und kann ferner ein Inpainting durchgeführt werden. Darüber hinaus kann die Mehrzahl der erfassten Bilder oder der Bildstapel weitergehender analysiert werden.

[0117] Die Konturdiagramme 801, 803, 805, 807 zeigen eine Segmentierung eines Bildstapels beispielsweise mit einer Schicht. Die Dokumentenbilder 403, 405, 407, 409 sind in der oberen Reihe dargestellt. Die mittlere Reihe zeigt Bildsegmente, welche beispielsweise mittels eines MSER Verfahrens bestimmt werden. Die untere Reihe zeigt Bildsegmente, welche beispielsweise mittels des MSER Verfahrens bestimmt werden, wobei modifizierte Bilder des Dokumentes, beispielsweise unter Verwendung einer Glanzlichtdetektion und/oder eines Inpainting, zugrunde gelegt werden.

[0118] Somit kann ein Ansatz zur automatischen Detektion eines blickwinkelabhängigen Merkmals eines Dokumentes unter Verwendung eines Mobilgerätes realisiert werden. Es können zuvor unbekannte Dokumente detektiert und verfolgt werden. Zudem kann automatisch die Lage eines oder mehrerer blickwinkelabhängiger Merkmale, sofern vorhanden, bestimmt werden. Die Detektion blickwinkelabhängiger Merkmale kann einen ersten Schritt zum automatisierten Testen und Verifizieren blickwinkelabhängiger Merkmale darstellen. Die blickwinkelabhängigen Merkmale können eingebettete Merkmale sein.

[0119] Fig. 9 zeigt ein Diagramm 900 einer Mehrzahl von Raumlagen zum Erfassen einer Mehrzahl von Bildern des Dokumentes gemäß einer Ausführungsform.

[0120] Das Diagramm 900 umfasst eine 2D-Orientierungskarte (engl. orientation map) zum Erfassen der Bilder des Dokumentes und/oder zum Überwachen der Erfassung der Bilder des Dokuments aus verschiedenen Blickwinkeln.

[0121] Vorbestimmte Raumlagen zum Erfassen von Bildern des Dokumentes sind dabei durch Punkte hervorgehoben. Die vorbestimmten Raumlagen können einem Azimut und einer Elevation des Dokumentes relativ zu einer Bildkamera entsprechen.

[0122] Die vorbestimmten Raumlagen können quantisiert und/oder diskretisiert definiert sein.

[0123] Im Folgenden wird das Gesamtkonzept zusammengefasst.

[0124] Blickwinkelabhängige Merkmale, wie beispielsweise Hologramme, können ihre Darstellungen je nach Blickrichtung und Beleuchtungsrichtung vorhandener Lichtquellen in der Umgebung verändern. Blickwinkelabhängige Merkmale können dabei von der Umgebung im Dokument abgegrenzt sein und/oder eine begrenzte Ausdehnung im Dokument aufweisen. Zur Detektion von blickwinkelabhängigen Merkmalen kann eine lokale Veränderung des Aussehens bezüglich des Blickwinkels herangezogen werden. Dabei sollte das Dokument aus verschiedenen Blickwinkeln aufgenommen werden. Daher kann eine Mobile Augmented Reality (AR) Anordnung zur Bilderfassung verwendet werden.

[0125] Da keine Referenzinformationen, beispielsweise der Dokumententyp, vorliegen, sollte zunächst der Bereich des Dokumentes detektiert werden. Danach kann ein Dokumentenbild oder ein entzerrtes Dokumentenbild einem Verfolgungsalgorithmus (engl. tracking) übergeben werden. Somit können in jedem einzelnen Dokumentenbild Informationen zur Raumlage zur Verfügung stehen. Unter Vernachlässigung einer Rotation um einen Sehstrahl, kann die Erfassung der Bilder mit einer Orientierungskarte gesteuert werden, welche einen Winkel zur x-Achse und zur y-Achse angeben kann. Diese kann je nach aktueller Raumlage oder Pose befüllt werden und gewährleisten, dass das Dokument aus verschiedenen Blickwinkeln betrachtet wird. Die Extraktion des Dokumentes kann dann durch eine Entzerrung mittels der bestimmten Raumlage des Verfolgers durchgeführt werden. Somit kann ein Bildstapel mit entzerrten und/oder registrierten Bildern gebildet werden.

[0126] Zur Erkennung und Abtrennung von ungeeigneten entzerrten und/oder registrierten Bildern kann zusätzlich eine Prüfung mittels einer normalisierten Kreuzkorrelation durchgeführt werden. Nach Abschluss des Erfassungsvorganges kann aus dem Bildstapel ein Modell gebildet werden (m₀, m₁). Die Abweichungen können unter Verwendung jeder Schicht des Bildstapels mittels eines Abweichungsmaßes (e₀, e₁) zu einem Unterschiedsbild, beispielsweise in Form einer Hologrammkarte, fusioniert werden. Dieses Unterschiedsbild charakterisiert das Dokument bezüglich der Lage und Ausdehnung blickwinkelabhängiger Merkmale. Anschließend kann segmentiert werden, um eine Menge von Bildsegmenten zu erhalten. Die gefilterten und validierten Bildsegmente können das Ergebnis der Detektion darstellen.

[0127] Die Verifikation und/oder Validierung der Bildsegmente kann die Anzahl von falsch-positiv detektierten blickwinkelabhängigen Merkmalen verringern. Dabei kann ein jeweiliges Bildsegment aus jeder Schicht des Bildstapels extrahiert werden. Jedes Bildsegment oder Patch wird dann mittels einer normalisierten Kreuzkorrelation (engl. normalized cross correlation, NCC) mit den übrigen Bildsegmenten oder Patches verglichen und unter Verwendung eines Schwellwertes th_ncc als Übereinstimmung oder Abweichung klassifiziert werden. Wenn der relative Anteil über einem Schwellwert th_validation liegt, kann angenommen werden, dass das aktuelle Bildsegment genügend visuelle Veränderungen bei einer Veränderung des Blickwinkels aufweist.

[0128] Der erläuterte Ansatz kann folgendermaßen erweitert werden. Eine detailliertere Analyse des registrierten Bildstapels kann durchgeführt werden. Zunächst können Glanzlichter, welche beispielsweise durch eine Beleuchtungseinrichtung oder eine LED-Leuchte verursacht werden, detektiert und entfernt werden. Zudem kann jede Schicht des Bildstapels einzeln segmentiert werden, beispielsweise unter Verwendung des Maximally Stable Extremal Regions (MSER) Verfahrens. Aus den erhaltenen Bildsegmenten können Folgen von Bildsegmenten extrahiert werden, welche näherungsweise örtlich konstant sein können. Jede Folge kann danach als ein einzelnes Unterschiedsbild, beispielsweise in Form einer Hologrammkarte, betrachtet, segmentiert, gefiltert und validiert werden.

[0129] Eine Weiterentwicklung des Ansatzes wird im Folgenden beschrieben. Es kann eine Segmentierung des Unterschiedsbildes unter Verwendung einer lokalen adaptiven Schwellwertbildung mit automatischer Selektion einer geeigneten Fenstergröße zur Verbesserung der Skalierungsinvarianz eingesetzt werden. Zur Filterung von Bildsegmenten kann das ermittelte Bildsegment in der Filterung verwendet werden anstatt eines jeweiligen begrenzenden Rechtecks. Eine Charakterisierung der im vorherigen Schritt ermittelten Spitzen im Unterschiedsbild kann durch einen Vergleich mit der unmittelbaren Umgebung in dem Unterschiedsbild realisiert werden. Dadurch kann der Verifizierungs- oder Validierungsschritt unter Verwendung einer normalisierten Kreuzkorrelation (NCC) je nach Anwendung entfallen.

[0130] Es kann eine Detektion von blickwinkelabhängigen Merkmalen, beispielsweise von Hologrammen, auf unbekannten Dokumenten ohne vorhandene Referenzinformation mittels eines Mobilgerätes durchgeführt werden. Somit wird erreicht, dass eine Detektion eines blickwinkelabhängigen Merkmals auch ohne Kenntnis des Dokumententyps oder des Dokumentenlayouts durchgeführt werden kann.

BEZUGSZEICHENLISTE

[0131] 

100

Verfahren zum Detektieren eines blickwinkelabhängigen Merkmals

101

Erfassen eines ersten Bildes des Dokumentes

103

Erfassen eines zweiten Bildes des Dokumentes

105

Erfassen eines Bildunterschieds

200

Mobilgerät zum Detektieren eines blickwinkelabhängigen Merkmals

201

Bildkamera

203

Prozessor

301-303

Schrittfolgen

305-313

Schritte

401

Dokument

402

Blickwinkelabhängiges Merkmal

403

Erstes Dokumentenbild

405

Zweites Dokumentenbild

407

Drittes Dokumentenbild

409

N-tes Dokumentenbild

600

Oberflächendiagramm

701

Diagramm

703

Konturdiagramm

801-807

Konturdiagramme

900

Diagramm

Ansprüche

1. Verfahren (100) zum Detektieren eines blickwinkelabhängigen Merkmals (402) eines Dokumentes (401) unter Verwendung einer Bildkamera (201), wobei das blickwinkelabhängige Merkmal (402) blickwinkelabhängige Darstellungen aufweist, mit:

Erfassen (101) eines ersten Bildes des Dokumentes (401) durch die Bildkamera (201) in einer ersten Raumlage des Dokumentes (401) relativ zu der Bildkamera (201), um ein erstes Dokumentenbild (403) zu erhalten;

Erfassen (103) eines zweiten Bildes des Dokumentes (401) durch die Bildkamera (201) in einer zweiten Raumlage des Dokumentes (401) relativ zu der Bildkamera (201), um ein zweites Dokumentenbild (405) zu erhalten; und

Erfassen (105) eines Bildunterschieds zwischen dem ersten Dokumentenbild (403) und dem zweiten Dokumentenbild (405), um das blickwinkelabhängige Merkmal (402) des Dokumentes (401) zu detektieren,

wobei der Bildunterschied in eine Mehrzahl von Bildsegmenten segmentiert wird, und wobei das blickwinkelabhängige Merkmal (402) des Dokumentes (401) auf Basis zumindest eines Bildsegmentes der Mehrzahl von Bildsegmenten detektiert wird,

wobei für ein Bildsegment der Mehrzahl von Bildsegmenten ein Bildsegmentmaß bestimmt wird, und wobei das bestimmte Bildsegmentmaß mit einem vorbestimmten Bildsegmentmaß verglichen wird, um das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals (402) zu qualifizieren;

wobei einem Bildsegment der Mehrzahl von Bildsegmenten ein erstes Dokumentenbildsegment des ersten Dokumentenbildes und ein zweites Dokumentenbildsegment des zweiten Dokumentenbildes zugeordnet ist, wobei das erste Dokumentenbildsegment mit dem zweiten Dokumentenbildsegment verglichen wird, um das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals zu qualifizieren;

wobei der Vergleich des ersten Dokumentenbildsegments mit dem zweiten Dokumentenbildsegment mittels einer normalisierten Kreuzkorrelation durchgeführt wird, und das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals qualifiziert wird, wenn das erste Dokumentenbildsegment und das zweite Dokumentenbildsegment unterschiedlich sind;

wobei das Erfassen (101) des ersten Bildes des Dokumentes (401) ferner ein perspektivisches Entzerren des ersten Dokumentenbildes (403) auf Basis der ersten Raumlage umfasst, und wobei das Erfassen (103) des zweiten Bildes des Dokumentes (401) ferner ein perspektivisches Entzerren des zweiten Dokumentenbildes (405) auf Basis der zweiten Raumlage umfasst;

wobei das Verfahren ferner ein Bestimmen der ersten Raumlage des Dokumentes (401) relativ zu der Bildkamera (201) auf Basis des ersten Dokumentenbildes (403) und/oder ein Bestimmen der zweiten Raumlage des Dokumentes (401) relativ zu der Bildkamera (201) auf Basis des zweiten Dokumentenbildes (405) umfasst.

2. Verfahren (100) nach Anspruch 1, wobei das Verfahren (100) ein Erfassen einer Mehrzahl von Bildern des Dokumentes (401) durch die Bildkamera (201) in unterschiedlichen Raumlagen des Dokumentes (401) relativ zu der Bildkamera (201) umfasst, wobei das Erfassen (101) des ersten Bildes des Dokumentes (401) ein Auswählen des ersten Bildes aus der Mehrzahl von Bildern in der ersten Raumlage umfasst, und wobei das Erfassen (103) des zweiten Bildes des Dokumentes (401) ein Auswählen des zweiten Bildes aus der Mehrzahl von Bildern in der zweiten Raumlage umfasst, wobei das Erfassen der Mehrzahl von Bildern des Dokumentes (401) ein Bestimmen einer jeweiligen Raumlage auf Basis eines jeweiligen Bildes umfasst, wobei die jeweiligen Raumlagen mit der ersten Raumlage verglichen werden, um das erste Bild aus der Mehrzahl von Bildern auszuwählen, wobei die jeweiligen Raumlagen mit der zweiten Raumlage verglichen werden, um das zweite Bild aus der Mehrzahl von Bildern auszuwählen.

3. Verfahren (100) nach Anspruch 1 oder 2, wobei die jeweilige Raumlage mittels einer Kantendetektion bestimmt wird.

4. Verfahren (100) nach einem der vorstehenden Ansprüche, wobei das jeweilige Dokumentenbild (403, 405) zur Rauschreduktion tiefpassgefiltert wird.

5. Verfahren (100) nach einem der vorstehenden Ansprüche, wobei das erste Dokumentenbild (403) mit dem zweiten Dokumentenbild (405) verglichen wird, um eine Ausrichtung des ersten Dokumentenbildes (403) in Bezug zu dem zweiten Dokumentenbild (405) zu bestimmen, und wobei das erste Dokumentenbild (403) und das zweite Dokumentenbild (405) auf Basis der bestimmten Ausrichtung in Bezug aufeinander ausgerichtet werden.

6. Verfahren (100) nach einem der vorstehenden Ansprüche, wobei ein Mittelwert aus einem ersten Pixelwert eines Pixels des ersten Dokumentenbildes (403) und einem zweiten Pixelwert eines Pixels des zweiten Dokumentenbildes (405) bestimmt wird, wobei eine erste Abweichung des ersten Pixelwertes von dem Mittelwert bestimmt wird, wobei eine zweite Abweichung des zweiten Pixelwertes von dem Mittelwert bestimmt wird, und wobei der Bildunterschied auf Basis der ersten Abweichung und der zweiten Abweichung erfasst wird.

7. Verfahren (100) nach einem der vorstehenden Ansprüche, wobei eine erste Dokumentenbildmaske auf Basis des ersten Dokumentenbildes (403) bestimmt wird, wobei eine zweite Dokumentenbildmaske auf Basis des zweiten Dokumentenbildes (405) bestimmt wird, und wobei der Bildunterschied auf Basis der ersten Dokumentenbildmaske und der zweiten Dokumentenbildmaske erfasst wird.

8. Verfahren (100) nach Anspruch 7, wobei die jeweilige Dokumentenbildmaske Pixel des jeweiligen Dokumentenbildes (403, 405) anzeigt, welche zur Erfassung (105) des Bildunterschieds verwendbar sind.

9. Verfahren (100) nach einem der vorstehenden Ansprüche, wobei das blickwinkelabhängige Merkmal (402) ein Hologramm oder eine Drucktinte mit blickwinkelabhängigen Reflexionseigenschaften oder Absorptionseigenschaften umfasst.

10. Mobilgerät (200) zum Detektieren eines blickwinkelabhängigen Merkmals (402) eines Dokumentes (401), wobei das blickwinkelabhängige Merkmal (402) blickwinkelabhängige Darstellungen aufweist, mit:

einer Bildkamera (201), welche ausgebildet ist, ein erstes Bild des Dokumentes (401) in einer ersten Raumlage des Dokumentes (401) relativ zu der Bildkamera (201) zu erfassen, um ein erstes Dokumentenbild (403) zu erhalten, und ein zweites Bild des Dokumentes (401) in einer zweiten Raumlage des Dokumentes (401) relativ zu der Bildkamera (201) zu erfassen, um ein zweites Dokumentenbild (405) zu erhalten; und einem Prozessor (203), welcher ausgebildet ist, einen Bildunterschied zwischen dem ersten Dokumentenbild (403) und dem zweiten Dokumentenbild (405) zu erfassen, um das blickwinkelabhängige Merkmal (402) des Dokumentes (401) zu detektieren,

wobei der Prozessor ausgebildet ist, den Bildunterschied in eine Mehrzahl von Bildsegmenten zu segmentieren, und das blickwinkelabhängige Merkmal (402) des Dokumentes (401) auf Basis zumindest eines Bildsegmentes der Mehrzahl von Bildsegmenten zu detektieren,

wobei der Prozessor ausgebildet ist, für ein Bildsegment der Mehrzahl von Bildsegmenten ein Bildsegmentmaß zu bestimmen, und das bestimmte Bildsegmentmaß mit einem vorbestimmten Bildsegmentmaß zu vergleichen, um das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals (402) zu qualifizieren;

wobei der Prozessor ausgebildet ist, einem Bildsegment der Mehrzahl von Bildsegmenten ein erstes Dokumentenbildsegment des ersten Dokumentenbildes und ein zweites Dokumentenbildsegment des zweiten Dokumentenbildes zuzuordnen, und das erste Dokumentenbildsegment mit dem zweiten Dokumentenbildsegment zu vergleichen, um das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals zu qualifizieren;

wobei der Prozessor ausgebildet ist, den Vergleich des ersten Dokumentenbildsegments mit dem zweiten Dokumentenbildsegment mittels einer normalisierten Kreuzkorrelation durchzuführen, und das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals zu qualifizieren, wenn das erste Dokumentenbildsegment und das zweite Dokumentenbildsegment unterschiedlich sind;

wobei das Erfassen (101) des ersten Bildes des Dokumentes (401) ferner ein perspektivisches Entzerren des ersten Dokumentenbildes (403) auf Basis der ersten Raumlage umfasst, und wobei das Erfassen (103) des zweiten Bildes des Dokumentes (401) ferner ein perspektivisches Entzerren des zweiten Dokumentenbildes (405) auf Basis der zweiten Raumlage umfasst;

wobei das Mobilgerät (200) ausgebildet ist, die erste Raumlage des Dokumentes (401) relativ zu der Bildkamera (201) auf Basis des ersten Dokumentenbildes (403) zu bestimmen und/oder die zweite Raumlage des Dokumentes (401) relativ zu der Bildkamera (201) auf Basis des zweiten Dokumentenbildes zu bestimmen.

11. Computerprogramm mit einem Programmcode, dessen Befehle bewirken, dass das Mobilgerät nach Anspruch 10 das Verfahren nach einem der Ansprüche 1 bis 9 ausführt.

Claims

1. A method (100) for detecting a viewing-angle-dependent feature (402) of a document (401) using an image camera (201), wherein the viewing-angle-dependent feature (402) comprises viewing-angle-dependent representations, the method (100) comprising:

capturing (101) a first image of the document (401) by the image camera (201) in a first spatial position of the document (401) relative to the image camera (201) in order to obtain a first document image (403);

capturing (103) a second image of the document (401) by the image camera (201) in a second spatial position of the document (401) relative to the image camera (201) in order to obtain a second document image (405); and

detecting (105) an image difference between the first document image (403) and the second document image (405) in order to detect the viewing-angle-dependent feature (402) of the document (401),

wherein the image difference is segmented into a plurality of image segments, and wherein the viewing-angle-dependent feature (402) of the document (401) is detected on the basis of at least one image segment of the plurality of image segments,

wherein an image segment measure is determined for an image segment of the plurality of image segments, and wherein the determined image segment measure is compared with a predetermined image segment measure in order to qualify the image segment for the detection of the viewing-angle-dependent feature (402);

wherein an image segment of the plurality of image segments is assigned a first document image segment of the first document image and a second document image segment of the second document image, wherein the first document image segment is compared with the second document image segment in order to qualify the image segment for the detection of the viewing-angle-dependent feature;

wherein the comparison of the first document image segment with the second document image segment is carried out by means of a normalized cross-correlation, and the image segment is qualified for the detection of the viewing-angle-dependent feature if the first document image segment and the second document image segment are different;

wherein the capturing (101) of the first image of the document (401) further comprises a perspective rectification of the first document image (403) on the basis of the first spatial position, and wherein the capturing (103) of the second image of the document (401) further comprises a perspective rectification the second document image (405) based on the second spatial position;

wherein the method further comprises determining the first spatial position of the document (401) relative to the image camera (201) on the basis of the first document image (403) and/or determining the second spatial position of the document (401) relative to the image camera (201) on the basis of the second document image (405).

2. The method (100) according to claim 1, wherein the method (100) comprises capturing a plurality of images of the document (401) by the image camera (201) in different spatial positions of the document (401) relative to the image camera (201), wherein the capturing (101) of the first image of the document (401) comprises selecting the first image from the plurality of images in the first spatial position, and wherein the capturing (103) of the second image of the document (401) comprises selecting the second image from the plurality of images in the second spatial position, wherein the capturing of the plurality of images of the document (401) comprises determining a respective spatial position on the basis of a respective image, wherein the respective spatial positions are compared with the first spatial position in order to select the first image from the plurality of images, wherein the respective spatial positions are compared with the second spatial position in order to select the second image from the plurality of images.

3. The method (100) according to claim 1 or 2, wherein the respective spatial position is determined by an edge detection.

4. The method (100) according to one of the preceding claims, wherein the respective document image (403, 405) is low-pass filtered for noise reduction.

5. The method (100) according to one of the preceding claims, wherein the first document image (403) is compared with the second document image (405) in order to determine an alignment of the first document image (403) in relation to the second document image (405), and wherein the first document image (403) and the second document image (405) are aligned with respect to one another based on the determined alignment.

6. The method (100) according to one of the preceding claims, wherein a mean value of a first pixel value of a pixel of the first document image (403) and a second pixel value of a pixel of the second document image (405) is determined, wherein a first deviation of the first pixel value from the mean value is determined, wherein a second deviation of the second pixel value from the mean value is determined, and wherein the image difference is detected on the basis of the first deviation and the second deviation.

7. The method (100) according to one of the preceding claims, wherein a first document image mask is determined on the basis of the first document image (403), wherein a second document image mask is determined on the basis of the second document image (405), and wherein the image difference is detected on the basis of the first document image mask and the second document image mask.

8. The method (100) according to claim 7, wherein the respective document image mask displays pixels of the respective document image (403, 405) which can be used for detecting (105) the image difference.

9. The method (100) according to one of the preceding claims, wherein the viewing-angle-dependent feature (402) comprises a hologram or a printing ink with viewing-angle-dependent reflection properties or absorption properties.

10. A mobile device (200) for detecting a viewing-angle-dependent feature (402) of a document (401), wherein the viewing-angle-dependent feature (402) comprises viewing-angle dependent representations, the mobile device (200) comprising:

an image camera (201) which is configured to capture a first image of the document (401) in a first spatial position of the document (401) relative to the image camera (201) in order to obtain a first document image (403), and a second image of the document (401) in a second spatial position of the document (401) relative to the image camera (201) in order to obtain a second document image (405); and

a processor (203) which is configured to detect an image difference between the first document image (403) and the second document image (405) in order to detect the viewing-angle-dependent feature (402) of the document (401),

wherein the processor is configured to segment the image difference into a plurality of image segments and to detect the viewing-angle-dependent feature (402) of the document (401) on the basis of at least one image segment of the plurality of image segments,

wherein the processor is configured to determine an image segment measure for an image segment of the plurality of image segments, and to compare the determined image segment measure with a predetermined image segment measure in order to qualify the image segment for the detection of the viewing-angle-dependent feature (402);

wherein the processor is configured to assign a first document image segment of the first document image and a second document image segment of the second document image to an image segment of the plurality of image segments, and to compare the first document image segment with the second document image segment in order to qualify the image segment for the detection of the viewing-angle-dependent feature;

wherein the processor is configured to carry out the comparison of the first document image segment with the second document image segment by a normalized cross-correlation, and to qualify the image segment for the detection of the viewing-angle-dependent feature if the first document image segment and the second document image segment are different;

wherein the capturing (101) of the first image of the document (401) further comprises a perspective rectification of the first document image (403) on the basis of the first spatial position, and wherein the capturing (103) of the second image of the document (401) further comprises a perspective rectification the second document image (405) on the basis of the second spatial position;

wherein the mobile device (200) is configured to determine the first spatial position of the document (401) relative to the image camera (201) on the basis of the first document image (403) and/or the second spatial position of the document (401) relative to the image camera (201) on the basis of the second document image.

11. A computer program comprising a program code which instructions cause the mobile device according to claim 10 to execute the method according to one of claims 1 to 9.

Revendications

1. Procédé (100) pour détecter une caractéristique (402) dépendante de l'angle de vision d'un document (401) en utilisant une caméra d'imagerie (201), la caractéristique (402) dépendante de l'angle de vision présentant des représentations dépendantes de l'angle de vision, comprenant :

acquisition (101) d'une première image du document (401) par la caméra d'imagerie (201) dans une première position dans l'espace du document (401) par rapport à la caméra d'imagerie (201) afin d'obtenir une première image de document (403) ;

acquisition (103) d'une deuxième image du document (401) par la caméra d'imagerie (201) dans une deuxième position dans l'espace du document (401) par rapport à la caméra d'imagerie (201) afin d'obtenir une deuxième image de document (405) ;

acquisition (105) d'une différence d'images entre la première image de document (403) et la deuxième image de document (405) afin de détecter la caractéristique (402) dépendante de l'angle de vision du document (401),

la différence d'images étant segmentée en une pluralité de segments d'image et la caractéristique (402) dépendante de l'angle de vision du document (401) étant détectée sur la base d'au moins un segment d'image de la pluralité de segments d'image,

une dimension de segment d'image étant déterminée pour un segment d'image de la pluralité de segments d'image, et la dimension de segment d'image déterminée étant comparée à une dimension de segment d'image prédéterminée afin de qualifier le segment d'image pour la détection de la caractéristique (402) dépendante de l'angle de vision ;

un premier segment d'image de document de la première image de document étant associé à un segment d'image de la pluralité de segments d'image et un deuxième segment d'image de document de la deuxième image de document étant associé à un segment d'image de la pluralité de segments d'image, le premier segment d'image de document étant comparé au deuxième segment d'image de document afin de qualifier le segment d'image pour la détection de la caractéristique dépendante de l'angle de vision ;

la comparaison du premier segment d'image de document au deuxième segment d'image de document étant effectuée au moyen d'une corrélation croisée normalisée et le segment d'image pour la détection de la caractéristique dépendante de l'angle de vision étant qualifié lorsque le premier segment d'image de document et le deuxième segment d'image de document sont différents ;

l'acquisition (101) de la première image du document (401) comprenant en outre une correction en perspective de la première image de document (403) sur la base de la première position dans l'espace, et l'acquisition (103) de la deuxième image du document (401) comprenant en outre une correction en perspective de la deuxième image de document (405) sur la base de la deuxième position dans l'espace ;

le procédé comprenant en outre une détermination de la première position dans l'espace du document (401) par rapport à la caméra d'imagerie (201) sur la base de la première image de document (403) et/ou une détermination de la deuxième position dans l'espace du document (401) par rapport à la caméra d'imagerie (201) sur la base de la deuxième image de document (405).

2. Procédé (100) selon la revendication 1, le procédé (100) comprenant une acquisition d'une pluralité d'images du document (401) par la caméra d'imagerie (201) dans différentes positions dans l'espace du document (401) par rapport à la caméra d'imagerie (201), l'acquisition (101) de la première image du document (401) comprenant une sélection de la première image parmi la pluralité d'images dans la première position dans l'espace et l'acquisition (103) de la deuxième image du document (401) comprenant une sélection de la deuxième image parmi la pluralité d'images dans la deuxième position dans l'espace, l'acquisition de la pluralité d'images du document (401) comprenant une détermination d'une position dans l'espace respective sur la base d'une image respective, les positions dans l'espace respectives étant comparées à la première position dans l'espace afin de sélectionner la première image parmi la pluralité d'images, les positions dans l'espace respectives étant comparées à la deuxième position dans l'espace afin de sélectionner la deuxième image parmi la pluralité d'images.

3. Procédé (100) selon la revendication 1 ou 2, la position dans l'espace respective étant déterminée au moyen d'une détection des arêtes.

4. Procédé (100) selon l'une des revendications précédentes, l'image de document (403, 405) respective étant soumise à un filtrage passe-bas en vue de réduire le bruit.

5. Procédé (100) selon l'une des revendications précédentes, la première image de document (403) étant comparée à la deuxième image de document (405) afin de déterminer une orientation de la première image de document (403) par rapport à la deuxième image de document (405), et la première image de document (403) et la deuxième image de document (405) étant alignées l'une sur l'autre sur la base de l'orientation déterminée.

6. Procédé (100) selon l'une des revendications précédentes, une valeur moyenne étant déterminée à partir d'une première valeur de pixel d'un pixel de la première image de document (403) et d'une deuxième valeur de pixel d'un pixel de la deuxième image de document (405), un premier écart entre la première valeur de pixel et la valeur moyenne étant déterminé, un deuxième écart entre la deuxième valeur de pixel et la valeur moyenne étant déterminé, et la différence d'images étant acquise sur la base du premier écart et du deuxième écart.

7. Procédé (100) selon l'une des revendications précédentes, un premier masque d'image de document étant déterminé sur la base de la première image de document (403), un deuxième masque d'image de document étant déterminé sur la base de la deuxième image de document (405) et la différence d'images étant acquise sur la base du premier masque d'image de document et du deuxième masque d'image de document.

8. Procédé (100) selon la revendication 7, le masque d'image de document respectif affichant des pixels de l'image de document (403, 405) respective qui peuvent être utilisés pour l'acquisition (105) de la différence d'images.

9. Procédé (100) selon l'une des revendications précédentes, la caractéristique (402) dépendante de l'angle de vision comprenant un hologramme ou une encre d'impression ayant des propriétés de réflexion ou des propriétés d'absorption dépendantes de l'angle de vision.

10. Appareil mobile (200) destiné à détecter une caractéristique (402) dépendante de l'angle de vision d'un document (401), la caractéristique (402) dépendante de l'angle de vision présentant des représentations dépendantes de l'angle de vision, comprenant :

une caméra d'imagerie (201) qui est configurée pour acquérir une première image du document (401) dans une première position dans l'espace du document (401) par rapport à la caméra d'imagerie (201) afin d'obtenir une première image de document (403), et pour acquérir une deuxième image du document (401) dans une deuxième position dans l'espace du document (401) par rapport à la caméra d'imagerie (201) afin d'obtenir une deuxième image de document (405) ; et

un processeur (203), qui est configuré pour acquérir une différence d'images entre la première image de document (403) et la deuxième image de document (405) afin de détecter la caractéristique (402) dépendante de l'angle de vision du document (401),

le processeur étant configuré pour segmenter la différence d'images en une pluralité de segments d'image et pour détecter la caractéristique (402) dépendante de l'angle de vision du document (401) sur la base d'au moins un segment d'image de la pluralité de segments d'image,

le processeur étant configuré pour déterminer une dimension de segment d'image pour un segment d'image de la pluralité de segments d'image, et pour comparer la dimension de segment d'image déterminée à une dimension de segment d'image prédéterminée afin de qualifier le segment d'image pour la détection de la caractéristique (402) dépendante de l'angle de vision ;

le processeur étant configuré pour associer un premier segment d'image de document de la première image de document à un segment d'image de la pluralité de segments d'image et un deuxième segment d'image de document de la deuxième image de document à un segment d'image de la pluralité de segments d'image, et pour comparer le premier segment d'image de document au deuxième segment d'image de document afin de qualifier le segment d'image pour la détection de la caractéristique dépendante de l'angle de vision ;

le processeur étant configuré pour effectuer la comparaison du premier segment d'image de document au deuxième segment d'image de document au moyen d'une corrélation croisée normalisée et pour qualifier le segment d'image pour la détection de la caractéristique dépendante de l'angle de vision lorsque le premier segment d'image de document et le deuxième segment d'image de document sont différents ;

l'acquisition (101) de la première image du document (401) comprenant en outre une correction en perspective de la première image de document (403) sur la base de la première position dans l'espace, et l'acquisition (103) de la deuxième image du document (401) comprenant en outre une correction en perspective de la deuxième image de document (405) sur la base de la deuxième position dans l'espace ;

l'appareil mobile (200) étant configuré pour déterminer la première position dans l'espace du document (401) par rapport à la caméra d'imagerie (201) sur la base de la première image de document (403) et/ou pour déterminer la deuxième position dans l'espace du document (401) par rapport à la caméra d'imagerie (201) sur la base de la deuxième image de document.

11. Programme informatique comprenant un code de programme dont les instructions ont pour effet que l'appareil mobile selon la revendication 10 met en œuvre un procédé selon l'une des revendications 1 à 9.

Zeichnung