[0001] Die Erfindung betrifft eine Identifizierungsvorrichtung für ein Objekt.
[0002] Die Identifizierung eines Objektes spielt beispielsweise bei der Warenerkennung im
Kassenbereich eines Supermarktes oder anderen Verkaufsgeschäftes eine wichtige Rolle.
Grundsätzlich ist es hierzu bekannt, auf der Ware einen Barcode anzuordnen, der die
Ware identifiziert. Durch Lesen des Barcodes mittels eines Barcode-Lesegerätes kann
die Ware in einfacher Weise identifiziert werden.
[0003] Probleme bei der Erfassung des Barcodes können jedoch auftreten, wenn die Ware vollständig
automatisiert und ohne die Hilfe einer Bedienperson identifiziert werden soll. Beispielsweise
können die Fälle eintreten, dass der Barcode einer Ware durch eine andere Ware verdeckt
ist, dass die Ware derart platziert ist, dass der mit einem Barcode versehene Bereich
von einem Barcode-Lesegerät nicht erfasst wird oder dass der Barcode beispielsweise
aufgrund von Reflektionen nicht korrekt gelesen wird.
[0004] In solchen Fällen, in denen eine Barcodeerkennung nicht gelingt, ist es erforderlich,
ein Objekt mittels zusätzlicher Informationen zu identifizieren. Gleiches gilt für
Objekte, die von vornherein keinen Barcode besitzen (wie zum Beispiel loses Obst).
[0005] Ferner sind für bestimmte Objekte zum Zwecke einer Manipulationserkennung (wie beispielsweise
eine vorsätzliche Um-Etikettierung eines Supermarktartikels oder die Fälschung eines
Pfandrücknahmeartikels) zusätzliche Gültigkeitsprüfungen nötig, für die es gilt, definierte
sichtbare bzw. nicht sichtbare Identifizierungsmittel oder Kennzeichen (beispielsweise
Wasserzeichen) eindeutig zu erkennen.
[0006] Die
US 2002/057438 A1 offenbart eine Identifizierungsvorrichtung für ein Objekt, welche eine erste und
zweite Beleuchtungseinrichtung, eine Farbkamera und ein Identifizierungsmittel aufweist.
[0007] Die
US 2014/052555 A1 beschreibt eine Vorrichtung zur Erkennung von Waren. Vorgestellt wird dort zu einem
die Nutzung einer ersten Beleuchtungseinrichtung, die dazu ausgebildet ist, ein zu
identifizierendes Objekt mit Licht des sichtbaren Spektrums und/oder mit Infrarot-Licht
zu beleuchten, wobei die erste Beleuchtungseinrichtung LED-Leuchtmittel mit den Farben
rot, grün, blau und/oder infrarot umfasst und Licht mit einem Rotanteil, einem Grünanteil
und einem Blauanteil und/oder Licht mit einem Infrarotanteil bereitstellt. Zum anderen
stellt diese Veröffentlichung eine zweite Beleuchtungseinrichtung vor, die dazu ausgebildet
ist, das zu identifizierende Objekt mit einem strukturierten Beleuchtungsmuster zu
beleuchten.
[0008] Die
WO 2013/134865 A1 beschreibt die Nutzung von digitalen Bildverarbeitungsmitteln zum Identifizieren
einer Ware, von der mittels einer Farbkamera ein Bild aufgenommen worden ist.
[0009] Gemäß der Lehre der
US 2010/217678 A1 werden Waren identifiziert, indem sie mittels visueller Sensoren bildmäßig erfasst
werden. Die erfassten Bilder werden mit Daten einer Datenbank verglichen. Die Daten
der Datenbank geben sog. visuelle Modelle an, die zum einen ein Bild der jeweiligen
Ware beinhalten und zum anderen geometrische Punktmerkmale.
[0010] Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine Identifizierungsvorrichtung
für ein Objekt bereitzustellen, die eine Objekterkennung und/oder eine Gültigkeitsprüfung
ermöglicht, die nicht notwendigerweise auf einer Barcodeerfassung beruht.
[0011] Diese Aufgabe wird erfindungsgemäß durch eine Identifizierungsvorrichtung mit den
Merkmalen des Anspruchs 1 gelöst. Ausgestaltungen der Erfindung sind in den Unteransprüchen
angegeben.
[0012] Danach sieht die erfindungsgemäße Lösung eine Identifizierungsvorrichtung vor, die
eine erste und eine zweite Beleuchtungseinrichtung aufweist. Die erste Beleuchtungseinrichtung
ist dazu ausgebildet, ein zu identifizierendes Objekt mit Licht des sichtbaren Spektrums
und/oder mit Infrarot-Licht homogen zu beleuchten. Die zweite Beleuchtungseinrichtung
ist dazu ausgebildet, das zu identifizierende Objekt mit einem strukturierten Beleuchtungsmuster
zu beleuchten. Ein strukturiertes Beleuchtungsmuster ist beispielsweise ein Beleuchtungsmuster,
das eine Vielzahl von Gitterpunkten aufweist, wobei die Gitterpunkte eine räumliche
Modulation aufweisen können.
[0013] Die Identifizierungsvorrichtung umfasst des Weiteren eine Farbkamera, die das mit
der ersten Beleuchtungseinrichtung und mit der zweiten Beleuchtungseinrichtung beleuchtete
Objekt aufnimmt. Dabei besteht zwischen der Beleuchtungsrichtung der zweiten Beleuchtungseinrichtung,
die das strukturierte Beleuchtungsmuster bereitstellt, und der optischen Achse der
Farbkamera ein spitzer Winkel. Dies ist erforderlich, um Messprinzipien der Triangulation
einzusetzen.
[0014] Es ist weiter vorgesehen, dass die mindestens eine Farbkamera erste Daten bereitstellt,
die das Bild des mit der ersten Beleuchtungseinrichtung beleuchteten Objekts betreffen
und zweite Daten bereitstellt, die das Bild des mit der zweiten Beleuchtungseinrichtung
beleuchteten Objekts betreffen. Die ersten Daten können dabei unter anderem dahingehend
ausgewertet werden, dass die Farbe und/oder Kontrastverhältnisse des Objektes bei
unterschiedlichen Beleuchtungsszenen erfasst werden. Die zweiten Daten können dahingehend
ausgewertet werden, dass die dreidimensionale Form des Objektes erkannt wird. Letzteres
kann beispielsweise gemäß einem Verfahren erfolgen, wie es in der
WO 2012/048889 A1 oder in der
europäischen Patentanmeldung Nr. 14 170 301.7 "Verfahren und Vorrichtung zur Erfassung der dreidimensionalen Form eines Objektes"
vom 28.05.2014 der Anmelderin beschrieben ist.
[0015] Die vorliegende Erfindung beruht somit auf der Idee, in einer Identifizierungsvorrichtung
für ein Objekt Mittel bereitzustellen, die sowohl die Erfassung der dreidimensionalen
Form eines Objektes (d.h. von Formmerkmalen) als auch die Erfassung der Farbe eines
Objektes (d.h. von Farbmerkmalen) ermöglichen. Zusätzlich oder alternativ zur Erfassung
der Farbe können mittels einer Beleuchtung mit Infrarot-Licht Kontrastverhältnisse
(aus denselben oder aus abwechselnden Beleuchtungsszenen) erfasst werden. Mit der
gleichzeitigen Erfassung von Farbmerkmalen und von Formmerkmalen ist es möglich, ein
Objekt in Echtzeit auch ohne Barcodeerkennung eindeutig zu Identifizieren. Dies ist
beispielsweise bei Objekten im Kassenbereich eines Supermarktes sowie im Pfandrücknahmebereich
("Reverse Vending Machines") von großer Bedeutung. In einem Supermarkt sind die einzelnen
Objekte bzw. Waren so gestaltet, dass der Mensch sie gut unterscheiden kann, beispielsweise
durch eine werbewirksame Gestaltung mit Form und Farbe.
[0016] Die erfindungsgemäße Erfassung von Farbmerkmalen und von Formmerkmalen schließt natürlich
nicht aus, dass mittels der Identifizierungsvorrichtung weitere Identifizierungsinformationen
erfasst werden, beispielsweise ein Barcode, Etiketten, Logos, Marken und Unternehmenskennzeichen,
die insbesondere aus den Daten, die das Bild des mit der ersten Beleuchtungseinrichtung
beleuchteten Objekts betreffen, analysiert werden.
[0017] Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, dass durch gleichzeitiges
Beleuchten des zu identifizierenden Objektes durch das Licht der ersten Beleuchtungseinrichtung
und das Licht der zweiten Beleuchtungseinrichtung die Daten, die die Farbkamera zu
den jeweiligen Bildern bereitstellt, automatisch korreliert sind, so dass auch die
daraus abgeleiteten 3D-Daten und Farbdaten automatisch korreliert sind. Das zu identifizierende
Objekt kann grundsätzlich ortsfest angeordnet sein oder sich bewegen. Sofern das zu
identifizierende Objekt bewegt ist (z.B. weil es sich auf einem Transportband befindet
und mit definierter Geschwindigkeit transportiert wird), ergibt sich die Korrelation
unter Berücksichtigung der Bewegungsrichtung- und geschwindigkeit des Objekts (z.B.
der Transportgeschwindigkeit eines Transportbandes). Die Bilder des bewegten Objektes,
die durch die erste Beleuchtungseinrichtung und durch die zweite Beleuchtungseinrichtung
aufgenommen wurden, können dabei über eine Verschiebung der beiden aufgenommenen Bilder
entsprechend der Bewegungsrichtung- und geschwindigkeit des Objekts miteinander korreliert
werden, so dass das Farb- und 3D-Bild kongruent erfasst werden können.
[0018] Für eine solche Korrelation wird beispielsweise ein Verschiebungsvektor zwischen
den beiden Aufnahmen ermittelt. Für den Fall des Transport des Objektes auf einem
Transportband ist entweder die Bandgeschwindigkeit mit hinreichender Genauigkeit vorbekannt
oder sie kann z.B. durch eine Korrelatorspur am Rand des Transportbandes (hierzu wird
z.B. die natürliche Textur des Transportbandes oder künstliche Marker verwendet) berechnet
werden.
[0019] Eine Korrelation ist ebenso realisierbar im Falle einer unerwarteten Objektgeschwindigkeit
oder eines ungleichförmigen Bewegungsablauf, beispielsweise verursacht durch Rollen,
Anstoßen, Umstürzen des Objektes oder durch das bewusste oder unbewusste Einwirken
einer Person durch Festhalten, Wackeln, Rückziehen oder Durchwerfen), sofern genügend
charakteristische Merkmale für eine eindeutige Bestimmung des Bildausschnitts verfügbar
sind.
[0020] Erfindungsgemäß ist vorgesehen, dass die erste Beleuchtungseinrichtung Licht mit
einem Rotanteil, einem Grünanteil und einem Blauanteil bereitstellt. Zusätzlich oder
alternativ stellt die Beleuchtungseinrichtung auch Infrarot-Licht bereit. Dies erfolgt
beispielsweise über LED-Leuchtmittel mit den Farben Rot, Grün, Blau und/oder Infrarot-LEDs,
die jeweils ein oder mehrere LEDs umfassen können. Der auf diese Weise bereitgestellte
RGB-Farbraum und gegebenenfalls Infrarotraum ermöglicht eine Farbaufnahme über einen
in der Farbkamera enthaltenen Farbsensor.
[0021] Eine weitere vorteilhafte Ausgestaltung der Erfindung sieht vor, dass die zweite
Beleuchtungseinrichtung ein Beleuchtungsmuster aus grünem Licht aussendet. Beispielsweise
erzeugt die zweite Beleuchtungseinrichtung auf der Oberfläche des zu erkennenden Objektes
eine Wolke von Objektgitterpunkten aus grünem Licht. Die Verwendung von grünem Licht
für die zweite Beleuchtungseinrichtung ist mit dem Vorteil verbunden, dass eine gute
Detektion der Objektgitterpunkte durch die Farbkamera möglich ist, insbesondere bei
Verwendung einer ersten Beleuchtungseinrichtung, die einen RGB-Farbraum zum homogenen
Beleuchten des Objektes bereitstellt.
[0022] Der von der Farbkamera wahrnehmbare Infrarot-Anteil kann zur Kontrast- bzw. Grauwertanalyse
parallel bzw. in einer weiteren Beleuchtungsszene derselben Beleuchtungseinrichtung
herangezogen werden.
[0023] Eine weitere Ausgestaltung der Erfindung sieht vor, dass die erste Beleuchtungseinrichtung
und die zweite Beleuchtungseinrichtung derart gesteuert sind, dass sie ein zu identifizierendes
Objekt sequenziell mit Licht beleuchten. In einander abwechselnden Zeitintervallen
beleuchtet somit die erste Beleuchtungseinrichtung und die zweite Beleuchtungseinrichtung
jeweils das zu identifizierende Objekt. Dementsprechend nimmt die Farbkamera sequentiell
Bilder auf, die nur das mit der ersten Beleuchtungseinrichtung beleuchtete Objekt
oder nur das mit der zweiten Beleuchtungseinrichtung beleuchtete Objekt betreffen.
Die beiden dabei entstehenden Datenströme betreffend das mit der ersten Beleuchtungseinrichtung
beleuchtete Objekt und betreffend das mit der zweiten Beleuchtungseinrichtung beleuchtete
Objekt können voneinander getrennt und unabhängig voneinander verarbeitet werden.
Dabei kann vorgesehen sein, dass die von der Farbkamera bereitgestellten Daten eine
Vorverarbeitung und Datenreduzierung erfahren, bevor die Datenströme betreffend das
Bild der ersten Beleuchtungseinrichtung und betreffend das Bild der zweiten Beleuchtungseinrichtung
voneinander getrennt werden.
[0024] Durch ein sequenzielles Beleuchten des zu identifizierenden Objektes mit der ersten
Beleuchtungseinrichtung und der zweiten Beleuchtungseinrichtung wird erreicht, dass
in einem betrachteten Zeitintervall das Objekt nur mit Licht einer der beiden Beleuchtungseinrichtungen
bestrahlt ist und dementsprechend die Farbkamera während dieses Intervalls nur das
mit einer der Beleuchtungseinrichtungen erzeugte Bild aufnimmt. Dies erlaubt es die
Informationen, die auf die erste Beleuchtungseinrichtung und die auf die zweite Beleuchtungseinrichtung
zurückzuführen sind, in einfacher Weise zu trennen, gesondert zu verarbeiten und bei
bestimmten Anwendungen anschließend wieder zusammenzuführen.
[0025] Um zu erreichen, dass die Farbkamera sequentiell Bilder aufnimmt, die nur das mit
der ersten Beleuchtungseinrichtung beleuchtete Objekt oder nur das mit der zweiten
Beleuchtungseinrichtung beleuchtete Objekt betreffen, sind jedoch auch andere Maßnahmen
möglich. Beispielsweise kann vorgesehen sein, dass die erste und die zweite Beleuchtungseinrichtung
kontinuierlich Licht abgeben und Filter vorgesehen sind, die abwechselnd geschaltet
werden und abwechselnd das Licht der ersten Beleuchtungseinrichtung und das Licht
der zweiten Beleuchtungseinrichtung zur Farbkamera durchlassen.
[0026] Weiter kann vorgesehen sein, dass die Farbkamera dazu ausgebildet ist, von einem
Objekt mindestens zwei Aufnahmen zu machen, während es innerhalb einer Sequenz mit
der ersten Beleuchtungseinrichtung beleuchtet wird. Eine solche doppelte oder mehrfache
Aufnahme des Objektes kurz hintereinander ermöglicht es, bei der ersten Aufnahme aufgetretene
Fehler zu korrigieren. Wenn beispielsweise die erste Aufnahme spiegelnde Reflektionen
aufweist, die es unmöglich machen, beispielsweise einen Barcode oder ein Label, das
in dem spiegelnden Bereich angeordnet ist, zu erkennen, so wird dieses Artefakt bei
der zweiten Aufnahme, nachdem das Objekt beispielsweise auf einem Transportband befördert
und damit seine Position verändert hat, nicht mehr auftreten. Die gewonnenen Bilder
können nach Herausrechnen des Versatzes durch die Transportbewegung in geeigneter
Weise zusammengeführt (z.B. addiert oder gemittelt) werden.
[0027] Ebenso könnte diese Methode einer doppelten oder mehrfachen Aufnahme des Objektes
kurz hintereinander für eine abwechselnde Beleuchtungsszene zwischen sichtbarem Licht
und nicht sichtbarem Licht der ersten Beleuchtungseinrichtung verwendet werden. Die
zusammengeführten Bilder werden dann mit dem Bild aus der zweiten Beleuchtungseinrichtung
korreliert. Bei dieser Variante ist die Farbkamera somit dazu ausgebildet ist, von
einem Objekt mindestens zwei Aufnahmen zu machen, während es innerhalb einer Sequenz
von der ersten Beleuchtungseinrichtung mit unterschiedlichen Lichtzusammensetzungen
(z.B. abwechselnd sichtbares Licht und Infrarot-Licht) beleuchtet wird.
[0028] Eine weitere Ausgestaltung der Erfindung sieht vor, dass die mindestens eine Farbkamera
ein Objektiv mit einem telezentrischen Strahlengang aufweist. Ein solcher telezentrischer
Strahlengang zeichnet sich dadurch aus, dass die Strahlen parallel zur optischen Achse
verlaufen. Der Vorteil besteht darin, dass ein konstanter Abbildungsmaßstab bereitgestellt
wird, da eine Translationsinvarianz vorliegt. Dies vereinfacht die Klassifikation
des Objektes, da ein Freiheitsgrad weniger zu berücksichtigen ist. Da ein telezentrischer
Strahlengang einen relativ kleinen Bildausschnitt erfasst, kann vorgesehen sein, dass
eine Mehrzahl von Farbkameras mit jeweils einem telezentrischen Strahlengang nebeneinander
angeordnet sind, die jeweils einen Teilausschnitt des aufzunehmenden Bildes erfassen,
wobei die Teilausschnitte später zusammengesetzt werden.
[0029] Erfindungsgemäß weist die Vorrichtung des Weiteren Identifizierungsmittel auf, die
dazu ausgebildet sind, die ersten Daten dahingehend auszuwerten, dass eine Mustererkennung
und/oder eine Farberkennung zumindest eines Teilbereichs des Objekts erfolgt oder
vorbereitet wird, und die zweiten Daten dahingehend auszuwerten, das mindestens ein
Parameter der dreidimensionalen Form des Objekts erfasst oder dessen Erfassung vorbereitet
wird. Insbesondere kann vorgesehen sein, dass die Identifizierungsmittel dazu ausgebildet
sind, aus den ersten Daten einen auf dem Objekt angeordneten Barcode zu erkennen oder
dessen Erkennung vorzubereiten. Andere Beispiele für eine Mustererkennung sind die
Erkennung eines Etiketts, eines Logos oder eine Schrifterkennung (beispielsweise zur
Erkennung einer Marke oder eines Unternehmenskennzeichens). Gültigkeitsprüfungen von
beispielsweise verborgenen Wasserzeichen können über die Messung von Kontrastunterschieden
in gleichen oder abwechselnden Beleuchtungsszenen unterschiedlicher Lichtspektren
durchgeführt werden.
[0030] Weiter sind die Identifizierungsmittel beispielsweise dazu ausgebildet, die zweiten
Daten mittels Prinzipien der Epipolargeometrie und der Korrespondenzanalyse im Hinblick
auf mindestens einen Parameter der dreidimensionalen Form auszuwerten. Dieser Parameter
ist beispielsweise der Abstand der einzelnen Objektgitterpunkte von einer Referenzfläche,
beispielsweise der Ebene eines Transportbandes. Mittels der Korrespondenzanalyse werden
Objektgitterpunkte auf der Oberfläche des Objektes, die durch das strukturierte Beleuchtungsmuster
bereitgestellt sind, Bildgitterpunkten in der Bildebene der Farbkamera zugeordnet,
wobei die Bildgitterpunkte durch die Aufnahme des durch das strukturierte Beleuchtungsmuster
beleuchteten Objekts mit der Farbkamera entstehen.
[0031] Die Erfindung sieht vor, dass die Vorrichtung, beispielsweise die genannten Identifizierungsmittel
dazu ausgebildet sind, zu einem zu identifizierenden Objekt erste Daten (betreffend
das mittels der ersten Beleuchtungseinrichtung aufgenommene Bild) und zweite Daten
(betreffend das mittels der zweiten Beleuchtungseinrichtung aufgenommene Bild) sequentiell
zu erfassen, aus den ersten Daten gewonnene Farbdaten und aus den zweiten Daten gewonnene
3D-Daten zu dem Objekt miteinander zu korrelieren und auf der Grundlage dieser Korrelation
die Farbdaten in ein kartesisches Koordinatensystem, insbesondere in ein kartesisches
Weltkoordinatensystem zu übertragen. Dabei ist in einer Ausgestaltung vorgesehen,
dass zu einem zu identifizierenden Objekt zuerst die zweiten Daten betreffend Formmerkmale
(3D-Informationen) und anschließend die ersten Daten betreffend Farbmerkmale erfasst
werden.
[0032] Das Objekt kann dabei ortsfest oder bewegt sein. Im zweiten Fall muss die Vorrichtung
dazu ausgebildet sein, eine Korrelation der ersten Daten und der zweiten Daten unter
Berücksichtigung der Bewegungsrichtung und -geschwindigkeit des bewegten Objektes
vorzunehmen.
[0033] Diese Ausgestaltung der Erfindung ermöglicht es, das Objekt dreidimensional im Hinblick
auf seine Farbgebung zu erfassen. Dies ermöglicht es beispielsweise, in einer Datenbank
hinterlegte Informationen zur räumlichen Verteilung von Farbmerkmalen von Objekten
bei der Identifizierung eines Objektes einzusetzen.
[0034] Ein weiterer Vorteil dieser Ausgestaltung ergibt sich in dem Fall, dass der zu erfassende
Raumbereich, in dem sich das zu identifizierende Objekt befindet, durch mehrere Farbkameras
erfasst wird, die jeweils einen Teilausschnitt eines aufzunehmenden Bildes erfassen.
Dies kann vorteilhaft sein, um zur Realisierung der erforderlichen Augensicherheit
Beleuchtungseinrichtungen mit geringer Beleuchtungstärke einsetzen zu können, die
aufgrund ihrer geringen Beleuchtungsstärke jeweils nur ein kleines Raumvolumen beleuchten.
In diesem Fall können die durch die einzelnen Farbkameras aufgenommenen und ausgewerteten
Bilder leicht zu einem Gesamtbild zusammengefügt werden, da die durch die jeweilige
Farbkamera und die nachfolgende Auswertung bereitgestellten Farbdaten in ein kartesisches
Koordinatensystem übertragen wurden und daher unmittelbar zu dem Gesamtobjekt ergänzbar
sind (sogenanntes "stitching").
[0035] Gemäß einer Ausgestaltung der Erfindung sind die erste Beleuchtungseinrichtung, die
zweite Beleuchtungseinrichtung und die mindestens eine Farbkamera in einem gemeinsamen
Modul mit einem Modulgehäuse angeordnet. Darüber hinaus können auch die genannten
Identifizierungsmittel ebenfalls in das Modul integriert sein, wobei die Identifizierungsmittel
in einem solchen Fall zumindest eine Datenreduktion vornehmen. Gemäß dieser Ausgestaltung
wird somit ein kompaktes Modul bereitgestellt, das miteinander korrelierte Farbdaten
und Daten zur dreidimensionalen Form des Objektes generiert, die im Modul selbst und/oder
einer nachgeschalteten Einheit verarbeitet werden. Eine oder mehrere solche Module
können beispielsweise dazu eingesetzt werden, als Objekte Waren zu erkennen, die auf
einer Transportvorrichtung im Kassenbereich eines Supermarktes oder eines anderen
Verkaufsgeschäftes befördert werden. Eine andere Anwendung besteht darin, als Objekte
zum Beispiel Münzen, Flaschen, Dosen, Batterien sowie weitere Materialien im Rücknahme-
oder Sortierbereich zu erkennen.
[0036] Gemäß einer Ausgestaltung der Erfindung ist vorgesehen, dass die Vorrichtung mindestens
eine Mehrzahl zusammengehöriger Farbkameras aufweist, wobei eine erste Farbkamera
der Mehrzahl dazu ausgebildet ist, ein Objekt oder einen Teil eines Objekts in einem
ersten Tiefenschärfenbereich scharf abzubilden und mindestens eine zweite Farbkamera
der Mehrzahl dazu ausgebildet ist, ein Objekt oder einen Teil eines Objekts in mindestens
einem weiteren Tiefenschärfenbereich scharf abzubilden, der sich an den ersten Tiefenschärfenbereich
anschließt. Sofern die Mehrzahl zusammengehöriger Farbkameras z.B. aus einem Paar
von Farbkameras besteht, so ist eine erste Farbkamera des Paars dazu ausgebildet,
ein Objekt oder einen Teil eines Objekts in einem ersten Tiefenschärfenbereich scharf
abzubilden und eine zweite Farbkamera des Paars dazu ausgebildet, ein Objekt oder
einen Teil eines Objektes in einem zweiten Tiefenschärfenbereich scharf abzubilden,
der sich an den ersten Tiefenschärfenbereich anschließt. Es werden somit mehrere Farbkameras
mit Objektiven mit unterschiedlichen Tiefenschärfenbereichen eingesetzt. Dies ermöglicht
es, auch ein Objekt mit großer dreidimensionaler Tiefe insgesamt abzubilden, ohne
die Notwendigkeit, Beleuchtungseinrichtungen mit einer hohen Lichtleistung zu verwenden.
Die mehreren Farbkameras bzw. deren Objektive sind dabei in einer Ausgestaltung zumindest
näherungsweise parallel angeordnet, um Verzerrungen zwischen den beiden aufgenommenen
Bildern zu vermeiden.
[0037] Gemäß einer weiteren Ausgestaltung der Erfindung umfasst die Vorrichtung zwei Paare
von Farbkameras, die in ein gemeinsames Modul integriert sind, wobei jedes der Paare
einen anderen Raumbereich erfasst und jede der Farbkameras eines Paars einen anderen
Tiefenschärfenbereich erfasst.
[0038] Die Erfindung betrifft auch eine Scanvorrichtung zur Erfassung von Waren im Kassenbereich
eines Supermarktes, wobei die Scanvorrichtung in Form eines Tunnels oder Tors ausgebildet
ist, durch den/das Waren auf einer Transportvorrichtung befördert werden. Die Scanvorrichtung
umfasst dabei mindestens eine Vorrichtung mit den Merkmalen des Anspruchs 1. Darüber
hinaus kann die Scanvorrichtung auch in anderer Weise ausgestaltete Scanvorrichtungen
aufweisen, beispielsweise einen so genannten Bottom-Scanner, der eine Ware von der
Unterseite her scannt und/oder einen seitlichen Scanner, der ein seitliches Bild der
Ware erfasst. Die erfindungsgemäße Identifizierungsvorrichtung ist bevorzugt derart
angeordnet, dass sie von oben in der Draufsicht das zu identifizierende Objekt erfasst.
[0039] Die Erfindung wird nachfolgend unter Bezugnahme auf die Figuren der Zeichnung anhand
mehrerer Ausführungsbeispiele näher erläutert. Es zeigen:
- Figur 1
- schematisch eine Identifizierungsvorrichtung für ein Objekt, die eine erste Beleuchtungseinrichtung,
eine zweite Beleuchtungseinrichtung und eine Farbkamera umfasst;
- Figur 2
- eine teilweise gebrochene Ansicht eines Ausführungsbeispiels einer als Modul ausgebildeten
Identifizierungsvorrichtung;
- Figur 3
- ein Ausführungsbeispiel einer zweiten Beleuchtungseinrichtung, die ein strukturiertes
Beleuchtungsmuster bereitstellt;
- Figur 4
- schematisch eine Scanvorrichtung zur Erfassung von Waren im Kassenbereich eines Supermarktes
mit mindestens einem Modul gemäß der Figur 2;
- Figur 5
- ein schematisches Beispiel von 3D-Daten und zugehörigen Farbdaten zu einem zu identifizierenden
Objekt, das auf einem Transportband befördert wird;
- Figur 6a
- ein Beispiel für die Erfassung von 3D-Daten;
- Figur 6b
- ein Beispiel für die Erfassung von Farbdaten; und
- Figur 6c
- ein Beispiel für eine Identifizierung und Segmentierung benachbarter Objekte unter
Verwendung der 3D-Daten und der Farbdaten der Figuren 6a, 6b.
[0040] Die Figur 1 zeigt schematisch eine Identifizierungsvorrichtung für ein Objekt. Die
Identifizierungsvorrichtung umfasst eine erste Beleuchtungseinrichtung 8, eine zweite
Beleuchtungseinrichtung 1 und eine Farbkamera 2. Ein zu identifizierendes Objekt 3
befindet sich auf einer Referenzfläche 4, die im dargestellten Ausführungsbeispiel,
jedoch nicht notwendigerweise, horizontal verläuft. Das Objekt 3 kann eine feste Position
im Raum besitzen. Alternativ befindet sich das Objekt 3 auf einer Transportvorrichtung,
die das Objekt 3 in einer Richtung 5 senkrecht zur Zeichenebene transportiert. Ein
solches Transportmittel ist beispielsweise ein Förderband im Kassenbereich eines Supermarktes
oder eines anderen Verkaufsgeschäftes. Alternativ kann auch vorgesehen sein, dass
die Vorrichtung aus Beleuchtungseinrichtungen 1, 8 und Farbkamera 2 gegenüber einem
feststehenden oder ebenfalls bewegten Objekt 3, zum Beispiel auf einem Industrieroboter,
verfahren wird.
[0041] Die erste Beleuchtungseinrichtung 8 beleuchtet das zu identifizierende Objekt 3 homogen
(d.h. ohne eine räumliche Strukturierung) mit Licht des sichtbaren Spektrums. Zusätzlich
oder alternativ kann eine Beleuchtung mit Infrarot-Licht erfolgen. Es handelt sich
beispielsweise um eine Lichtquelle, die LED-Leuchtmittel mit den Farben Rot, Grün
und Blau umfasst und die ggf. eine weitere Lichtquelle für Infrarot umfasst (beispielsweise
in Form von Infrarot-LEDs). Das Licht der zweiten Beleuchtungseinrichtung 1 bestrahlt
eine Maske 6, die zusammen mit weiteren optischen Elementen (nicht dargestellt) ein
Beleuchtungsmuster (ebenfalls nicht dargestellt) aus Objektgitterpunkten auf der Oberfläche
30 des Objektes 3 erzeugt. Ein Ausführungsbeispiel der Anordnung der zweiten Beleuchtungseinrichtung
1 und der Maske 6 wird anhand der Figur 3 erläutert werden.
[0042] Die von der zweiten Beleuchtungseinrichtung 1 und der Maske 6 bereitgestellten Lichtbündel
erzeugen ein Beleuchtungsmuster, das eine Vielzahl von Gitterpunkten aufweist, wobei
mindestens einige der Gitterpunkte auf die Oberfläche 30 des Objekts 3 projiziert
und als Objektgitterpunkte mittels der Farbkamera 2 erfasst werden. Das von der zweiten
Beleuchtungseinrichtung 1 ausgestrahlte Licht ist beispielsweise grünes Licht. Des
Weiteren wird die Oberfläche 30 des Objekts 3 homogen mit dem Licht bestrahlt, das
die erste Beleuchtungseinrichtung 8 aussendet. Auch das von der ersten Beleuchtungseinrichtung
8 auf die Oberfläche 30 des Objektes 3 projizierte und von der Oberfläche reflektierte
Licht wird mittels der Farbkamera 2 erfasst. Diese Vorgänge sind in der Figur 1 durch
die durchgezogenen Strahlen, die von der ersten bzw. zweiten Beleuchtungseinrichtung
8, 1 ausgehen, und die gestrichelten Strahlen, die die Farbkamera 2 detektiert, angedeutet.
[0043] Bei der Kamera 2 handelt es sich beispielsweise um eine Digitalkamera oder eine Videokamera,
die einen zweidimensionalen CCD-Array-Sensor oder alternativ einen CMOS-Array-Sensor
aufweist, der ein Digitalbild bereitstellt (auch als Matrixsensor-Kamera bezeichnet).
[0044] Die Kamera 2 weist dabei ein Objektiv auf, das das mit den Gitterpunkten der zweiten
Beleuchtungseinrichtung 1 und dem homogenen Licht der ersten Beleuchtungseinrichtung
8 bestrahlte Objekt in die Bildebene der Kamera abbildet, in der sich der CCD- bzw.
CMOS-Chip befindet.
[0045] Es wird darauf hingewiesen, dass zwischen der Beleuchtungsrichtung der zweiten Beleuchtungseinrichtung
1 und der Betrachtungsrichtung der Farbkamera 2 ein spitzer Winkel besteht. Die Beleuchtungsrichtung
der zweiten Beleuchtungseinrichtung 1 ist dabei die Raumrichtung, die der Ausstrahlrichtung
des Schwerpunkts der von der Beleuchtungseinrichtung 1 ausgehenden Lichtbündel entspricht.
Die Betrachtungsrichtung der Farbkamera 2 wird durch die optische Achse der Farbkamera
2 definiert.
[0046] Die Farbkamera 2 stellt erste Daten bereit, die das Bild des mit der ersten Beleuchtungseinrichtung
8 beleuchteten Objekts betreffen und stellt zweite Daten bereit, das Bild des mit
der zweiten Beleuchtungseinrichtung 1 beleuchteten Objekts betreffen. Dabei kann vorgesehen
sein, dass die erste Beleuchtungseinrichtung 8 und die zweite Beleuchtungseinrichtung
1 derart gesteuert sind, dass sie ein zu identifizierendes Objekt sequenziell mit
Licht beleuchten, so dass das Digitalbild der Kamera 2 sequenziell nur die Abbildung
der Objektgitterpunkte des beleuchteten Objektes 3 oder die farbige oder/und ggf.
grauwertige (letzteres im Falle der Beleuchtung mit Infrarot-Licht) homogene Abbildung
des Objektes 3 aufweist. Die entsprechenden Daten können in getrennte Datenströme
aufgeteilt werden.
[0047] Der Farbkamera 2 ist dabei eine Recheneinrichtung 7 zugeordnet, an die die von der
Kamera 2 erfassten Digitalbilder übertragen werden. Die Recheneinrichtung 7 umfasst
dabei Identifizierungsmittel, die dazu ausgebildet sind, die ersten Daten (betreffend
das durch die erste Beleuchtungseinrichtung 8 erzeugte Bild) dahingehend auszuwerten,
dass eine Mustererkennung und/oder eine Farberkennung zumindest eines Teilbereichs
des Objektes 3 erfolgt oder vorbereitet wird, und die weiter dazu ausgebildet sind,
die zweiten Daten (betreffend das durch die zweite Beleuchtungseinrichtung 1 bereitgestellte
Bild) dahingehend auszuwerten, dass mindestens ein Parameter der dreidimensionalen
Form des Objektes 3 erfasst oder dessen Erfassung vorbereitet wird.
[0048] Dabei kann vorgesehen sein, dass die Recheneinrichtung 7 einen FPGA-Prozessor und/oder
einen Datenstromprozessor und/oder ein vergleichbares Bauelement mit programmierbarer
Logik aufweist, das eine Berechnung von 3D-Koordinaten und Farbkoordinaten bzw. Grauwertkoordinaten
(aus der Infrarot-Beleuchtung) in Echtzeit gewährleistet. Alternativ werden die digitalen
Bilder in eine externe Vorrichtung übertragen und dort weitergehend ausgewertet.
[0049] In der schematischen Darstellung der Figur 1 sind die erste Beleuchtungseinrichtung
8, die zweite Beleuchtungseinrichtung 1 und die Farbkamera 2 baulich getrennt. Alternativ
kann vorgesehen sein, dass die beiden Beleuchtungseinrichtungen 8, 1 und die Farbkamera
2 in einem gemeinsamen Gehäuse angeordnet sind. Die Figur 2 zeigt ein Ausführungsbeispiel
für eine solche gemeinsame Anordnung in einem Modul.
[0050] Die Figur 2 zeigt ein Ausführungsbeispiel eines Identifizierungsmoduls 100, das in
einem Modulgehäuse 110 eine zweite Beleuchtungseinrichtung 1, zwei erste Beleuchtungseinrichtungen
81, 82 und vier Farbkameras 21-24 aufweist. Die Beleuchtungseinrichtungen 1, 81, 82
und die Farbkameras 21-24 sind mit einer Leiterplatte 120 verbunden, auf der elektronische
Bauelemente angeordnet sind. Die Leiterplatte 120 ist in an sich bekannter Weise über
elektrische und/oder optische Steckverbindungen mit externen Bauteilen wie z.B. einem
Computer oder einem Computernetzwerk verbindbar.
[0051] Das Modulgehäuse 110 weist im dargestellten Ausführungsbeispiel eine Vorderseite
111 auf, die dem zu identifizierenden Objekt zugewandt ist und in der Licht aussendende
oder Licht empfangende Komponenten der zweiten Beleuchtungseinrichtung 1, der ersten
Beleuchtungseinrichtungen 81, 82 und der Farbkameras 21-24 angeordnet sind. Die Vorderseite
111 kann eben ausgebildet sein. Das Modulgehäuse 110 kann des Weiteren eine ebene
Rückseite 112 und Seitenwände 113 aufweisen. Der genaue strukturelle Aufbau der Modulgehäuses
110 ist dabei für die vorliegende Erfindung nicht wesentlich. Es können auch andere
Aufbauten als der in der Figur 2 dargestellte Aufbau vorgesehen sein.
[0052] Die zweite Beleuchtungseinrichtung 1 stellt ein strukturiertes Beleuchtungsmuster
bereit. Zwischen ihrer Beleuchtungsrichtung und der optischen Achse der Farbkameras
21-24 besteht jeweils ein spitzer Winkel. Ein Ausführungsbeispiel der zweiten Beleuchtungseinrichtung
1 wird anhand der Figur 3 erläutert werden.
[0053] Die beiden ersten Beleuchtungseinrichtungen 81, 82 sind an der dem zu identifizierenden
Objekt zugewandten Vorderseite 111 des Moduls 100 angeordnet. Sie weisen jeweils drei
LEDs auf, die Licht in den Farben Rot, Grün und Blau abstrahlen. Zusätzlich kann eine
Infrarot-LED vorgesehen sein (nicht dargestellt), die Infrarot-Licht abstrahlt. Anstelle
einzelner Farb-LED's können dabei auch Mehrfarben-LED's mit separater Ansteuerung
zum Einsatz kommen.
[0054] Die Farbkameras 21-24 sind als zwei Paare 21, 22 und 23, 24 angeordnet, wobei jedes
der Paare 21, 22 und 23, 24 einen anderen Raumbereich erfasst. Insbesondere erfasst
das obere Paar 21, 22 einen ersten Raumbereich. Die beiden Farbkameras 21, 22 des
ersten Paars bilden dabei unterschiedliche Tiefenschärfenbereiche scharf ab, wobei
diese beiden Tiefenschärfenbereiche aneinander anschließen, so dass über die beiden
Farbkameras 21, 22 ein Objekt in einem insgesamt großen Tiefenschärfenbereich abgebildet
werden kann.
[0055] In entsprechender Weise erfassen die beiden unteren Farbkameras 23, 24 einen anderen
Raumbereich und es bildet wiederum jede dieser beiden Farbkameras 23, 24 ein Objekt
in einem unterschiedlichen Tiefenschärfenbereich scharf ab, wobei sich die beiden
Tiefenschärfenbereiche aneinander anschließen.
[0056] Die Farbkameras 21-24 weisen jeweils ein Objektiv mit einem telezentrischen Strahlengang
auf.
[0057] Die Farbkameras 21-24 sind jeweils als CCD-Kamera oder CMOS-Kamera ausgebildet und
umfassen einen Chip (z.B. einen zweidimensionalen CCD-Array-Sensor oder alternativ
einen CMOS-Array-Sensor), der ein digitales Bild einer Aufnahme bereitstellt. Die
digitalen Bilder werden an elektronische Vorverarbeitungsbausteine geleitet, die auf
der Leiterplatte 120 angeordnet sind und erfahren dort zumindest eine Vorverarbeitung
insbesondere zur Datenreduktion.
[0058] Die Figur 3 zeigt ein Ausführungsbeispiel einer zweiten Beleuchtungseinrichtung 1
mit zugeordneter Maske 6. Die zweite Beleuchtungseinrichtung 1 umfasst eine Lichtquelle
11, beispielsweise in Form ein oder mehrerer LEDs oder Laser, die Licht aussendet.
Das durch die Lichtquelle 11 ausgesandte Licht wird in einer Kollimationsoptik 12
zumindest näherungsweise parallelisiert und beleuchtet eine Maske 6, die eine Homogenisierungsoptik
darstellt und ein Mikrolinsenarray 60 mit Mikrolinsen 61 umfasst. Das Mikrolinsenarray
60 erzeugt eine Anzahl von Lichtbündeln, die der Anzahl der Mikrolinsen 61 des Mikrolinsenarrays
60 entspricht, und beleuchtet mit diesen Lichtbündeln die Oberfläche 31 des zu identifizierenden
Objektes, vgl. Figur 1. Das Mikrolinsenarray 60 stellt dabei ein strukturiertes Beleuchtungsmuster
in Form von Rasterpunkten auf der Objektoberfläche 31 bereit.
[0059] Für die meisten makroskopischen Anwendungen ist allerdings die Schnittweite des Mikrolinsenarrays
60 zu gering. Es wird deshalb eine zusätzliche, nicht gezeigte Feldlinse oder ein
Objektiv eingesetzt. In diesem Fall stellt die Ebene 31 eine Zwischenbildebene dar,
die dann auf das Objekt 3 abgebildet wird.
[0060] Es kann vorgesehen sein, dass die Mikrolinsen 61 des Mikrolinsenarrays 60 eine räumliche
Modulation aufweisen. Diese kann beispielsweise bei einem hexagonalen Raster dadurch
erfolgen, dass die Lage der optischen Achse mindestens einer Mikrolinse 61 einer hexagonal
angeordneten Gruppe in Umfangsrichtung oder in radialer Richtung bezogen auf den Schwerpunkt
der Gruppe verschoben ist. Des Weiteren kann eine räumliche Modulation beispielsweise
mittels einer Größenmodulation und/oder einer Farbmodulation realisiert werden. Eine
Größenmodulation kann beispielsweise dadurch erfolgen, dass der Durchmesser der Mikrolinsen
61 z.B. durch entsprechende Vergrößerung der lichtundurchlässigen Schicht zwischen
den Linsen verändert wird. Durch die unterschiedlichen Durchmesser ergeben sich unterschiedliche
Beleuchtungsstärken für die Strahlen, die zusätzlich ausgewertet werden können. Die
Größenmodulation der Mikrolinsen 61 führt somit zu einer Helligkeitsmodulation bei
den Gitterpunkten. Eine Farbmodulation kann beispielsweise durch unterschiedliche
Farbfilter realisiert werden.
[0061] Die Figur 4 zeigt eine Scanvorrichtung zur Erfassung von Waren im Kassenbereich eines
Supermarktes. Die Scanvorrichtung umfasst ein Förderband 40, auf dem eine Ware 3 von
links nach rechts transportiert wird, sowie mehrere Scaneinrichtungen. So sind ein
Draufsicht-Scanner 100 ("Top-Scanner"), der eine Ware 3 von oben scannt, ein Unterseiten-Scanner
200 ("Bottom-Scanner"), der eine Ware 3 von der Unterseite her scannt, sowie mindestens
ein seitlicher Scanner 300, der einen seitlichen Scan der Ware 3 durchführt, vorgesehen.
[0062] Der Draufsicht-Scanner 100 ist beispielsweise durch ein Modul entsprechend der Figur
2 gebildet und dazu geeignet, Farbinformationen (ggf. auch Grauwertinformationen)
und 3D-Informationen zu dem zu identifizierenden Objekt 3 in Echtzeit zu erfassen.
Die anderen Scaneinrichtungen 200, 300 sind beispielsweise als Barcode-Scaneinrichtungen
ausgebildet. Sie können jedoch alternativ auch zusätzliche Funktionalitäten aufweisen,
beispielsweise ein Bild der Ware von der Seite oder von unten aufnehmen, um weitere
Informationen zur dreidimensionalen Form der Ware zu erhalten.
[0063] Der Unterseiten-Scanner 200 ist dabei wie dargestellt beispielsweise derart positioniert,
dass er im Bereich zwischen zwei Förderbändern 40 angeordnet ist und nach oben scannt.
[0064] Weiter kann vorgesehen sein, dass die Scanvorrichtung in Form eines Tunnels oder
Tors (nicht dargestellt) ausgebildet ist, durch den/das Waren 3 auf dem Förderband
40 befördert werden, wobei der Draufsichtscanner 100 und ein oder mehrere seitliche
Scanner 300, sofern vorhanden, an dem Tunnel oder Tor angeordnet ist. Auch können
an dem Tunnel oder Tor eine Mehrzahl von Draufsichtscannern 100 angeordnet sein, die
jeweils Farbinformationen und 3D-Informationen zu einem zu identifizierenden Objekt
3 in Echtzeit erfassen und die dabei unterschiedliche Raumbereiche erfassen.
[0065] Eine zu identifizierende Ware 3 weist in der Regel einen Barcode 32 auf. Sofern dieser
erfasst werden kann, ist die Identifizierung der Ware einfach. Sofern der Barcode
32 nicht erfasst werden kann oder die Ware 3 keinen Barcode 32 aufweist, erfolgt eine
Identifizierung über den Draufsicht-Scanner 100, indem wie in Bezug auf die Figuren
1 bis 3 erläutert Farb- und/oder Grauwertinformationen und/oder Muster, die mittels
der ersten Beleuchtungseinrichtung erfasst werden, und 3D-Informationen, die mittels
der zweiten Beleuchtungseinrichtung erfasst werden, bestimmt werden. Die bestimmten
Informationen werden mit einer Datenbank abgeglichen, in der die entsprechenden Parameter
der einzelnen Waren gespeichert sind, wodurch eine Identifizierung der Ware ermöglicht
wird. Beispielsweise kann über die Form (einschließlich der Größe) und über die Farbe
bzw. das Farbmuster einer Ware, oder mittels eines weiteren Merkmals (z.B. ein verborgenes
Wasserzeichen) eine eindeutige Identifizierung der Ware oder des Merkmals erfolgen.
[0066] In einem Vergleichsbeispiel kann vorgesehen sein, dass die ermittelten 3D-Daten und
Farb- und/oder Grauwertdaten jeweils für sich ausgewertet und gesondert mit entsprechenden
Werten einer Datenbank abgeglichen werden. Beispielsweise wird mittels der 3D-Daten
die Form des Objektes bestimmt und erfolgt in Bezug auf diese Form ein Abgleich mit
einer Datenbank.
[0067] Erfindungsgemäß ist jedoch vorgesehen, dass die zu einem bestimmten Objekt gewonnenen
Farb- und/oder Grauwertdaten und 3D-Daten miteinander korreliert werden und auf der
Grundlage dieser Korrelation die Farb- und/oder Grauwertdaten dreidimensional erfasst
und in ein kartesisches Koordinatensystem übertragen werden. Auch können dabei die
dreidimensionalen Farb- und/oder Grauwertdaten mehrerer Kameras, die unterschiedliche
Raumbereiche erfassen, zusammengefügt werden, z.B. die dreidimensionalen Farbdaten,
die über die Farbkameras 21-24 des Moduls der Figur 2 erfasst werden. Der Abgleich
mit einer Datenbank erfolgt dann beispielsweise über die dreidimensional aufgelöste
Farb- und/oder Grauwertinformation zu dem zu identifizierenden Objekt.
[0068] Die Figur 5 und die Figuren 6a-6c stellen beispielhaft Informationen dar, die ein
erfindungsgemäßer Draufsicht-Scanner 100 bereitstellt, der beispielsweise durch ein
Modul entsprechend der Figur 2 gebildet und der dazu geeignet ist, Farb- und/oder
Grauwertinformationen und 3D-Informationen zu einem zu identifizierenden Objekt mittels
einer Farbkamera in Echtzeit zu erfassen.
[0070] Das Objekt 3 ist im betrachteten Beispiel ein quaderförmiges Objekt. Die Kreuze 33
entsprechen Punkten auf der Ebene des Transportbands 40. Die Kreise entsprechend Gitterpunkten
auf der erhöhten Oberfläche des quaderförmigen Objekts, die durch das strukturierte
Beleuchtungsmuster bereitgestellt sind. Diese Objektgitterpunkte werden durch das
Objektiv der Farbkamera in die Bildebene der Farbkamera als Bildgitterpunkte 34 abgebildet.
[0071] Die Figur 5 zeigt auf der rechten Seite eine Farb- und/oder Graubildaufnahme des
Objektes 3, die mittels einer Beleuchtungseinrichtung gewonnen ist, die ein zu identifizierendes
Objekt mit Licht des sichtbaren Spektrums und/oder mit Infrarot-Licht homogen beleuchtet.
Die Farbbildaufnahme wurde zeitlich nach der 3D Aufnahme durchgeführt.
[0072] Da die Farbkamera die Bilder betreffend die 3D-Informationen (linke Seite der Figur
5) und betreffend die Farb- und/oder Grauwertinformationen (rechte Seite der Figur
5) sequentiell aufnimmt, sind die Bilder zueinander aufgrund der Bandgeschwindigkeit
des Transportbands 40 verschoben. Das Objekt 3 ist um einen Offset δx = v
Band * δt verschoben, wobei δt der Zeitabstand der Aufnahmen und v
Band die Transportgeschwindigkeit des Bandes 40 ist. Der Wert v
Band ist in der Regel vorbekannt oder wird gemessen. Über den Offset können die beiden
Bilder des Objekts 3 kongruent erfasst werden.
[0073] So werden die 3D- und die Farb- und/oder Graubildaufnahme zueinander ausgerichtet
und verbunden. Dabei werden die Bildgitterpunkte 33, die die Transportbandebene betreffen,
allerdings bevorzugt nicht berücksichtigt und vorher ausgeblendet. Die Erkennung der
Transportbandebene kann beispielsweise durch Vergleich mit einer angelernten Tabelle
oder mit einem Schwellwert erfolgen.
[0074] In einer Ausgestaltung erfolgt eine die Transformation der Farb- und/oder Graubilder
in ein gemeinsames kartesisches Weltkoordinatensystem unter Verwendung der 3D-Informationen.
Damit werden die Farb- bzw. Grauwertinformationen dreidimensional aufgelöst bereitgestellt.
Auch kann vorgesehen sein, dass - soweit vorhanden - mehrere Aufnahmen des Objekts,
die unterschiedliche Transportpositionen des Objekts auf dem Transportband betreffen,
sowie ggf. Aufnahmen benachbarter Kameras, die jeweils nur bestimmte Raumbereiche
abdecken, durch Stitching miteinander verbunden werden.
[0075] Eine Barcodeerkennung kann konventionell direkt auf den Farbbildern und/oder Graubildern
erfolgen.
[0076] Das beschriebene Verfahren ist auch geeignet, eine Segmentierung einzelner Objekte
durchzuführen, die unmittelbar benachbart auf einem Transportband liegen. Dies wird
anhand der Figuren 6a bis 6c veranschaulicht.
[0077] Die Figur 6a zeigt 3D-Daten von vier Objekten, die mittels einer Beleuchtungseinrichtung
gewonnen sind, die ein zu identifizierendes Objekt mit einem strukturierten Beleuchtungsmuster
beleuchtet. Die z-Koordinate (senkrecht zur Transportbandebene) ist über den Grauwert
kodiert. Die Figur 6b zeigt das entsprechende Farbwertbild. Jedem Pixel ist ein bestimmter
Farbwert zugeordnet. Das Zusammenfügen der beiden Bilder gemäß der Figur 6c erlaubt
eine Segmentierung der vier Objekte 91-94. Diese Segmentierung kann aufgrund des Umstands
erfolgen, dass die Objekte an ihren aneinander angrenzenden Flächen eine starke Änderung
der z-Koordinate aufweisen, was nach Transformation des Farbbilds in ein gemeinsames
kartesisches Weltkoordinatensystem unter Verwendung der 3D-Informationen leicht erfassbar
ist.
[0078] Eine weitere Anwendung der vorliegenden Erfindung besteht darin, eine identifizierte
Ware an einer Selbstbedienungskasse nachzuverfolgen und dabei in einem Ablagebereich,
in dem das zuvor zur Feststellung des Kaufpreises identifizierte Objekt hin befördert
und abgelegt wurde, erneut zu erfassen und zu identifizieren. Wenn die Identifizierung
der Ware im Ablagebereich mit der zuvor erfolgten Identifizierung der Ware übereinstimmt,
handelt es sich bei der Ware im Ablagebereich um die bezahlte Ware und liegt kein
Missbrauch der Selbstbedienungsfunktion vor.
[0079] Die Erfindung beschränkt sich in ihrer Ausgestaltung nicht auf die vorstehend dargestellten
Ausführungsbeispiele, die lediglich beispielhaft zu verstehen sind. Beispielsweise
ist die Erfindung nicht auf bestimmte Realisierungsformen der ersten und zweiten Beleuchtungsmittel
oder der Farbkamera beschränkt. Auch kommt es für die Erfindung z.B. nicht darauf
an, auf welche genaue Art und Weise die Daten, die die mindestens eine Farbkamera
erfasst, zur Bereitstellung einer Farbinformation und einer 3D-Information ausgewertet
werden.
1. Identifizierungsvorrichtung für ein Objekt, die aufweist:
- eine erste Beleuchtungseinrichtung (8, 81, 82), die dazu ausgebildet ist, ein zu
identifizierendes Objekt (3) mit Licht des sichtbaren Spektrums und/oder mit Infrarot-Licht
homogen zu beleuchten, wobei die erste Beleuchtungseinrichtung (8, 81, 82) LED-Leuchtmittel
mit den Farben rot, grün, blau und/oder infrarot umfasst und Licht mit einem Rotanteil,
einem Grünanteil und einem Blauanteil und/oder Licht mit einem Infrarotanteil bereitstellt;
- eine zweite Beleuchtungseinrichtung (1), die dazu ausgebildet ist, das zu identifizierende
Objekt (3) mit einem strukturierten Beleuchtungsmuster zu beleuchten;
- mindestens eine Farbkamera (2, 21-24), die das mit der ersten Beleuchtungseinrichtung
(8, 81, 82) und mit der zweiten Beleuchtungseinrichtung (1) beleuchtete Objekt (3)
aufnehmen kann,
- wobei zwischen der Beleuchtungsrichtung der zweiten Beleuchtungseinrichtung (1)
und der optischen Achse der Farbkamera (2, 21-24) ein spitzer Winkel besteht, und
- wobei die mindestens eine Farbkamera (2, 21-24) erste Daten bereitstellen kann die
das Bild des mit der ersten Beleuchtungseinrichtung (8, 81, 82) beleuchteten Objekts
(3) betreffen und zweite Daten bereitstellen kann die das Bild des mit der zweiten
Beleuchtungseinrichtung (1) beleuchteten Objekts (3) betreffen, wobei
- die Identifizierungsvorrichtung des Weiteren Identifizierungsmittel (7) aufweist,
die dazu ausgebildet sind, die ersten Daten dahingehend auszuwerten, dass eine Mustererkennung
und/oder eine Farberkennung und/oder die Erkennung eines Kontrastverhältnisses zumindest
eines Teilbereichs des Objekts erfolgt, und die zweiten Daten dahingehend auszuwerten,
dass mindestens ein Parameter der dreidimensionalen Form des Objekts erfasst wird;
und wobei
- die Identifizierungsvorrichtung dazu ausgebildet ist, zu einem zu identifizierenden
Objekt die ersten Daten und die zweiten Daten sequentiell zu erfassen, aus den ersten
Daten gewonnene Farb- und/oder Kontrastverhältnisdaten und aus den zweiten Daten gewonnene
3D-Daten zu dem Objekt miteinander zu korrelieren und auf der Grundlage dieser Korrelation
die Farb- und/oder Kontrastverhältnisdaten in ein kartesisches Koordinatensystem zu
übertragen,
dadurch gekennzeichnet, dass die Identifizierungsvorrichtung dazu ausgebildet ist, das Objekt wenigstens teilweise
mittels Abgleichen der korrelierten Farb- und/oder Kontrastverhältnisdaten und 3D-Daten
mit einer Datenbank über dreidimensional aufgelöste Farb- und/oder Kontrastverhältnisinformation
zu dem Objekt zu identifizieren.
2. Identifizierungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die zweite Beleuchtungseinrichtung (1) ein Beleuchtungsmuster aus grünem Licht aussendet.
3. Identifizierungsvorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die erste Beleuchtungseinrichtung (8, 81, 82) und die zweite Beleuchtungseinrichtung
(1) derart gesteuert sind, dass sie ein zu identifizierendes Objekt (3) sequenziell
mit Licht beleuchten.
4. Identifizierungsvorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass die mindestens eine Farbkamera (2, 21-24) dazu ausgebildet ist, von einem Objekt
(3) mindestens zwei Aufnahmen zu machen, während es innerhalb einer Sequenz mit der
ersten Beleuchtungseinrichtung (8, 81, 82) mit gleichen und/oder unterschiedlichen
Lichtzusammensetzungen beleuchtet wird.
5. Identifizierungsvorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die mindestens eine Farbkamera (2, 21-24) ein Objektiv mit einem telezentrischen
Strahlengang aufweist.
6. Identifizierungsvorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die zweite Beleuchtungseinrichtung (1) dazu ausgebildet ist, als strukturiertes Beleuchtungsmuster
eine Punktwolke bereitzustellen, mit der das Objekt beleuchtet wird.
7. Identifizierungsvorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Identifizierungsmittel (7) dazu ausgebildet sind, die zweiten Daten mittels einer
Korrespondenzanalyse im Hinblick auf mindestens einen Parameter der dreidimensionalen
Form auszuwerten, wobei die Korrespondenzanalyse Objektgitterpunkte auf der Oberfläche
des Objektes Bildgitterpunkten in der Bildebene der Farbkamera zuordnet.
8. Identifizierungsvorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung im Falle eines bewegten Objektes dazu ausgebildet ist, die Korrelation
der ersten Daten und der zweiten Daten unter Berücksichtigung der Bewegungsrichtung
und Bewegungsgeschwindigkeit des bewegten Objektes vorzunehmen.
9. Identifizierungsvorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die erste Beleuchtungseinrichtung (81, 82), die zweite Beleuchtungseinrichtung (1)
und die mindestens eine Farbkamera (21-24) in einem gemeinsamen Modul (100) mit einem
Modulgehäuse (110) angeordnet sind.
10. Identifizierungsvorrichtung nach Anspruch 9, dadurch gekennzeichnet, dass die Identifizierungsmittel (7) ebenfalls in das Modul (100) integriert sind, wobei
die Identifizierungsmittel (7) zumindest eine Datenreduktion vornehmen.
11. Identifizierungsvorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung mindestens eine Mehrzahl zusammengehöriger Farbkameras (21, 22; 23,
24) aufweist, wobei eine erste Farbkamera der Mehrzahl dazu ausgebildet ist, ein Objekt
oder einen Teil eines Objekts in einem ersten Tiefenschärfenbereich scharf abzubilden
und mindestens eine zweite Farbkamera der Mehrzahl dazu ausgebildet ist, ein Objekt
oder einen Teil eines Objekts in mindestens einem weiteren Tiefenschärfenbereich scharf
abzubilden, der sich an den ersten Tiefenschärfenbereich anschließt.
12. Identifizierungsvorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung dazu ausgebildet ist, als Objekte (3) Waren zu erkennen, die auf
einer Transportvorrichtung im Kassenbereich eines Supermarktes oder auf einer Transportvorrichtung
eines Rücknahmeautomaten befördert werden, oder als Objekte Münzen, Flaschen, Dosen,
Batterien sowie sonstige entsorgungs- oder recyclingfähige Materialien zu erkennen.
13. Scanvorrichtung zur Erfassung von Waren im Kassenbereich eines Supermarktes, wobei
die Scanvorrichtung in Form eines Tunnels oder eines Tors ausgebildet ist, durch den/das
Waren auf einer Transporteinrichtung befördert werden, wobei die Scanvorrichtung mindestens
eine Identifizierungsvorrichtung mit den Merkmalen des Anspruchs 1 aufweist.
1. Identification apparatus for an object, having:
- a first illumination device (8, 81, 82), which is configured to homogeneously illuminate
an object (3) to be identified with light of the visible spectrum and/or with infrared
light, wherein the first illumination device (8, 81, 82) comprises LED light-emitting
means in the colours red, green, blue and/or infrared and provides light having a
red component, a green component and a blue component and/or light having an infrared
component;
- a second illumination device (1), which is configured to illuminate the object (3)
to be identified with a structured illumination pattern;
- at least one colour camera (2, 21-24), which can record the object (3) illuminated
with the first illumination device (8, 81, 82) and with the second illumination device
(1),
- wherein an acute angle exists between the illumination direction of the second illumination
device (1) and the optical axis of the colour camera (2, 21-24), and
- wherein the at least one colour camera (2, 21-24) can provide first data that relate
to the image of the object (3) illuminated with the first illumination device (8,
81, 82) and can provide second data that relate to the image of the object (3) illuminated
with the second illumination device (1), wherein
- the identification apparatus furthermore has identification means (7), which are
configured to evaluate the first data to the effect that pattern recognition and/or
colour recognition and/or recognition of a contrast ratio of at least one partial
region of the object takes place, and to evaluate the second data to the effect that
at least one parameter of the three-dimensional shape of the object is captured; and
wherein
- the identification apparatus is configured to sequentially capture the first data
and the second data relating to an object to be identified, to correlate colour and/or
contrast ratio data obtained from the first data and 3D data relating to the object
obtained from the second data to one another and to transfer the colour and/or contrast
ratio data into a Cartesian coordinate system on the basis of said correlation,
characterized in that the identification apparatus is configured to identify the object at least partially
by means of comparing the correlated colour and/or contrast ratio data and 3D data
with a database containing three-dimensionally resolved colour and/or contrast ratio
information relating to the object.
2. Identification apparatus according to Claim 1, characterized in that the second illumination device (1) emits an illumination pattern of green light.
3. Identification apparatus according to either of the preceding claims, characterized in that the first illumination device (8, 81, 82) and the second illumination device (1)
are controlled such that they sequentially illuminate an object (3) to be identified
with light.
4. Identification apparatus according to Claim 3, characterized in that the at least one colour camera (2, 21-24) is configured to take at least two recordings
of an object (3), while it is illuminated within a sequence with the first illumination
device (8, 81, 82) with identical and/or different light compositions.
5. Identification apparatus according to one of the preceding claims, characterized in that the at least one colour camera (2, 21-24) has an objective lens having a telecentric
beam path.
6. Identification apparatus according to one of the preceding claims, characterized in that the second illumination device (1) is configured to provide, as the structured illumination
pattern, a point cloud with which the object is illuminated.
7. Identification apparatus according to one of the preceding claims, characterized in that the identification means (7) are configured to evaluate the second data by means
of a correspondence analysis with respect to at least one parameter of the three-dimensional
shape, wherein the correspondence analysis assigns object grid points on the surface
of the object to image grid points in the image plane of the colour camera.
8. Identification apparatus according to one of the preceding claims, characterized in that the apparatus in the case of a moving object is configured to effect the correlation
of the first data and the second data by taking into consideration the movement direction
and movement speed of the moving object.
9. Identification apparatus according to one of the preceding claims, characterized in that the first illumination device (81, 82), the second illumination device (1) and the
at least one colour camera (21-24) are arranged in a common module (100) having a
module housing (110) .
10. Identification apparatus according to Claim 9, characterized in that the identification means (7) are likewise integrated into the module (100), wherein
the identification means (7) effect at least one data reduction.
11. Identification apparatus according to one of the preceding claims, characterized in that the apparatus has at least one plurality of associated colour cameras (21, 22; 23,
24), wherein a first colour camera of the plurality is configured to sharply image
an object or a part of an object in a first depth of field region and at least one
second colour camera of the plurality is configured to sharply image an object or
a part of an object in at least one further depth of field region that adjoins the
first depth of field region.
12. Identification apparatus according to one of the preceding claims, characterized in that the apparatus is configured to recognize objects (3) as goods that are conveyed on
a transport apparatus in the cash register region of a supermarket or on a transport
apparatus of a reverse vending machine, or to recognize objects as coins, bottles,
cans, batteries or other disposable or recyclable materials.
13. Scanning apparatus for capturing goods in the cash register region of a supermarket,
wherein the scanning apparatus is designed in the form of a tunnel or a portal through
which goods are conveyed on a transport device, wherein the scanning apparatus has
at least one identification apparatus having the features of Claim 1.
1. Dispositif d'identification pour un objet, présentant :
- un premier dispositif d'éclairage (8, 81, 82), qui est réalisé pour éclairer de
manière homogène un objet à identifier (3) par de la lumière du spectre visible et/ou
par de la lumière infrarouge, le premier dispositif d'éclairage (8, 81, 82) comprenant
des moyens lumineux DEL aux couleurs rouge, vert, bleu et/ou infrarouge et fournissant
de la lumière ayant une composante de rouge, une composante de vert et une composante
de bleu et/ou de la lumière ayant une composante d'infrarouge ;
- un deuxième dispositif d'éclairage (1) qui est réalisé pour éclairer l'objet à identifier
(3) par un motif d'éclairage structuré ;
- au moins une caméra couleur (2, 21 à 24) qui peut photographier l'objet (3) éclairé
par le premier dispositif d'éclairage (8, 81, 82) et par le deuxième dispositif d'éclairage
(1),
- un angle aigu existant entre la direction d'éclairage du deuxième dispositif d'éclairage
(1) et l'axe optique de la caméra couleur (2, 21 à 24), et
- ladite au moins une caméra couleur (2, 21 à 24) pouvant fournir des premières données
qui concernent l'image de l'objet (3) éclairé par le premier dispositif d'éclairage
(8, 81, 82) et des deuxièmes données qui concernent l'image de l'objet (3) éclairé
par le deuxième dispositif d'éclairage (1), dans lequel
- le dispositif d'identification présente en outre des moyens d'identification (7)
qui sont réalisés pour évaluer les premières données de manière à ce qu'une reconnaissance
de motif et/ou une reconnaissance des couleurs et/ou la reconnaissance d'un rapport
de contraste au moins d'une zone partielle de l'objet soient effectuées, et pour évaluer
les deuxièmes données de manière à ce qu'au moins un paramètre de la forme tridimensionnelle
de l'objet soit détecté ; et dans lequel
- le dispositif d'identification est réalisé pour détecter de manière séquentielle
les premières données et les deuxièmes données pour un objet à identifier, pour corréler
entre elles des données de couleur et/ou de rapport de contraste obtenues à partir
des premières données et des données 3D obtenues à partir des deuxièmes données pour
l'objet, et pour transposer sur la base de cette corrélation les données de couleur
et/ou de rapport de contraste dans un système de coordonnées cartésiennes,
caractérisé en ce que le dispositif d'identification est réalisé pour identifier l'objet au moins en partie
au moyen d'un rapprochement des données de couleur et/ou de rapport de contraste et
des données 3D corrélées avec une base de données concernant des informations de couleur
et/ou de rapport de contraste à résolution tridimensionnelle pour l'objet.
2. Dispositif d'identification selon la revendication 1, caractérisé en ce que le deuxième dispositif d'éclairage (1) émet un motif d'éclairage de lumière verte.
3. Dispositif d'identification selon l'une quelconque des revendications précédentes,
caractérisé en ce que le premier dispositif d'éclairage (8, 81, 82) et le deuxième dispositif d'éclairage
(1) sont commandés de telle sorte qu'ils éclairent de manière séquentielle un objet
(3) à identifier par de la lumière.
4. Dispositif d'identification selon la revendication 3, caractérisé en ce que ladite au moins une caméra couleur (2, 21 à 24) est réalisée pour effectuer au moins
deux prises de vue d'un objet (3) pendant qu'il est éclairé à l'intérieur d'une séquence
par le premier dispositif d'éclairage (8, 81, 82) avec des compositions de lumière
identiques et/ou différentes.
5. Dispositif d'identification selon l'une quelconque des revendications précédentes,
caractérisé en ce que ladite au moins une caméra couleur (2, 21 à 24) présente un objectif doté d'une trajectoire
des rayons télécentrique.
6. Dispositif d'identification selon l'une quelconque des revendications précédentes,
caractérisé en ce que le deuxième dispositif d'éclairage (1) est réalisé pour fournir comme motif d'éclairage
structuré un nuage de points avec lequel l'objet est éclairé.
7. Dispositif d'identification selon l'une quelconque des revendications précédentes,
caractérisé en ce que les moyens d'identification (7) sont réalisés pour évaluer les deuxièmes données
au moyen d'une analyse de correspondance quant à au moins un paramètre de la forme
tridimensionnelle, l'analyse de correspondance attribuant des points de grille d'objet
à la surface de l'objet à des points de grille d'image dans le plan image de la caméra
couleur.
8. Dispositif d'identification selon l'une quelconque des revendications précédentes,
caractérisé en ce que dans le cas d'un objet déplacé, le dispositif est réalisé pour procéder à la corrélation
des premières données et des deuxièmes données en tenant compte de la direction de
déplacement et de la vitesse de déplacement de l'objet déplacé.
9. Dispositif d'identification selon l'une quelconque des revendications précédentes,
caractérisé en ce que le premier dispositif d'éclairage (81, 82), le deuxième dispositif d'éclairage (1)
et ladite au moins une caméra couleur (21 à 24) sont disposés dans un module commun
(100) doté d'un carter de module (110).
10. Dispositif d'identification selon la revendication 9, caractérisé en ce que les moyens d'identification (7) sont également intégrés dans le module (100), les
moyens d'identification (7) procédant au moins à une réduction de données.
11. Dispositif d'identification selon l'une quelconque des revendications précédentes,
caractérisé en ce que le dispositif présente au moins une pluralité de caméras couleur (21, 22 ; 23, 24)
associées, une première caméra couleur de la pluralité étant réalisée pour produire
une image nette d'un objet ou d'une partie d'un objet dans une première plage de profondeur
de champ, et au moins une deuxième caméra couleur de la pluralité étant réalisée pour
produire une image nette dans au moins une autre plage de profondeur de champ qui
est consécutive à la première plage de profondeur de champ.
12. Dispositif d'identification selon l'une quelconque des revendications précédentes,
caractérisé en ce que le dispositif est réalisé pour reconnaître comme objets (3) des marchandises qui
sont transportées sur un dispositif de transport au niveau des caisses d'un supermarché
ou sur un dispositif de transport d'une machine de déconsigne automatique, ou pour
reconnaître comme objets des pièces de monnaie, des bouteilles, des cannettes, des
batteries ainsi que d'autres matériaux susceptibles d'être jetés ou recyclés.
13. Dispositif de balayage pour détecter des marchandises au niveau des caisses d'un supermarché,
le dispositif de balayage étant réalisé sous la forme d'un tunnel ou d'un portique
à travers lequel des marchandises sont transportées sur un dispositif de transport,
le dispositif de balayage présentant au moins un dispositif d'identification ayant
les particularités de la revendication 1.