|
(11) | EP 0 597 178 B1 |
| (12) | EUROPÄISCHE PATENTSCHRIFT |
|
|
| (54) |
Verfahren und Vorrichtung zur Identifizierung von Gegenständen Method and device for indentifying objects Procédé et dispositif d'identification d'objets |
|
|
|||||||||||||||||||||||||||||||
| Anmerkung: Innerhalb von neun Monaten nach der Bekanntmachung des Hinweises auf die Erteilung des europäischen Patents kann jedermann beim Europäischen Patentamt gegen das erteilte europäischen Patent Einspruch einlegen. Der Einspruch ist schriftlich einzureichen und zu begründen. Er gilt erst als eingelegt, wenn die Einspruchsgebühr entrichtet worden ist. (Art. 99(1) Europäisches Patentübereinkommen). |
[0001] Die Erfindung betrifft ein Verfahren zur Identifizierung von Gegenständen mit Hilfe eines bildverarbeitenden Systems. Die Erfindung bezieht sich ferner auf Vorrichtungen zur Ausführung eines derartigen Verfahrens.
[0002] Aus der DE 35200486 C2 ist ein Verfahren zur Sortierung von Kunststoffhohlkörpern, insbesondere Hausmüll, mit Hilfe eines Bilderkennungssystems bekannt, bei dem die zu sortierenden Gegenstände mit einer Kamera aufgenommen, zwischengespeichert und nach Form und Farbe durch Vergleich mit entsprechenden gespeicherten Mustern analysiert werden.
[0003] Nachteilig bei diesem bekannten Verfahren ist vor allem, daß bei einem Vergleich der gespeicherten Muster und der zu identifizierenden Gegenstände letztere häufig fehlerkannt werden, wenn diese deformiert und/oder stark verschmutzt sind.
[0004] Aus der US-A-5135114 ist ein Verfahren und eine Vorrichtung zur Qualitätsbestimmung von Reiskörnern bekannt. Dabei wird sowohl das Reflektions- als auch das Absorptionsverhalten der einzelnen Reiskörner ermittelt, wobei zur Klassifizierung der Reiskörner die Änderungen in der Wellenform der gemessenen Werte herangezogen werden.
[0005] Aus der WO92/00149 ist ein Verfahren zur Klassifizierung von Objekten nach Formen bekannt. Dabei werden die für das jeweilige Objekt gemessenen charakteristischen geometrischen Werte mit entsprechenden gespeicherten Daten verglichen.
[0006] Schließlich ist aus der EP-A-0258810 ein Verfahren zur Klassifizierung von ballförmigen Gegenständen, wie Obst und Gemüse, bekannt, wobei von dem jeweiligen zu klassifizierenden Gegenstand mit nur einer Kamera Auflichtmessungen von mindestens vier unterschiedlichen Seiten durchgeführt werden. Aus den mit der Kamera ermittelten Bildern werden dann die Form, die Abmessungen und die Oberflächenstruktur des jeweiligen Gegenstandes bestimmt.
[0007] Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren sowie Vorrichtungen der eingangs erwähnten Art derart weiterzuentwickeln, daß auch deformierte und verschmutzte Gegenstände in kurzer Zeit (wesentlich kürzer als 1 Sekunde) erkannt werden.
[0008] Diese Aufgabe wird erfindungsgemäß durch die Merkmale des Anspruchs 1 bzw. durch die Merkmale der Ansprüche 4 und 5 gelöst.
[0009] Weitere, besonders vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Merkmalen der Unteransprüche.
[0010] Der Erfindung liegt also im wesentlichen der Gedanke zugrunde, die aufgenommenen Bilder auf für den jeweiligen Gegenstandstyp charakteristische deformationsinvariante Parameter durch Geometrie- und Transparenzmessungen zu analysieren und dann durch Vergleich mit entsprechenden gespeicherten Werten auf den Gegenstand zu schließen.
[0011] Die deformationsinvarianten Parameter werden über einen Eichprozeß, der für jeden Gegenstandstyp unterschiedlich sein kann, bestimmt (z.B. kann aus dem näherungsweise ermittelten Dosenvolumen einer Aluminiumdose und dem Winkel, den der Boden relativ zur Längsachse der Dose besitzt, auf den Durchmesser des (runden) Bodens der Dose geschlossen werden, da sich bei Alu-Dosen die Böden praktisch nicht deformieren). Der Durchmesser des Dosenbodens und eventuell ergänzender Informationen (z.B. Farbe und Transparenz) definieren dann relativ gut den zu sortierenden Gegenstand.
[0012] Für die erfindungsgemäße Vorrichtung ist wesentlich, daß der zu identifizierende Gegenstand aus zwei (oder mehr), möglichst orthogonalen Richtungen bei unterschiedlicher Beleuchtung, erfaßt wird, um Transparenz und die diversen Geometriedaten, wie Länge, Breite, Winkel zwischen Boden und Seitenwand, Bodendurchmesser, Knickwinkel oder Volumen zu erhalten.
[0013] Weitere Einzelheiten und Vorteile der Erfindung ergeben sich aus den nachfolgend mit Hilfe von Figuren beschriebenen Ausführungsbeispielen. Es zeigen:
- Fig.1
- schematisch ein erstes Ausführungsbeispiel der Erfindung mit nur einem optischen Sensor; und
- Fig. 2
- ein weiteres Ausführungsbeispiel mit zwei optischen Sensoren.
[0014] In Fig.1 ist mit 1 ein bildverarbeitendes System bezeichnet, mit dem Gegenstände 2, die beispielsweise auf einem Fließband 3 befördert werden, erkannt werden. Nach der Identifizierung der Gegenstände 2 können diese dann sortiert werden (zur Durchführung der Sortierung vgl. auch die obengenannte DE 35204866 C2).
[0015] Das bildverarbeitende System 1 besteht im wesentlichen aus einem optischen Sensor 4, z.B. einer Farbbild-Zeilenkamera mit nachgeschalteter Elektronik 5, einer Lichtquelle 6 und einem Spiegel 7. Lichtquelle 6 und Spiegel 7 sind derart angeordnet, daß zwischen ihnen die zu identifizierenden Gegenstände 2 hindurchbewegt werden.
[0016] Die Elektronik 5 enthält beispielsweise einen Verstärker 8, dem ein Analog-/Digitalwandler 9 und eine Auswertevorrichtung 10 nachgeschaltet ist. Die Auswertevorrichtung 10, die einen Bildspeicher 11 und einen Prozessor 12 enthält, ist mit einer Anzeigenvorrichtung 13 verbunden.
[0017] Der optische Sensor 4 schaut von oben auf den mit Auflicht beleuchteten Gegenstand 2 (die entsprechende Lichtquelle wurde in Fig.1 aus Gründen einer besseren Übersicht weggelassen), so daß die an dem Gegenstand 2 gestreuten und reflektierten Lichtstrahlen 14 in den Sensor 4 gelangen. Gleichzeitig wird der Gegenstand 2 seitlich mit der Lichtquelle 6 angestrahlt, so daß die entsprechenden durch den Gegenstand 2 gelangenden Lichtstrahlen 15 über die Spiegel 7 als Lichtstrahlen 16 in das Bildfeld des Sensors 4 eingeblendet werden.
[0018] Im folgenden wird näher auf die Funktionsweise der erfindungsgemäßen Vorrichtung eingegangen:
Eichung
[0019] Der eigentlichen Echtzeiterkennung ist das Eichverfahren vorgeschaltet. Dieses dient der Erfassung der systematischen Einflüsse des Deformations- und Bruchverhaltens auf die Form, Farbe und Transparenz eines Gegenstandes 2, wobei eine repräsentative Stichprobe von deformierten Gegenständen 2 für die Eichung vorliegen muß.
[0020] Generell besitzen alle zu untersuchenden Gegenstände 2 ein spezifisches Deformations- und Bruchverhalten. D.h., Böden, Deckel und durch Versteifungsrippen oder Waben gestärkte Oberflächenteile deformieren sich wenig, wohingegen an Knickkanten oder schwach gewölbten gleichmäßigen Flächen zuerst und gehäuft Deformationen auftreten. Ebenso bestimmt die Elastizität des Materials den Verformungsverlauf. So entstehen bei verschiedenen Kunststoffen (z.B. Polypropylen bzw. Polyethylen) gerade bzw. kurvige Risse beim Bruch.
[0021] Die Gegenstände 2 werden manuell gemäß ihrem Deformationsgrad und Objekttyp sortiert und dann die auch im Echtzeitbetrieb ermittelten Größen (vergleiche unten) berechnet. Die Zuordnung zwischen Deformationsgrad bzw. Objekttyp und den gemessenen Parametern werden in der Auswertevorrichtung 10 gespeichert. Die entstehenden Zuordnungstabellen können interpoliert werden, um zur Speicherersparnis als geschlossene Funktion abgelegt zu werden. In der Echtzeitphase werden in die Umkehrfunktionen die gemessenen Parameterwerte eingesetzt, um den Deformationsgrad und den Objekttyp zu bestimmen.
Echtzeitauswertung
[0022] Alle Größen der Echtzeitauswertung werden sowohl für die Aufals auch für die Seitenansicht jeden Gegenstandes 2 berechnet. Beide Ansichten können mit der in Fig.1 dargestellten Sensoranordnung gleichzeitig gewonnen werden.
[0023] Nach der Bildaufnahme werden im ersten Schritt durch passende Filterung in der Auswertevorrichtung 10 die Grauwertkanten bestimmt. Die Außenkontur und innerhalb der Kontur liegende Kanten werden dann getrennt verkettet. Zur Beschleunigung dieses Schrittes kann ein festverdrahtetes Rechenwerk der Auswertevorrichtung 10 verwendet werden.
[0024] Mit einem weiteren Rechenwerk der Auswertevorrichtung 10 werden die von der Farbkamera 4 stammenden Signale in eine HSI Darstellung transformiert und dann die Farbkanten ausgefiltert und verkettet. Damit werden die Videodaten in Echtzeit auf ihre wesentlichen Anteile (Grauwert- und Farbkanten) reduziert.
[0025] Die einzelnen Kantenlisten werden dann über ein erstes Kommunikationsnetzwerk an in der Auswertevorrichtung enthaltene Mikrorechner verteilt, von denen jeder nur wenige solcher Listen bearbeitet.
[0026] Für jede Kante im Bild werden mindestens die folgenden Größen berechnet: Farbwert, Sättigung, eingeschlossene Fläche, Momente der eingeschlossenen Fläche, mittlere Krümmung, Länge, Drehlage, relative Lage zur Außenkontur. Bei offenen Kantenzügen werden je nach Bedarf nur die kantenbezogenen Größen berechnet oder sie werden (durch Verbindung von Anfangs- und Endpunkt) in geschlossene Kantenzüge überführt, um auch die flächenbezogenen Größen berechnen zu können.
[0027] Innerhalb der Außenkontur wird näherungsweise das Volumen bestimmt durch Multiplikation der Grundflächentiefe mit der durch die Seitenansicht ermittelten Höhe. Die Transparenz wird aus dem durchgelassenen Lichtanteil der Seitenbeleuchtung bestimmt.
[0028] Die ermittelten Größen werden über ein weiteres Kommunikationsnetzwerk, das nicht notwendigerweise physikalisch vom ersten verschieden sein muß, einem zentralen Auswerteprozessor 12 der Auswertevorrichtung 10 zugeleitet, der die bei der Eichung bestimmten Umkehrfunktionen berechnet und damit die Erkennung durchführt.
[0029] Anstatt die Durchlicht- und Auflichtmessung mit nur einem optischen Sensor 4 durchzuführen, kann auch eine Vorrichtung mit zwei getrennten Sensoren verwendet werden. Dieses ist in Fig.2 dargestellt, wobei der zu identifizierende Gegenstand 2 aus Gründen einer besseren Übersicht weggelassen ist:
[0030] Die Auflichtmessung erfolgt wiederum mit der Zeilenkamera 4. Für die Durchlichtmessung ist hingegen statt des in Fig.1 vorgesehenen Spiegels ein separater optischer Sensor (Kamera) 17 vorgesehen. Die Sensorsignale werden einer Elektronik zugeführt, die im wesentlichen der in Fig.1 mit 5 bezeichneten Elektronik entspricht. Lediglich die analogen Eingangssignale können separat verstärkt und in entsprechende digitale Werte umgewandelt werden. Die weitere Bearbeitung der Signale durch die Auswertevorrichtung 10 ist dann identisch wie oben beschrieben.
Bezugszeichenliste
[0031]
- 1
- bildverarbeitendes System
- 2
- Gegenstand
- 3
- Fließband
- 4
- optischer Sensor, Kamera
- 5
- Elektronik
- 6
- Lichtquelle
- 7
- Spiegel
- 8
- Verstärker
- 9
- Analog-/Digitalwandler
- 10
- Auswertevorrichtung
- 11
- Bildspeicher
- 12
- Prozessor
- 13
- Anzeigenvorrichtung
- 14
- Lichtstrahlen
- 15,16
- Lichtstrahlen
- 17
- optischer Sensor, Kamera
- 18
- Lichtquelle
- 19
- Lichtstrahlen
a) von den Gegenständen (2) mit Hilfe mindestens eines bildgebenden optischen Sensors (4;17) jeweils mindestens eine Auflicht- und eine Durchlichtmessung aus unterschiedlichen Richtungen vorgenommen wird;
b) die von dem bildgebenden optischen Sensor (4,17) erzeugten Sensorsignale digitalisiert und die digitalen Signalwerte an eine elektronische Auswertevorrichtung (10) mit Bildspeicher (11) und Prozessor (12) weitergeleitet werden;
c) aus den entsprechenden Bildsignalwerten die Transparenz der Gegenstände (2) und charakteristischer geometrischer Daten, wie Länge, Breite, Volumen, Knickwinkel etc., ermittelt werden und
d) aus diesen Werten für die Gegenstände (2) charakteristische deformationsinvariante Größen bestimmt und mit den aufgrund einer Eichmessung bestimmten und gespeicherten Werten verglichen werden.
a) eine Lichtquelle (6) zur Beleuchtung des zu identifizierenden Gegenstandes (2), einen optischen Sensor (4) und einen Spiegel (7) umfaßt, die derart zueinander angeordnet sind, daß der beleuchtete Gegenstand (2) einerseits mit dem optischen Sensor (4) in Auflicht betrachtbar ist und andererseits die durch den Gegenstand (2) hindurchgehenden Lichtstrahlen der Lichtquelle (6) durch den Spiegel (7) derart reflektiert werden, daß sie ebenfalls in den optischen Sensor (4) gelangen, so daß eine Auflicht- und eine Durchlichtmessung des Gegenstandes (2) aus unterschiedlichen Richtungen ermöglicht wird, wobei es sich bei dem optischen Sensor (4) um eine Farbbildkamera handelt und
b) eine elektronische Auswertevorrichtung (10) mit mindestens einem Bildspeicher (11) und Prozessor (12) zur Ermittlung der für die Gegenstände (2) charakteristischen deformationsinvarianten Parameter aus der Transparenz und charakteristischen geometrischen Daten der Gegenstände, und zum Vergleichen der charakteristischen deformationsinvarianten Parameter mit gespeicherten Werten enthält, die dem bildgebenden optischen Sensor (4,17) nachgeschaltet ist.
a) mindestens eine Lichtquelle (6) zur Beleuchtung des zu identifizierenden Gegenstandes (2) und zwei optische Sensoren (4,17) umfaßt, die derart zueinander angeordnet sind, daß der beleuchtete Gegenstand (2) einerseits mit dem ersten optischen Sensor (4) in Auflicht betrachtbar ist und andererseits die durch den Gegenstand (2) hindurchgehenden Lichtstrahlen der Lichtquelle (6) in den zweiten optischen Sensor (17) gelangen, so daß eine Auflicht- und eine Durchlichtmessung des Gegenstandes (2) aus unterschiedlichen Richtungen ermöglicht wird und
b) eine elektronische Auswertevorrichtung (10) mit mindestens einem Bildspeicher (11) und einem Prozessor (12) zur Ermittlung der für die Gegenstände (2) charakteristischen deformationsinvarianten Parameter aus der Transparenz und charakteristischen geometrischen Daten der Gegenstände, und zum Vergleichen der charakteristischen deformationsinvarianten Parameter mit gespeicherten Werten enthält, der den bildgebenden optischen Sensoren (4,17) nachgeschaltet ist.
(a) by means of at least one image producing optical sensor (4,17) at least one incident light measurement and one transmitted light measurement of the object (2) is effected from different directions;
(b) the sensor signals generated by the image producing optical sensor (4,17) are digitalised and the digital signal values are transmitted to an electronic evaluation device (10) with image store (11) and processor (12);
(c) the transparency of the objects (2) and characteristic geometrical data such as length, width, volume, angular transitions etc. are determined from the corresponding image signal values, and
(d) Characteristic deformation-invariant magnitudes for the objects (2) are determined from these values and are compared with the values determined and stored on the basis of a calibration measurement.
(a) comprises a light source (6) for the illumination of the object (2) to be identified, an optical sensor (4) and a mirror (7) which are arranged in relation to one another in such a way that the illuminated object (2) can, on the one hand, be viewed by the optical sensor (4) in incident light while, on the other hand, the light source beam (6) which passes through the object (2) is reflected by the mirror (7) in such a way that it also enters the optical sensor (4), so that an incident light and a transmitted light measurement of the object (2) from different directions is rendered possible, the optical sensor (4) being a colour picture camera, and
(b) contains an electronic evaluation device (10) with at least one image store (11) and processor (12) for determining the deformation-invariant parameters characteristic of the objects (2), from the transparency and characteristic geometrical data of the objects, and for comparing the characteristic deformation-invariant parameters with stored values, this device being connected on the output side to the image producing optical sensors (4,17).
(a) comprising at least one light source (6) for illuminating the object (2) to be identified and two optical sensors (4,17) which are arranged in relation to each other in such a way that the illuminated object (2) can on the one hand be viewed with the first optical sensor (4) in the incident light and on the other hand the light source beam (6) which passes through the object (2) enters the second optical sensor (17), so that an incident light and a transparent light measurement of the object (2) from different directions is made possible, and
b) contains an electronic evaluation device (10) with at least one image store (11) and processor (12) for determining the deformation-invariant parameter characteristics of the objects (2) from the transparency and characteristic geometrical data of the objects, and for comparing the characteristic deformation-invariant parameters with stored values, this device being connected on the output side of the image producing optical sensors (4,17).
a) parmi les objets (2), à l'aide d'au moins un capteur optique (4; 17) fournissant une image, chaque fois au moins une mesure de lumière incidente et une mesure de lumière traversante est effectuée, à partir de différentes directions;
b) les signaux générés par le capteur optique (4, 17) produisant une image sont numérisés et les valeurs de signaux numériques sont retransmises à un dispositif d'évaluation électronique (10) ayant une mémoire d'image (11) et un processeur (12);
c) à partir des valeurs de signaux d'images correspondantes la transparence des objets (2) et les données géométriques caractéristiques, telles que longueur, largeur, volume, angle d'inflexion, etc., sont déterminées, et
d) à partir de ces valeurs concernant les objets (2) on détermine des grandeurs caractéristiques constituant des invariants au niveau de la déformation et on les compare aux valeurs déterminées et mémorisées, sur la base d'une mesure d'étalonnage.
a) une source lumineuse (6) destinée à illuminer l'objet (2) à identifier, un capteur optique (4) et un miroir (7) qui sont disposés les uns par rapport aux autres, de manière que l'objet (2) illuminé soit observable, d'une part, en lumière incidente, à l'aide du capteur optique (4) et, d'autre part, les rayons lumineux, ayant traversé l'objet (2) et venant de la source lumineuse (6), sont réfléchis par le miroir (7) de manière qu'il arrive également dans le capteur optique (4), si bien que l'on peut effectuer une mesure en lumière incidente et une mesure en lumière traversante sur l'objet (2), à partir de différentes directions, et sachant que concernant le capteur optique (4) il s'agit d'une caméra vidéo couleur, et
b) contient un dispositif d'évaluation électronique (10) avec au moins une mémoire image (11) et un processeur (12) pour déterminer les paramètres invariants en déformation, caractéristiques pour les objets (2), à partir de la transparence et des données géométriques caractéristiques des objets et pour comparer les paramètres invariants de déformation, caractéristiques à des valeurs mémorisées, le dispositif d'évaluation électronique étant mis en circuit en aval du capteur optique (4, 17) générant des images.
a) comprend au moins une source lumineuse (6) pour illuminer l'objet (2) à identifier et deux capteur optiques (4, 17), qui sont disposés l'un par rapport à l'autre, de manière que l'objet (2) illuminé soit observable, d'une part, à l'aide du premier capteur optique (4), en lumière incidente, et que, d'autre part, les rayons lumineux étant passés par l'objet (2) et venant de la source lumineuse (6) arrivent dans le deuxième capteur optique (17), si bien l'on puisse effectuer une mesure de lumière incidente et une mesure de lumière traversante sur l'objet (2) et à partir de directions différentes, et
b) contient un dispositif d'évaluation électronique (10), comprenant au moins une mémoire image (11) et un processeur (12) pour déterminer les paramètres invariants en déformation, caractéristiques pour les objets (2), à partir de la transparence et des données géométriques caractéristiques des objets et pour comparer les paramètres invariants de déformation, caractéristiques à des valeurs mémorisées, le dispositif d'évaluation électronique étant mis en circuit en aval des capteurs optiques (4, 17) générant une image.