Die Erfindung betrifft ein Verfahren zur Identifizierung von Gegenständen mit Hilfe eines bildverarbeitenden Systems. Die Erfindung bezieht sich ferner auf Vorrichtungen zur Ausführung eines derartigen Verfahrens.
Aus der DE 35200486 C2 ist ein Verfahren zur Sortierung von Kunststoffhohlkörpern, insbesondere Hausmüll, mit Hilfe eines Bilderkennungssystems bekannt, bei dem die zu sortierenden Gegenstände mit einer Kamera aufgenommen, zwischengespeichert und nach Form und Farbe durch Vergleich mit entsprechenden gespeicherten Mustern analysiert werden.
Nachteilig bei diesem bekannten Verfahren ist vor allem, daß bei einem Vergleich der gespeicherten Muster und der zu identifizierenden Gegenstände letztere häufig fehlerkannt werden, wenn diese deformiert und/oder stark verschmutzt sind.
Aus der US-A-5135114 ist ein Verfahren und eine Vorrichtung zur Qualitätsbestimmung von Reiskörnern bekannt. Dabei wird sowohl das Reflektions- als auch das Absorptionsverhalten der einzelnen Reiskörner ermittelt, wobei zur Klassifizierung der Reiskörner die Änderungen in der Wellenform der gemessenen Werte herangezogen werden.
Aus der WO92/00149 ist ein Verfahren zur Klassifizierung von Objekten nach Formen bekannt. Dabei werden die für das jeweilige Objekt gemessenen charakteristischen geometrischen Werte mit entsprechenden gespeicherten Daten verglichen.
Schließlich ist aus der EP-A-0258810 ein Verfahren zur Klassifizierung von ballförmigen Gegenständen, wie Obst und Gemüse, bekannt, wobei von dem jeweiligen zu klassifizierenden Gegenstand mit nur einer Kamera Auflichtmessungen von mindestens vier unterschiedlichen Seiten durchgeführt werden. Aus den mit der Kamera ermittelten Bildern werden dann die Form, die Abmessungen und die Oberflächenstruktur des jeweiligen Gegenstandes bestimmt.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren sowie Vorrichtungen der eingangs erwähnten Art derart weiterzuentwickeln, daß auch deformierte und verschmutzte Gegenstände in kurzer Zeit (wesentlich kürzer als 1 Sekunde) erkannt werden.
Diese Aufgabe wird erfindungsgemäß durch die Merkmale des Anspruchs 1 bzw. durch die Merkmale der Ansprüche 4 und 5 gelöst.
Weitere, besonders vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Merkmalen der Unteransprüche.
Der Erfindung liegt also im wesentlichen der Gedanke zugrunde, die aufgenommenen Bilder auf für den jeweiligen Gegenstandstyp charakteristische deformationsinvariante Parameter durch Geometrie- und Transparenzmessungen zu analysieren und dann durch Vergleich mit entsprechenden gespeicherten Werten auf den Gegenstand zu schließen.
Die deformationsinvarianten Parameter werden über einen Eichprozeß, der für jeden Gegenstandstyp unterschiedlich sein kann, bestimmt (z.B. kann aus dem näherungsweise ermittelten Dosenvolumen einer Aluminiumdose und dem Winkel, den der Boden relativ zur Längsachse der Dose besitzt, auf den Durchmesser des (runden) Bodens der Dose geschlossen werden, da sich bei Alu-Dosen die Böden praktisch nicht deformieren). Der Durchmesser des Dosenbodens und eventuell ergänzender Informationen (z.B. Farbe und Transparenz) definieren dann relativ gut den zu sortierenden Gegenstand.
Für die erfindungsgemäße Vorrichtung ist wesentlich, daß der zu identifizierende Gegenstand aus zwei (oder mehr), möglichst orthogonalen Richtungen bei unterschiedlicher Beleuchtung, erfaßt wird, um Transparenz und die diversen Geometriedaten, wie Länge, Breite, Winkel zwischen Boden und Seitenwand, Bodendurchmesser, Knickwinkel oder Volumen zu erhalten.
Weitere Einzelheiten und Vorteile der Erfindung ergeben sich aus den nachfolgend mit Hilfe von Figuren beschriebenen Ausführungsbeispielen. Es zeigen:
In Fig.1 ist mit 1 ein bildverarbeitendes System bezeichnet, mit dem Gegenstände 2, die beispielsweise auf einem Fließband 3 befördert werden, erkannt werden. Nach der Identifizierung der Gegenstände 2 können diese dann sortiert werden (zur Durchführung der Sortierung vgl. auch die obengenannte DE 35204866 C2).
Das bildverarbeitende System 1 besteht im wesentlichen aus einem optischen Sensor 4, z.B. einer Farbbild-Zeilenkamera mit nachgeschalteter Elektronik 5, einer Lichtquelle 6 und einem Spiegel 7. Lichtquelle 6 und Spiegel 7 sind derart angeordnet, daß zwischen ihnen die zu identifizierenden Gegenstände 2 hindurchbewegt werden.
Die Elektronik 5 enthält beispielsweise einen Verstärker 8, dem ein Analog-/Digitalwandler 9 und eine Auswertevorrichtung 10 nachgeschaltet ist. Die Auswertevorrichtung 10, die einen Bildspeicher 11 und einen Prozessor 12 enthält, ist mit einer Anzeigenvorrichtung 13 verbunden.
Der optische Sensor 4 schaut von oben auf den mit Auflicht beleuchteten Gegenstand 2 (die entsprechende Lichtquelle wurde in Fig.1 aus Gründen einer besseren Übersicht weggelassen), so daß die an dem Gegenstand 2 gestreuten und reflektierten Lichtstrahlen 14 in den Sensor 4 gelangen. Gleichzeitig wird der Gegenstand 2 seitlich mit der Lichtquelle 6 angestrahlt, so daß die entsprechenden durch den Gegenstand 2 gelangenden Lichtstrahlen 15 über die Spiegel 7 als Lichtstrahlen 16 in das Bildfeld des Sensors 4 eingeblendet werden.
Im folgenden wird näher auf die Funktionsweise der erfindungsgemäßen Vorrichtung eingegangen:
Der eigentlichen Echtzeiterkennung ist das Eichverfahren vorgeschaltet. Dieses dient der Erfassung der systematischen Einflüsse des Deformations- und Bruchverhaltens auf die Form, Farbe und Transparenz eines Gegenstandes 2, wobei eine repräsentative Stichprobe von deformierten Gegenständen 2 für die Eichung vorliegen muß.
Generell besitzen alle zu untersuchenden Gegenstände 2 ein spezifisches Deformations- und Bruchverhalten. D.h., Böden, Deckel und durch Versteifungsrippen oder Waben gestärkte Oberflächenteile deformieren sich wenig, wohingegen an Knickkanten oder schwach gewölbten gleichmäßigen Flächen zuerst und gehäuft Deformationen auftreten. Ebenso bestimmt die Elastizität des Materials den Verformungsverlauf. So entstehen bei verschiedenen Kunststoffen (z.B. Polypropylen bzw. Polyethylen) gerade bzw. kurvige Risse beim Bruch.
Die Gegenstände 2 werden manuell gemäß ihrem Deformationsgrad und Objekttyp sortiert und dann die auch im Echtzeitbetrieb ermittelten Größen (vergleiche unten) berechnet. Die Zuordnung zwischen Deformationsgrad bzw. Objekttyp und den gemessenen Parametern werden in der Auswertevorrichtung 10 gespeichert. Die entstehenden Zuordnungstabellen können interpoliert werden, um zur Speicherersparnis als geschlossene Funktion abgelegt zu werden. In der Echtzeitphase werden in die Umkehrfunktionen die gemessenen Parameterwerte eingesetzt, um den Deformationsgrad und den Objekttyp zu bestimmen.
Alle Größen der Echtzeitauswertung werden sowohl für die Aufals auch für die Seitenansicht jeden Gegenstandes 2 berechnet. Beide Ansichten können mit der in Fig.1 dargestellten Sensoranordnung gleichzeitig gewonnen werden.
Nach der Bildaufnahme werden im ersten Schritt durch passende Filterung in der Auswertevorrichtung 10 die Grauwertkanten bestimmt. Die Außenkontur und innerhalb der Kontur liegende Kanten werden dann getrennt verkettet. Zur Beschleunigung dieses Schrittes kann ein festverdrahtetes Rechenwerk der Auswertevorrichtung 10 verwendet werden.
Mit einem weiteren Rechenwerk der Auswertevorrichtung 10 werden die von der Farbkamera 4 stammenden Signale in eine HSI Darstellung transformiert und dann die Farbkanten ausgefiltert und verkettet. Damit werden die Videodaten in Echtzeit auf ihre wesentlichen Anteile (Grauwert- und Farbkanten) reduziert.
Die einzelnen Kantenlisten werden dann über ein erstes Kommunikationsnetzwerk an in der Auswertevorrichtung enthaltene Mikrorechner verteilt, von denen jeder nur wenige solcher Listen bearbeitet.
Für jede Kante im Bild werden mindestens die folgenden Größen berechnet: Farbwert, Sättigung, eingeschlossene Fläche, Momente der eingeschlossenen Fläche, mittlere Krümmung, Länge, Drehlage, relative Lage zur Außenkontur. Bei offenen Kantenzügen werden je nach Bedarf nur die kantenbezogenen Größen berechnet oder sie werden (durch Verbindung von Anfangs- und Endpunkt) in geschlossene Kantenzüge überführt, um auch die flächenbezogenen Größen berechnen zu können.
Innerhalb der Außenkontur wird näherungsweise das Volumen bestimmt durch Multiplikation der Grundflächentiefe mit der durch die Seitenansicht ermittelten Höhe. Die Transparenz wird aus dem durchgelassenen Lichtanteil der Seitenbeleuchtung bestimmt.
Die ermittelten Größen werden über ein weiteres Kommunikationsnetzwerk, das nicht notwendigerweise physikalisch vom ersten verschieden sein muß, einem zentralen Auswerteprozessor 12 der Auswertevorrichtung 10 zugeleitet, der die bei der Eichung bestimmten Umkehrfunktionen berechnet und damit die Erkennung durchführt.
Anstatt die Durchlicht- und Auflichtmessung mit nur einem optischen Sensor 4 durchzuführen, kann auch eine Vorrichtung mit zwei getrennten Sensoren verwendet werden. Dieses ist in Fig.2 dargestellt, wobei der zu identifizierende Gegenstand 2 aus Gründen einer besseren Übersicht weggelassen ist:
Die Auflichtmessung erfolgt wiederum mit der Zeilenkamera 4. Für die Durchlichtmessung ist hingegen statt des in Fig.1 vorgesehenen Spiegels ein separater optischer Sensor (Kamera) 17 vorgesehen. Die Sensorsignale werden einer Elektronik zugeführt, die im wesentlichen der in Fig.1 mit 5 bezeichneten Elektronik entspricht. Lediglich die analogen Eingangssignale können separat verstärkt und in entsprechende digitale Werte umgewandelt werden. Die weitere Bearbeitung der Signale durch die Auswertevorrichtung 10 ist dann identisch wie oben beschrieben.