Videobild-Überwachungsverfahren

Abstract

 Beim Videobild-Überwachungsverfahren nach der Erfindung wird ein in Pixel aufgeteiltes, hinsichtlich der Helligkeit jedes Pixels digitalisiertes, fortlaufend festgehaltenes, aktuelles Bild (1) mit einem in gleicher Weise in Pixel aufgeteilten, digitalisierten und gespeicherten Referenzbild mittels einer Korrelationsanalyse (6) verglichen, wobei jeweils der Wert "null" der Helligkeitsskala der Pixel der mittleren Helligkeit des Gesamtbildes entspricht. Unterhalb eines festlegbaren Korrelationskoeffizienten wird ein Alarmsignal ausgelöst. Zur Vorverarbeitung der Ausgangsbilder lassen sich in einem Kantenextraktionsprozeß (12) die Übergänge zwischen hellen und dunklen Bildbereichen beider Bilder einer Korrelationsanalyse unterziehen. Das Verfahren nach der Erfindung kann bei der Videoüberwachung von Objekten oder Räumen eingesetzt werden, wobei eine Änderung der Kameraausrichtung und eine Objektverschiebung gemeldet werden.

Beschreibung

[0001] In der Video-Überwachungstechnik werden zunehmend automatisch arbeitende Systeme eingesetzt, bei denen allenfalls in Ausnahmefällen die mit einer Videokamera aufgenommenen Bilder sichtbar dargestellt und dann tatsächlich auch betrachtet werden, weil sie beispielsweise im Normalbetrieb nur aufgezeichnet werden oder weil sie erst bei Bewegungen in kritischen Bereichen, dann meist gekoppelt mit einem Alarm, sichtbar gemacht werden. In derartigen Video-Überwachungsanlagen, wie sie z.B. aus DE 26 17 112 B2 bekannt sind, soll mit jeder Kamera eine bestimmte Szene hinsichtlich Feststellung einer Bewegung bzw. einer Veränderung in einem Überwachungsbereich beobachtet werden. In aller Regel gibt es aber kaum noch Kontrollen dahingehend, ob die Ausrichtung der Videokamera - entweder absichtlich oder unbeabsichtigt - verändert worden ist.

[0002] Aus der Patentschrift DE 30 01 588 ist zum Vergleich eines aktuellen Videobildes mit einem Bezugsvideobild ein digitaler Video-Korrelator bekannt, bei dem ein Digitalisierer zum Aufteilen des aktuellen Bildes und des Bezugsbildes in Pixel (Bildpunkte) und zum Digitalisieren der Pixel in binäre Daten-Bits sowie ein mit dem Digitalisierer verbundenes erstes Schieberegister zum Empfang der binären Daten-Bits der digitalisierten Daten-Bits des aktuellen Bildes in sequentieller Folge vorgesehen ist. Ein mit dem Digitalisierer und dem ersten Schieberegister verbundener Korrelator, der die digitalisierten Pixel des Bezugsbildes empfängt und speichert, empfängt auch die digitalisierten Pixel des aktuellen Bildes vom ersten Schieberegister. Im Korrelator werden also die sich entsprechenden Bildteile des aktuellen Bildes und des Bezugsbildes oder diese beiden ganzen Bilder miteinander verglichen, woraufhin ein Ausgangssignal erzeugt wird, das die Korrelation zwischen den beiden Bildern anzeigt.

[0003] Die bekannten Video-Überwachungsverfahren sind allerdings nicht ausreichend trennscharf und darüber hinaus auch zu empfindlich gegenüber Änderungen der Szenenbeleuchtung.

[0004] Der Erfindung liegt die Aufgabe zugrunde, ausgehend von einem auf der Korrelationsanalyse beruhenden Video-Überwachungsverfahren Maßnahmen anzugeben, die eine trennscharfe und damit sichere Objektpositions-Videoüberwachung und Videokamera-Ausrichtungskontrolle ermöglichen, wobei für beide Fälle durch eine teilweise Veränderung der Szene, wenn z.B. ein Teil der zu überwachenden Szene beispielsweise von einer Person abgedeckt oder eine nicht extrem krasse Beleuchtungsänderung eintritt, keine Meldung ausgelöst werden soll.

[0005] Diese Aufgabe wird nach der Erfindung durch ein Videobild-Überwachungsverfahren mit den im kennzeichnenden Teil des Patentanspruchs 1 angegebenen Merkmalen gelöst.

[0006] Zweckmäßige Weiterbildungen des Videobild-Überwachungsverfahren nach der Erfindung sind in den Unteransprüchen angegeben.

[0007] Das Videobild-Überwachungsverfahren nach der Erfindung kann somit dazu genutzt werden, zum einen eine sogenannte "Videokamera-Positionsauthentifikation", d.h. eine selbständige Kontrolle der Ausrichtung der Kamera auszuführen, und zum anderen zu überwachen, ob ein Objekt, welches durch die Videokamera betrachtet wird, verschoben oder entfernt worden ist, wobei ein typischer Anwendungsfall die Überwachung z.B. eines wertvollen Bildes in einem Museum ist. In Analogie zur vorher benutzten Bezeichnung "Videokamera-Positionsauthentifikation" kann der letztgenannte Einsatzfall des Videobild-Überwachungsverfahren nach der Erfindung "Objektpositionsauthentifikation" genannt werden.

[0008] Beim Verfahren nach der Erfindung wird davon ausgegangen, daß ein Referenzbild oder ein Ausschnitt davon mit einem aktuellen Bild verglichen wird und bei Veränderung, insbesondere bei einer Verschiebung des Bildes, eine Meldung ausgelöst wird. Wichtig in beiden vorgenannten Einsatzfällen ist, daß durch eine teilweise Veränderung der Szene, wenn beispielsweise etwas oder jemand, vor der Videokamera stehend, einen Teil der Szene abdeckt oder bei einer Beleuchtungsänderung keine Meldung ausgelöst wird. Es wird beim Videobild-Überwachungsverfahren nach der Erfindung die sogenannte Korrelationsanalyse angewandt. Es werden dabei Videobilder verwendet, die in digitalisierter Form vorliegen, d.h. es gibt eine 2-dimensionale Matrix von Bildpunkten, also Pixeln, bei der die Helligkeit eines jeden Pixels als numerischer Wert beschrieben wird. Andere Ausgangsvoraussetzungen sind zwar prinzipiell denkbar, jedoch bei Zugrundelegen des in diesem Zusammenhang derzeitig bekannten Standes der Technik eher unwahrscheinlich. Bei der Korrelationsanalyse wird jedes Pixel des Referenzvideobildes mit dem entsprechenden Pixel des aktuellen Videobildes multipliziert, und danach werden sämtliche, bei den einzelnen Multiplikationen entstandenen Produkte summiert. Dabei ist es beim Verfahren nach der Erfindung von wesentlicher Bedeutung, daß der Wert "null" der Helligkeitsskala der Pixel nicht, wie in der Videoildverarbeitungstechnik üblich, der Helligkeit "null", also schwarz, sondern der mittleren Helligkeit des Gesamtbildes entspricht. Dieses Helligkeitsergebnisse werden mit den Helligkeitsergebnissen des Referenzbildes in Relation gesetzt, so daß z.B. identische Bilder den Korrelationskoeffizienten vom Wert 1 oder 100% ergeben. Wenn sich der Bildinhalt des aktuellen Bildes etwas verschiebt oder wenn dieses Bild teilweise abgedeckt bzw. verändert wird, bleibt das Ergebnis dieser Korrelationsanalyse relativ hoch, z.B. >50%, während größere Verschiebungen zu sehr viel kleineren Korrelationsergebnissen führen.

[0009] So weit das Videobild-Überwachungsverfahren nach der Erfindung bisher beschrieben ist, kann es ihm jedoch noch an ausreichender Trennschärfe mangeln und es kann auch relativ empfindlich gegenüber Änderungen der Szenenbeleuchtung sein.

[0010] Eine erhebliche Verbesserung läßt sich diesbezüglich durch Kantenextraktionsprozesse erreichen.

[0011] Deswegen läßt sich gemäß einer ersten Weiterbildung der Erfindung eine richtungsabhängige Kantenextraktion zur Vorverarbeitung der Ausgangsbilder verwenden. Danach ergeben sich positive Werte dort, wo das Bild heller wird, und negative Werte dort, wo das Bild dunkler wird. Diese Gesetzmäßigkeit kann auch umgekehrt formuliert sein. Dieser Kantenextraktionsprozeß kann bzw. muß getrennt in horizontaler und vertikaler Abtastrichtung durchgeführt werden, was beispielsweise in Abhängigkeit vom jeweiligen Anwendungsfall gewählt werden kann. Eine Korrelationsanalyse nach dieser ersten Weiterbildung arbeitet sehr trennscharf. Schon bei einer Verschiebung des aktuellen Bildes um wenige Pixel kann das Korrelationsergebnis gegen null gehen. Bei weiterer Verschiebung des aktuellen Bildes schwankt der Korrelationskoeffizient dann in einem Wahrscheinlichkeitsbereich um den Nullwert herum, der aufgrund der Vielzahl der Eingangswerte, in typischer Weise ca. 200 000 Pixel, sehr klein ist. In der Praxis wird oftmals eine derart hohe Trennschärfe gar nicht erwünscht sein, so daß dann in vorteilhafter Weise die Eingangsbilder vorab verkleinert oder unschärfer gemacht werden, was in beiden Fällen zum gleichen Ergebnis führt.

[0012] Obwohl durch diese Weiterbildung das Videobild-Überwachungsverfahren nach der Erfindung bereits merklich verbessert arbeitet, läßt es sich in bezug auf Beleuchtungsänderungen noch einmal qualitativ deutlich steigern, da Beleuchtungsänderungen die Richtung der Hell/Dunkel-Übergänge ändern können und so das Korrelationsergebnis erheblich reduzieren können.

[0013] Gemäß der im folgenden angegebenen zweiten Weiterbildung des Videobild-Überwachungsverfahren nach der Erfindung wird daher ein richtungsunabhängiger Kantenextraktionsprozeß durchgeführt. Zu diesem Zweck werden die Ergebnisse der horizontalen und vertikalen Kantenextraktion, die in der vorherigen Weiterbildung erläutert wurden, zunächst Pixel für Pixel quadriert, so daß sie ausschließlich positiv sind, dann werden die quadrierten Ergebnisse der horizontalen und der vertikalen Kantenextraktion Pixel für Pixel miteinander addiert und anschließend daraus die Quadratwurzel gezogen. Es ergeben sich dabei ausschließlich positive Werte an allen Stellen, an denen Kanten zu finden sind; in den restlichen Bereichen bleibt das Ergebnis "null". Für die Korrelationsanalyse ist diese Verarbeitung aber noch nicht ausreichend, da bei ihr keine negativen Werte auftreten, so daß die Wahrscheinlichkeit eines relativ hohen Korrelationsergebnisses auch bei völlig unkorrelierten Bildern zu hoch ist. In zweckmäßiger Weise wird deshalb in Analogie zum bereits im Zusammenhang mit der Korrelationsanalyse der Videobilder ausgeführten Merkmal des Videobild-Überwachungsverfahren nach der Erfindung von jedem Pixel des Kantenbildes die mittlere Helligkeit aller Pixel des Kantenbildes subtrahiert, so daß der Wert "null" wieder der mittleren Helligkeit des Kantenbildes entspricht.

[0014] In einer dritten Weiterbildung wird ein weiterer, richtungsunabhängiger Kantenextraktionsprozeß durchgeführt. Er läßt sich mittels des sogenannten "Laplace-Operators" erreichen, der an jeder Kante auf der einen Seite der Kante ein positives und auf der anderen Seite der Kante ein negatives Bildsignal erzeugt. Die mittlere Bildhelligkeit ist immer "null", so daß kein weiterer Rechenprozeß erforderlich ist. Bei der Verwendung dieses Verfahrens wird ein eventuell unerwünschter Effekt, der sich bei dem vorher beschriebenen Verfahren nach der zweiten Weiterbildung ergibt, vermieden. Beim Verfahren nach der zweiten Weiterbildung werden Bildbereiche, in denen sehr viele dicht beieinander liegende Kanten vorhanden sind, nach der Kantenextraktion weitgehend lückenlose positive Werte ergeben. Wenn diese Bereiche verschoben werden, bleibt das Korrelationsergebnis beim Verfahren nach der zweiten Weiterbildung hoch, beim Verfahren nach der dritten Weiterbildung mit der Verwendung des Laplace-Operators aber nicht.

[0015] Bei Einsetzen der beiden beschriebenen, zweiten und dritten Kantenextraktions-Weiterbildungen des Videobild-Überwachungsverfahren nach der Erfindung wird eine sehr hohe Unempfindlichkeit gegenüber Beleuchtungsänderungen erreicht, da es keine Rolle spielt, ob eine Kante einen Übergang von "Schwarz" nach "Weiß" oder in umgekehrter Richtung darstellt. In bestimmten Fällen könnte es bei Durchführung dieser Weiterbildung im Gegensatz zur davor abgehandelten, ersten Kantenextraktions-Weiterbildung von Nachteil sein, daß sanfte Helligkeitsübergänge, d.h. Verläufe, die eine konstante Schräge über mehr als die Größe des Laplace-Operator haben, keine Ausgangsinformationen mehr erzeugen. In zweckmäßiger Weise wird in einem solchen Fall eine Auswertung mit den beschriebenen Kantenextraktionsprozessen gemäß den beiden Weiterbildungen zugleich durchgeführt, und es werden für eine Meldung oder Alarmierung dann beide Ergebnisse berücksichtigt.

[0016] Anhand eines in einer Figur dargestellten Blockschaltbildes wird die Funktion des Videobild-Überwachungsverfahrens nach der Erfindung erläutert.

[0017] Eine Videokamera 1 liefert ein Bild von einem Überwachungsraum, in dem ein zu beobachtendes Objekt 2, z.B. ein Bild, angeordnet ist. Das Videobild-Ausgangssignal der Videokamera wird einem Pixel-Digitalisierer und -Codierer 3 zugeführt, der hinsichtlich seiner Codierung von einer Einrichtung 4 zur Ermittlung der mittleren Bildhelligkeit so gesteuert wird, daß jeweils der Wert "null" der Helligkeitsskala der Pixel der mittleren Helligkeit des Gesamtbildes entspricht. Die digitalisierten Pixel eines Videobildes werden über einen Umschalter 5, der zur Aufnahme eines Referenzbildes in seine untere Stellung gebracht wird, einem Videokorrelator 6 zugeführt. Der Videokorrelator 6 enthält ein erstes Datenregister 7, das einer 2-dimensionalen Matrix der Pixel-Helligkeitswerte eines aktuellen Videobildes entspricht, und ein zweites Datenregister 8, das einer 2-dimensionalen Matrix der Pixel-Helligkeitswerte eines Referenzbildes entspricht. Im digitalen Videokorrelator 6 werden in Multiplizierern 9 alle Pixelwerte des ersten Datenregisters 7 mit den entsprechenden Referenzpixelwerten des zweiten Datenregisters 8 multipliziert. In einem digitalen Summierer 10 des Videokorrelators 6 werden dann alle entstandenen Produkte der Multiplizierer 9 summiert. Am Ausgang 11 des Korrelators 6 wird dann das Korrelationsergebnis abgenommen. Es wird somit durch die dargestellte Schaltung ein Korrelationsausgangssignal erzeugt, welches am Ausgang 11 das Korrelationsergebnis zwischen den Bildern bzw. den Bildausschnitten anzeigt und unterhalb eines festlegbaren Korrelationskoeffizienten zur Auslösung einer Meldung oder eines Alarmsignals herangezogen werden kann. Mit einer Einrichtung 12 zur richtungsabhängigen und/oder richtungsunabhängigen Kantenextraktion wird eine höhere Trennschärfe und eine geringere Empfindlichkeit gegenüber Änderungen der Szenenbeleuchtung erreicht.

Ansprüche

1. Videobild-Überwachungsverfahren, bei dem ein in Pixel (Bildpunkte) aufgeteiltes, hinsichtlich der Helligkeit jedes Pixels in eine digitalisierte Signalform gebrachtes, fortlaufend festgehaltenes aktuelles Bild bzw. ein Ausschnitt desselben mit einem in gleicher Weise in Pixel aufgeteilten, hinsichtlich der Helligkeit jedes Pixels ebenfalls in einer digitalisierten Signalform gespeicherten Referenzbild bzw. mit dem entsprechenden Ausschnitt desselben mittels einer Korrelationsanalyse verglichen wird und dabei ein Korrelationsausgangssignal erzeugt wird, welches das Korrelationsergebnis zwischen den Bildern bzw. den Bildausschnitten anzeigt und unterhalb eines festlegbaren Korrelationskoeffizienten zur Auslösung einer Meldung oder eines Alarmsignals herangezogen wird, wobei jeweils der Wert "null" der Helligkeitsskala der Pixel der mittleren Helligkeit des Gesamtbildes entspricht.

2. Videobild-Überwachungsverfahren nach Anspruch 1,
dadurch gekennzeichnet,
daß zur Vorverarbeitung der Ausgangsbilder in einem Kantenextraktionsprozeß die Übergänge zwischen hellen und dunklen Bildbereichen beider Bilder bzw. beider Bildausschnitte einer Korrelationsanalyse unterzogen werden.

3. Videobild-Überwachungsverfahren nach Anspruch 2,
dadurch gekennzeichnet,
daß der Kantenextraktionsprozeß richtungsabhängig durchgeführt wird, in der Weise, daß sich gesetzmäßig positive Werte in denjenigen Bereichen ergeben, in denen das Bild heller wird, und negative Werte in denjenigen Bereichen, in welchen das Bild dunkler wird, oder gesetzmäßig stets umgekehrt.

4. Videobild-Überwachungsverfahren nach Anspruch 3,
dadurch gekennzeichnet,
daß der Kantenextraktionsprozeß in horizontaler oder in vertikaler Abtastrichtung oder getrennt in allen beiden Abtastrichtungen durchgeführt wird.

5. Videobild-Überwachungsverfahren nach Anspruch 3 oder 4,
dadurch gekennzeichnet,
daß die Eingangsbilder vorab verkleinert oder unschärfer gemacht werden.

6. Videobild-Überwachungsverfahren nach einem der Ansprüche 2 bis 4,
dadurch gekennzeichnet,
daß ein weiterer Kantenextraktionsprozeß richtungsunabhängig durchgeführt wird, in der Weise, daß die Ergebnisse einer richtungsabhängigen, insbesondere horizontalen und vertikalen Kantenextraktion zunächst Pixel für Pixel quadriert werden, so daß sie ausschließlich positiv sind, dann die quadrierten Ergebnisse der horizontalen und der vertikalen Kantenextraktion Pixel für Pixel miteinander addiert werdenund anschließend daraus die Quadratwurzel gezogen wird, wobei sich dabei ausschließlich positive Werte an allen Stellen ergeben, an denen Kanten zu finden sind, und in den restlichen Bereichen das Ergebnis "null" bleibt, und daß von jedem Pixel des Kantenbildes die mittlere Helligkeit aller Pixel des Kantenbildes subtrahiert wird, so daß der Wert "null" wieder der mittleren Helligkeit des Kantenbildes entspricht.

7. Videobild-Überwachungsverfahren nach Anspruch 2,
dadurch gekennzeichnet,
daß ein weiterer, richtungsunabhängiger Kantenextraktionsprozeß durchgeführt wird, der mittels des sogenannten "Laplace-Operators" erreicht wird, der an jeder Kante auf der einen Seite der Kante ein positives und auf der anderen Seite der Kante ein negatives Bildsignal erzeugt, wobei die mittlere Bildhelligkeit dann immer "null" ist, so daß kein weiterer Rechenprozeß erforderlich ist.

8. Videobild-Überwachungsverfahren nach Anspruch 7,
gekennzeichnet
durch eine Kombination mit dem Verfahren nach einem der Ansprüche 3 bis 6.

Zeichnung