[0001] Die Erfindung betrifft ein Verfahren zur Steuerung eines Multikamera-Systems mit
den Merkmalen des Anspruches 1 und eine Vorrichtung zur Umsetzung des Verfahrens mit
den Merkmalen des Anspruches 16.
[0002] Multikamera-Systeme sind hinlänglich bekannt. Insbesondere bei Überwachungssystemen
und Alarmsystemen besteht oft eine Kombination aus stationären Kameras und Pan-Tilt-Zoom-Kameras.
Stationäre Kameras sind kostengünstiger und sie ermöglichen eine kontinuierliche Überwachung
eines vordefinierten Bereichs. Nachteilig bei stationären Kameras ist es jedoch, dass
ein Eindringling nicht verfolgt werden kann. Verlässt ein Eindringling das vordefinierte
Überwachungsfeld, wird eine Verfolgung unmöglich, und der Eindringling wird häufig
verloren. Außerdem ist es bei solchen Systemen durch die grobe Auflösung der Kamera
oftmals nicht möglich einen Eindringling zu identifizieren oder kleine Objekte zu
erkennen. Es werden daher Pan-Tilt-Zoom-Kameras verwendet, um einen mit einer stationären
Kamera detektierten Eindringling zu verfolgen und zu vergrößern. Dieselbe Problematik
ergibt sich auch bei anderen Anwendungen z.B. bei Kamerasystemen zur Verkehrsbeobachtung
oder bei Sportereignissen in großen Hallen oder Stadien. Für einen Benutzer ist die
manuelle Steuerung der Pan-Tilt-Zoom Kamera zur schnellen und gezielten Erfassung
eines Objekts im allgemeinen schwierig.
[0003] Aus EP-A1-0 529 317 und EP-A1-0 714 081 ist es bekannt, bewegliche Objekte, bei deren
Verfolgung mit Kameras, von einer Kamera auf die nächste zu übergeben. Die Erfindung
beschreibt eine Anwendung innerhalb geschlossener Räume, beispielsweise innerhalb
eines Kasinos. Hierbei wird die nächstliegende verfügbare Pan-Tilt-Zoom-Kamera ausgewählt,
welche das Objekt verfolgen kann, wenn es den Überwachungsbereich der aktuell das
Objekt erfassenden Kamera verlässt. Die Anwendungen behandeln dabei Innenräume bei
denen der zu überwachende Bereich eine Ebene - die Fußbodenebene - ist. Für die Objekte
wird eine bekannte Größe - Personen - und Bodenberührung angenommen.
[0004] Aus US-A-6 359 647 ist eine weitere Erfindung offenbart, welche es ermöglicht eine
Übergabe von Objekten zwischen Kameras und deren überwachten Bereichen zu ermöglichen.
Die hierbei eingesetzten Kameras können sowohl Pan-Tilt-Zoom-Kameras, als auch stationäre
Kameras sein. Das Ziel der Erfindung ist es ein Objekt über mehrere Kameras hinweg
kontinuierlich zu verfolgen, eine gezoomte Objektverfolgung und die damit verbundenen
Probleme werden nicht angesprochen. Es wird angenommen, dass sich die Objekte auf
einer Ebene - Fußbodenebene - bewegen, eine bekannte Größe haben oder die Distanz
über die Fokuseinstellung des Kameraobjektivs ermittelt wird.
[0005] Aus US-A-6 215 519 ist bekannt, zur Verfolgung von beweglichen Objekten, die in einer
stationären Kamera mit großem Gesichtsfeld detektiert wurden, eine zweite Kamera mit
höherer Auflösung zu verwenden. Die stationäre Kamera wird als omnidirektionale Kamera
mit sehr geringer Auflösung angenommen, so dass die höhere Auflösung der zweiten Kamera
nur eine normale Auflösung ist und dementsprechend keine hohe Genauigkeit erfordert.
Zur Lokalisierung des Objekts mit der zweiten Kamera wird vorgeschlagen beide Kameras
direkt nebeneinander zu platzieren oder die Objekte auf einer bekannten Grundebene
anzunehmen.
[0006] Aufgabe der Erfindung ist es die Erfassung eines im Bild einer ersten Kamera sichtbaren
Objekts durch eine zweite orientierbare Kamera zu verbessern.
[0007] Diese Aufgabe wird anhand der Verfahrensmerkmalen des Anspruchs 1 und den Vorrichtungsmerkmalen
des Anspruches 16 gelöst.
[0008] Das erfindungsgemäße Kamerasystem besteht aus einer ersten Kamera, auch als Masterkamera
bezeichnet, und mindestens einer zweiten Kamera, auch als Slavekamera bezeichnet.
Bei der zweiten Kamera handelt es sich in vorteilhafter Weise um eine Pan-Tilt-Zoom-Kamera.
[0009] Im weiteren ist ein Objektdetektor vorhanden. Als Objektdetektor wird jede Art von
geeigneter Vorrichtung, Verfahren oder menschlichem Benutzer bezeichnet, der in einem
Kamerabild ein interessierendes Objekt, z.B.
[0010] Personen, PKWs, Gesichter, bewegte Objekte, die Position eines verschwundenen Objekts,
eine Rauchwolke, ein Schatten usw., detektieren kann. Dies kann z.B. ein menschlicher
Benutzer sein, der das Objekt über ein geeignetes Eingabemedium, z.B. eine Maus, auf
einem Monitorbild oder einer anderen geeigneten Darstellung des Kamerabildes detektiert.
Ein weiteres Beispiel sind Video-Bewegungsdetektoren, die bewegte Objekte detektieren.
Eine weitere Möglichkeit besteht darin Objekte anhand charakteristischer Merkmale
zu detektieren, z.B. Farbe, Form, Gesichtserkennung. Unter einem Benutzer verstehen
wir im folgenden eine Person, die das System bedient. Unter einem automatischen Detektor
sollen Detektoren verstanden werden, die ohne menschlichen Eingriff funktionieren.
Es sind auch halb automatische Kombinationen möglich, bei denen ein automatischer
Detektor Detektionsvorschläge macht, die durch einen Benutzer verifiziert werden müssen.
Unter der Detektion soll hier auch die Lokalisierung verstanden werden, d.h. die Bestimmung
der Position des Objekts im Kamerabild. Eine Detektion bezeichnet allgemein eine Positionsbestimmung
in diesem Sinne in einem Kamerabild. Im Falle eines Benutzers geschieht dies in vorteilhaften
Ausgestaltungen häufig durch einen Mausklick. Es kann jedoch auch ein Joystick, ein
berührungssensitiver Monitor oder ein anderes geeignetes Eingabemedium verwendet werden.
[0011] Die Position kann dabei ein Punkt sein, der dem Objekt zugeordnet wird oder auch
eine oder mehrere Flächen. Im Falle digital vorliegender Bilder wird die Position
oft durch ein Pixel bestimmt. Dieses Pixel besitzt eine endliche Ausdehnung und kann
z.B. in einer höheren Auflösung durch mehrere Pixel repräsentiert werden. Es kann
auch durch die Eigenart des Detektors, wie etwa eines Bewegungsdetektors oder durch
sogenannte Touchscreens eine oder mehrere Flächen als die Position des Objekts ausgewählt
werden. Wir verstehen daher im folgenden unter einem Punkt im Bild oder Bildpunkt
auch eine oder mehrere Flächen. Ein Punkt in der durch die Kamera abgebildeten Szene
kann demnach auch eine Ausdehnung besitzen.
[0012] Unter einem Monitor soll im folgenden jede geeignete Einrichtung zur zeitlich veränderlichen
Darstellung von Bildern, Text und Grafiken verstanden werden. Dies können z.B. Bildröhrenmonitore
wie PC-Monitore, Überwachungsmonitore, Fernseher oder ähnliches sein. Es können auch
Flachbildschirme, LCD-Bildschirme oder andere Arten von Displays sein.
[0013] Als Kamerabild bezeichnen wir ein wirklich für einen Benutzer sichtbares Monitorbild
aber auch eine nicht sichtbare Repräsentation desselben Bildes etwa als digitale Daten
in einem Computer. Soweit es sich im beschriebenen Verfahren um einen Benutzer handelt,
ist ein Monitorbild gemeint und die Einblendung oder Einzeichnung von Linien, Punkten
etc. geschieht in das Monitorbild in einer für den Benutzer wahrnehmbaren Form. Falls
ein Verfahrensteil von einem automatischen Detektor ausgeführt wird handelt es sich
um ein allgemeines, nicht notwendigerweise sichtbar dargestelltes Bild. Das Einzeichnen
oder Einblenden entspricht hier einer Berücksichtigung der entsprechenden Positionen
im Bild durch den betroffenen automatisch ausgeführten Verfahrensteil.
[0014] Wir werden im folgenden das System und Verfahren beschreiben, wie es sich für einen
Benutzer darstellt. Dies soll jedoch generell die Verwendung automatischer oder halbautomatischer
Detektoren einschließen. Das Verfahren bleibt gleich, wenn unter einem Detektionsschritt
die Detektion durch einen beliebigen Detektor verstanden wird. Im Falle der automatischen
Detektion in allen Detektionsschritten können in der Vorrichtung Monitore und Eingabemedien
entfallen, da die hierdurch dargestellte und eingegebene Information in den Steuereinheiten
automatisch erzeugt und berücksichtigt wird.
[0015] Als Masterkamera wird eine Kamera bezeichnet, in der ein Objekt von einem Objektdetektor
detektiert wird, wobei diese Detektion zur Erfassung desselben Objekts in weiteren,
sogenannten Slavekameras verwendet werden soll. Die Masterkamera ist oft stationär,
sie kann aber auch mit einer Schwenk-Neige-Einheit ausgestattet sein. Tatsächlich
ist jede Kamera als Masterkamera geeignet, bei der zu einem gegebenen Zeitpunkt eine
eindeutige Zuordnung zwischen einem Punkt im Kamerabild und einem sogenannten Sehstrahl
gegeben ist. Ein zu einem Bildpunkt gehöriger Sehstrahl ist der Ort aller Punkte im
Raum, die von der Kamera auf diesen Bildpunkt abgebildet werden. Für reale Kameras
sind dies für ausdehnungslose Bildpunkte Geraden, für ausgedehnte Bildpunkte entsprechende
Kegel als Summe aller Geraden. Falls im folgenden verfahrensbedingt an einer Stelle
eine nicht ausgedehnte Gerade als Sehstrahl gegeben ist, wird aus diesem Kegel eine
geeignete Gerade als Repräsentant verwendet, meist die zur Objektmitte oder zum Objektfußpunkt
gehörende Gerade. Dies kann etwa dann der Fall sein, wenn ein Video-Bewegungsdetektor
eine Fläche im Kamerabild detektiert oder ein Benutzer über einen Touchscreen keine
pixelgenaue Position eingibt. Die Zuordnungsvorschrift zwischen Bildpunkten und Sehstrahlen,
wobei die Sehstrahlen in einem kamerafesten Koordinatensystem gegeben sind, bezeichnet
man als interne Kalibrierung der Kamera. Die Position der Kamera relativ zu einem
Weltkoordinatensystem oder einer anderen Kamera wird als externe Kalibrierung bezeichnet.
Die Eigenschaft der Masterkamera bezieht sich nur auf die gerade aktuelle Detektionsaufgabe.
In einer weiteren Detektion kann dieselbe Kamera auch die Funktion einer Slavekamera
ausüben sofern ihr Gesichtsfeld einstellbar ist.
[0016] Die Aufgabe der Slavekamera ist es, das in der Masterkamera detektierte Objekt zu
erfassen. Als Slavekamera ist jede Kamera mit einstellbarem Gesichtsfeld geeignet.
Unter der Einstellung des Gesichtsfeldes zur Erfassung des Objekts durch die Slavekamera
wird die Ausrichtung des sogenannten Kameravektors auf das Objekt verstanden. Der
Kameravektor ist dabei ein vorgegebener, mit der Kamera fest verbundener Richtungsvektor;
er wird daher zusammen mit dem Gesichtsfeld der Kamera eingestellt. In besonders vorteilhaften
Ausgestaltungen sind Slavekameras Pan-Tilt-Zoom Kameras (Dome oder Schwenk-Neige-Köpfe).
Jeder andere Mechanismus zur Einstellung des Gesichtsfelds ist jedoch auch geeignet.
Eine Zoom-Funktion ist nicht für alle Anwendungen notwendig, jedoch oft vorteilhaft.
Es wird angenommen, dass die Slavekamera extern kalibriert ist, d.h. ihre Position
und Orientierung relativ zur Masterkamera ist bekannt. Außerdem wird der Einstellmechanismus
des Gesichtsfeldes als kalibriert angenommen, d.h. der Kameravektor kann gezielt auf
vorgegebene Richtungen eingestellt und der Zoom gezielt beeinflusst werden. Auch die
Funktion der Slavekamera besteht nur für diesen Erfassungsvorgang. Dieselbe Kamera
kann in einem weiteren Erfassungsvorgang auch Masterkamera sein.
[0017] Ein System kann aus zwei oder mehr Kameras bestehen, wobei für eine bestimmte Objekterfassung
jeweils eine beliebige Kamera als Masterkamera und eine oder mehrere Kameras mit einstellbarem
Gesichtsfeld als Slavekameras operieren. Für die nächste Objekterfassung können dies
andere Kamerapaarungen sein oder auch die Rollen der letzten Paarung vertauscht werden.
Ein Objekt kann zum selben oder verschiedenen Zeitpunkten auch von mehreren Masterkameras
detektiert werden. Es können im Kamerabild der Masterkamera auch mehrere Objekte detektiert
werden, die dann durch mehrere Slavekameras erfasst werden oder es wird ein Objekt
detektiert, das dann durch mehrere Slavekameras erfasst wird. Die Suche des Objekts
wird dabei in allen Fällen auf den durch die jeweilige Masterkamera gegebenen Sehstrahl
des Objekts eingeschränkt. Bei mehreren Objekten ist durch jedes Objekt ein Sehstrahl
gegeben.
Im folgenden wird die Erfindung anhand von Figuren verdeutlicht. Diese beispielhafte
Beschreibung stellt keine Limitierung oder Einschränkung der Erfindung auf die aufgeführten
Beispiele dar. Sie dient lediglich zur Verdeutlichung der Erfindung und besonders
vorteilhafter Ausgestaltungen.
[0018] Insbesondere die Figuren 3 bis 5 ermöglichen ein schnelles grundsätzliches Verständnis
der Erfindung.
[0019] Es zeigt:
- Figur 1
- ein Blockschaltbild eines Systems;
- Figur 2
- eine schematische Darstellung einer Kamera;
- Figur 3
- einen schematischen Plan eines zu überwachenden Areals mit einem System aus zwei Kameras,
sowie eines ausgewählten Objekts und dem dazugehörigen Sehstrahl der Masterkamera;
- Figur 4
- ein Kamerabild der Masterkamera aus Figur 3;
- Figur 5
- ein Kamerabild der Slavekamera mit eingeblendetem Sehstrahl der Masterkamera;
- Figur 6
- einen schematischen Plan eines zu überwachenden Areals mit einem System aus zwei Kameras,
wobei die Slavekamera in mehreren Ausrichtungen entlang des Sehstrahls der Masterkamera
dargestellt ist;
- Figur 7
- Kamerabilder der Slavekamera in Figur 6, die mit verschiedenen Ausrichtungen entlang
des Sehstrahls der Masterkamera erfasst werden;
- Figur 8
- ein Kamerabilder der Slavekamera in Figur 6, die mit Ausrichtungen auf und neben dem
Sehstrahl der Masterkamera erfasst werden, sowie eingeblendeten Pfeilen zur Steuerung
der Slavekamera;
- Figur 9
- einen schematischen Plan eines zu überwachenden Areals mit einem System aus zwei Kameras,
wobei sich Personen in verschiedenen Entfernungen entlang eines Sehstrahls der Masterkamera
befinden;
- Figur 10
- Kamerabilder der Slavekamera in Figur 9 bei einer Ausrichtung auf die Personen in
Figur 9 ohne Zoomanpassung;
- Figur 11
- Kamerabilder der Slavekamera in Figur 9 bei einer Ausrichtung auf die Personen in
Figur 9 mit Zoomanpassung;
- Figur 12
- ein Kamerabild der Masterkamera aus Figur 3 mit eingeblendetem Kameravektor der Slavekamera
bzw. dazugehörigem Sehstrahl;
[0020] In der folgenden Beschreibung werden bei den einzelnen Figuren für sich entsprechende
Objekte entsprechende Bezugszeichen verwendet. Dies ermöglicht es, die Erfindung im
zusammenhängenden Rahmen zu beschreiben.
[0021] Figur 1 zeigt das Blockschaltbild des Systems. Beispielhaft ist hier eine erste Kamera
101 als Masterkamera und eine zweite Kamera 102 mit einstellbarem Gesichtsfeld als
Slavekamera dargestellt. Die Masterkamera 101 ist eine stationäre Kamera. Die Masterkamera
101 ist an eine Steuereinheit 140 angeschlossen, die über analoge Ausgänge, insbesondere
z.B. für das Videosignal und digitale Ausgänge, insbesondere z.B. für Steuersignale
über Netzwerke, die Masterkamera 101 mit einer zentralen Steuereinheit 142 verbindet.
Falls digitale Kameras oder Bildübertragungen eingesetzt werden kann das Netz zur
Bildübertragung ganz oder teilweise digital sein. Falls die Materkamera 101 ein einstellbares
Zoomobjektiv hat wird dieses von der zentralen Steuereinheit 142 aus über die Steuereinheit
140 eingestellt werden. Der aktuelle Wert ist entweder in der zentralen Steuereinheit
142 gespeichert oder über die Steuereinheit 140 abfragbar. In gleicher Weise steuert
und verbindet die Steuereinheit 141 die Pan-Tilt-Zoom Kamera 102. Hier können außer
dem Zoom auch Pan und Tilt eingestellt und die aktuellen Werte abgefragt werden. Die
zentrale Steuereinheit 142 hat somit Zugriff auf die Steuerung, die aktuellen Einstellungen
und die Kamerabilder aller beteiligten Kameras 101 und 102. Die Kamerabilder können
auf den an die zentrale Steuereinheit 142 angeschlossenen Monitoren 144 und 145 dargestellt
werden. Falls automatische Detektoren für die Masterkamera 101 und/oder die Slavekamera
102 verwendet werden, können die entsprechenden Monitore 144 und 145 auch direkt an
die Steuereinheiten 140 und 141 oder direkt an die Kameras 101 und 102 angeschlossen
werden oder sie können ganz entfallen. Im Falle automatischer Detektoren ohne Benutzereingriff
oder Kontrolle können auch Einblendungen in das Kamera- bzw. Monitorbild entfallen.
Es ist auch möglich nur einen Monitor zu benutzen, wobei die Bilder von der Masterkamera
101 und der Slavekamera 102 nebeneinander, im sogenannten Splitverfahren, ineinander,
im sogenannten Bild-im-Bild-Verfahren oder zeitlich hintereinander dargestellt werden.
Für die erste Detektion in der Masterkamera 101 wird dabei das Bild der Masterkamera
101 aufgeschaltet, für die darauffolgende Detektion in der Slavekamera 102 wird dann
diese Kamera aufgeschaltet.
In der folgenden Beschreibung wird, soweit es sich beim Detektor um einen Benutzer
handelt, von einem Monitor pro Kamerabild ausgegangen. Die zentrale Steuereinheit
142 ist in der Lage in die dargestellten Bilder Informationen wie einen Mauszeiger,
markierte Punkte und Sehstrahlen einzublenden. Bei Bedarf können auch im Kamerabild
oder, falls dieses nicht bildfüllend ist, auf dem Monitor außerhalb des dargestellten
Kamerabildes graphische Steuerelemente, wie z.B. Schieberegler, eingeblendet werden.
Ein Benutzer kann über eine Eingabevorrichtung 143, bei welcher es sich in vorteilhaften
Weise um eine Maus und/oder eine Tastatur und/oder einen Schieberegler und/oder ein
Bedienpult und/oder einen Joystick, usw., handelt, die notwendigen Steuerungen vornehmen.
In der zentralen Steuereinheit 142 sind auch die Daten für die interne und externe
Kalibrierung der Kameras 101 und 102 gespeichert. Falls vorhanden, sind hier auch
Geländemodelle gespeichert und automatische Detektoren, wie Bewegungsdetektoren, etc.,
installiert. Alle Informationen und Module für-eine der Kameras 101 oder 102 können
auch in den lokalen Steuereinheiten 140 oder 141 angesiedelt sein. Bei diesen Modulen
handelt es sich in vorteilhafter Weise um Module zur Kalibrierung und/oder automatischen
Detektion. Sind solche Module in lokalen Steuereinheiten installiert, laufen nur die
entsprechend verarbeiteten Informationen, etwa die Position des detektierten Objekts,
in der zentralen Steuereinheit 142 zusammen. In der zentralen Steuereinheit 142 werden
alle Eingaben und Informationen gesammelt und verarbeitet, d.h. für ein in der Masterkamera
101 detektiertes Objekt wird der zugehörige Sehstrahl 303 (in Figur 3) in Weltkoordinaten
errechnet und, soweit der Sehstrahl von der Slavekamera 102 erfasst wird, in das Kamerabild
der Slavekamera 102 eingeblendet (Sehstrahl 504 in Figur 5). Weitere Einblendungen,
entsprechend der im folgenden geschilderten Ausgestaltungen, werden vorgenommen und
die Slavekamera 102, z.B. entsprechend der im folgenden beschriebenen Ausgestaltungen,
gesteuert. Falls ein Benutzer das System bedient, werden entsprechende Eingaben durch
die zentrale Steuereinheit 142 berücksichtigt bzw. dem Benutzer entsprechende Steuerelemente
angeboten.
Figur 2 zeigt eine schematische Darstellung einer Kamera. Kameras werden wie in dieser
Zeichnung dargestellt, oft als sogenannte projektive- oder auch Loch-Kamera modelliert.
Dabei gehen alle Sehstrahlen durch einen Punkt, das sogenannte optische Zentrum 260
der Kamera. Durch das optische Zentrum 260 und einen Bildpunkt 206 auf der Bildebene
262 (einem Pixel auf dem CCD oder CMOS Chip bei digitalen Kameras) wird ein Sehstrahl
203 definiert, welcher der Ort aller Punkte im Raum ist, die durch die Kamera auf
den Bildpunkt 206 abgebildet werden. Viele reale Kameras können durch die algorithmische
Korrektur von Verzerrungen im Bild sehr genau diesem Model entsprechen. Für andere
Kameras gibt es ähnliche Modelle. Die Ausrichtung einer Kamera mit einstellbarem Gesichtsfeld
(Slavekamera 102 in Figur 1) erfolgt nicht notwendiger Weise auf die Bildmitte. Wird
die Kamera nicht als projektive Kamera modelliert, kann es auch sinnvoll sein, die
Ausrichtung der Kamera durch einen Strahl zu definieren, der nicht durch das optische
Zentrum der Kamera geht bzw. es ist kein eindeutiges optisches Zentrum vorhanden.
Daher wird ein allgemeiner Kameravektor 261 definiert, der die Ausrichtung der Kamera
definiert. Falls die Kamera als projektive Kamera modelliert wird, kann man den Kameravektor
261 wie in der Zeichnung dargestellt vorteilhaft im optischen Zentrum 260 verankern.
Der Kameravektor 261 entspricht dann einem bestimmten Sehstrahl und die Ausrichtung
des Kameravektors entspricht der Ausrichtung des dazugehörigen Bildpunktes (Pixels)
auf das Objekt. Bei Slavekameras mit Zoomfähigkeit kann dieser Bildpunkt vorteilhaft
als das Zoomzentrum gewählt werden, d.h. der Bildpunkt, welcher bei sich veränderndem
Zoom im Bild stationär bleibt. Jeder andere Bildpunkt, z.B. die Bildmitte, ist jedoch
auch möglich.
[0022] Figur 3 zeigt einen schematischen Plan (Draufsicht) eines zu überwachenden Areals
mit einem System aus zwei Kameras 301 und 302. Die Kamera 301 ist die Masterkamera,
die Kamera 302 die Slavekamera. Die beiden Kameras 301 und 302 sind z.B. Überwachungskameras
und dienen zur visuellen Überwachung des Areals. In dem Areal befinden sich die Objekte
311 (Haus), 312 - 315 (Bäume) und 316 (PKW). Die Masterkamera 301 erfasst in ihrem
durch die Begrenzungslinien 321 angedeuteten Gesichtsfeld einen dieser Kamera zugeordneten
Überwachungsbereich. Überwachungsbereiche umfassen oft nicht das ganze Gesichtsfeld.
Dies wird durch die Linien 370 und 371 angedeutet, die hier beispielhaft Anfang und
Ende des Überwachungsbereichs darstellen. In diesem Überwachungsbereich liegen die
Objekte 314, 315, 316, sowie das Objekt 311. Ist die Masterkamera 301 mit einem einstellbaren
Gesichtsfeld ausgestattet, so stellt die abgebildete Szene die Orientierung der Kamera
zum Zeitpunkt der Objektdetektion dar. Die Slavekamera 302 hat ein einstellbares Gesichtsfeld,
z.B. als Pan-Tilt-Zoom Kamera. Die Linie 307 bezeichnet den zum Kameravektor der Slavekamera
gehörigen Sehstrahl (bzw. die durch den Kameravektor definierte Gerade im allgemeinen
Fall). Unter der Ausrichtung der Slavekamera auf ein Objekt verstehen wir die Ausrichtung
dieser Geraden auf das Objekt.
Figur 4 zeigt ein Kamerabild der Masterkamera 301 aus Figur 3 wie es sich z.B. für
einen Benutzer auf einem Monitor darstellt. Das Bild zeigt die Objekte 311, 314, 315
und 316 aus Figur 3. Es ist eine Eingabeeinheit vorhanden, z.B. eine Maus, mittels
welcher ein Benutzer einen Bildpunkt 406 in der dargestellten Szene auswählen kann.
Dieser Punkt 406 kann vom System auf dem Bildschirm markiert werden, in Figur 4 ist
dies durch einen schwarzen Punkt vorgenommen. Der Punkt 406 bezeichnet ein Objekt
in der Szene, in diesem Fall eine Hausecke, das von der Slavekamera 302 aus Figur
3 erfasst werden soll. Diesem Objekt entspricht im Arealplan der Figur 3 der Weltpunkt
305 mit dem dazugehörigen Sehstrahl 303. Die Unterscheidung zwischen dem Weltpunkt
305 und dem Bildpunkt 406, sowie zwischen dem (Welt-) Sehstrahl 303 und dessen Abbildung/Projektion
in einem Kamerabild (504 im Kamerabild der Slavekamera in Figur 5) ist wesentlich.
Der gesamte Sehstrahl 303 bildet sich im Kamerabild der Masterkamera auf den einen
Bildpunkt 406 ab. Der Detektor markiert einen Bildpunkt im Kamerabild der Masterkamera
und damit einen Sehstrahl. Die Lage des dazugehörigen Weltpunktes auf dem Sehstrahl,
d.h. dessen Entfernung von der Masterkamera, ist noch unbekannt. Die Lokalisierung
des Weltpunktes und die effektive Steuerung der Slavekamera 302 ist Gegenstand der
im folgenden beschriebenen Ausgestaltungen der Erfindung. Der Punkt 406 in Figur 4
bzw. 305 in Figur 3 ist mit angepassten Bezugszeichen auch in den Figuren 5 bis 7
eingezeichnet.
Falls die Slavekamera 302 dicht neben der Masterkamera 301 angeordnet werden kann,
laufen bei passender Ausrichtung die Sehstrahlen der Masterkamera 301 und der Kameravektor
der Slavekamera quasi parallel, die Objektentfernung ist dann für die Ausrichtung
der Slavekamera irrelevant. Die Erfassung durch die Slavekamera 302 ist in diesem
Fall relativ einfach zu lösen. Ein Sonderfall ergibt sich auch, falls die Geländeform
des überwachten Geländes bekannt ist, insbesondere falls es sich um eine sehr einfache
Geländeform wie eine Fußbodenebene bei Innenraumüberwachungen handelt. Unter der Annahme,
dass sich das Objekt auf dem Boden befindet, kann man in diesem Fall relativ leicht
die Objektentfernung ausrechnen und die Slavekamera 302 auf das Objekt richten. In
komplexerem Gelände könnte die Geländeform auch durch das Kamerasystem selber bestimmt
werden. Dies ist z.B. durch die Berechnung von Distanzkarten mittels bekannter Stereo-
oder Multikamera-Methoden möglich. Eine Distanzkarte ist dabei eine Karte, die für
jedes Pixel im Kamerabild der Masterkamera die Entfernung bis zum dargestellten Geländepunkt
speichert. Eine weitere Möglichkeit ist bei bekannter Objektgröße diese zur Schätzung
der Objektentfernung zu nutzen und so die Slavekamera 302 auszurichten. Von all diesen
Fällen ist allerdings nur eine geringe bis mäßige Genauigkeit zu erwarten, da Kameras
nicht am selben Ort sein können, da Objektgrößen nur ungenau bekannt und ungenau erfasst
werden oder variabel sind (verschiedene Objekte, verschiedene Ansichten) und da Geländeformen
und Distanzkarten im Normalfall nur ungenau bekannt sind. Für die Verwendung von Geländeformen/Distanzkarten
muss auch die Bodenberührung der Objekte angenommen werden und, dass der im Kamerabild
der Masterkamera erfasste Punkt 406 in einer bekannten Höhe über Grund liegt.
[0023] Die geforderte Genauigkeit wird im allgemeinen vom Zoom, d.h. dem Kameraöffnungswinkel
abhängen. Wenn man davon ausgeht, dass die Erfassung durch die Slavekamera 302 mit
einer Genauigkeit von z.B. 1/10 des Kameraöffnungswinkels erfolgen soll, bedeutet
dies für einen großen Zoom von etwa 2 Grad Öffnungswinkel eine Genauigkeit der Einstellung
der Slavekamera 302 von 0,2 Grad. Diese Genauigkeit ist mit den oben angegebenen Methoden
in den meisten Fällen nicht zu erreichen.
[0024] In allen anderen Fällen, in denen keine der oben aufgezählten oder äquivalente Methoden
anwendbar sind oder falls eine hohe Genauigkeit gefordert wird, ist die Position des
Objekts durch dessen Markierung im Kamerabild der Masterkamera nicht festgelegt und
das Objekt muss gesucht werden. Für einen Benutzer ist es jedoch sehr kompliziert
eine Pan-Tilt-Zoom-Kamera auf ein Objekt einzustellen und diesem nachzuführen. Bis
ein Benutzer die Slavekamera 302 auf ein in der Masterkamera 301 detektiertes bewegliches
Objekt eingestellt hat, hat dieses sehr häufig bereits das Überwachungsfeld verlassen
und der Benutzer hat es aus den Augen verloren. Außerdem wird in dieser Zeit die Aufmerksamkeit
des Benutzers von der restlichen Überwachung abgezogen, so dass die auf anderen Monitoren
dargestellten Szenen nicht überwacht werden. Auch ist es für einen Benutzer sehr kompliziert
mit einer Pan-Tilt-Zoom-Kamera, welche auf einen großen Zoom eingestellt ist, ein
Ziel zu verfolgen. In diesem Fall ist nur noch wenig Umgebungsinformation zur Orientierung
vorhanden. Wird das Objekt kurzzeitig verloren, ist es daher meist nicht wieder auffindbar.
Die gleichzeitige und unabhängige Steuerung von Zoom, Pan und Tilt durch einen Benutzer
macht die Handhabbarkeit des Systems langsam und kompliziert. Bei der vollständigen
oder teilweisen Automatisierung der Detektion und Verfolgung von Objekten mit einem
Multi-Kamera-System drücken sich diese Probleme in einem erhöhten Suchaufwand aus,
der die Anwendung langsam oder sogar unzuverlässig macht.
[0025] Die Objektsuche in einer für den Benutzer oder einen automatischen Detektor effektiven
Weise zu unterstützen ist daher Gegenstand der folgenden und weiterer beschriebener
Ausgestaltungen.
[0026] Durch den in Figur 4 markierten Punkt 406 wird ein Sehstrahl 303 in Figur 3 definiert.
Für einen Benutzer bedeutet die Eingabe dieses Punktes z.B. einen Mausklick. Durch
apriori Wissen kann die Objektentfernung auf einen bestimmten Bereich eingeschränkt
werden. Oft ist dies durch die Größe des von der Masterkamera 301 in Figur 3 erfassten
Überwachungsbereichs gegeben, der als Beispiel zwischen den Begrenzungslinien 370
und 371 in Figur 3 liegt. Die Slavekamera 302 wird dann vom System automatisch so
eingestellt (Pan,Tilt und Zoom) wie in Figur 3 dargestellt. Das durch die Begrenzungslinien
322 in Figur 3 angedeutete Gesichtsfeld erfasst den Sehstrahl 303 des Bildpunktes
406 innerhalb des Überwachungsbereichs vollständig. Falls eine vollständige Erfassung
nicht möglich ist kann ein möglichst großer Teil erfasst und eine Warnung angezeigt
werden. Der Focus kann bei Bedarf automatisch so eingestellt werden, dass Objekte
entlang des Sehstrahls möglichst scharf erscheinen.
[0027] Figur 5 zeigt das Kamerabild der so eingestellten Slavekamera 302, wie es sich einem
Benutzer auf einem Monitor oder einem automatischen Detektor darstellt. Der Sehstrahl
303 aus Figur 3 wird in vorteilhafter Weise eingeblendet (Linie 504 in Figur 5), so
dass der Benutzer sich orientieren kann aber je nach Anwendung das Bild nicht verdeckt
wird. In vorteilhafter Weise wird der Sehstrahl 504 farbig, gestrichelt und/oder halbtransparent
etc. eingeblendet. Der Benutzer oder ein automatischer Detektor müssen nun das Bild
nur entlang des Sehstrahls 504 absuchen um den Bildpunkt 506 zu finden, der ein Abbild
des gesuchten Weltpunktes 305 aus Figur 3 im Kamerabild der Slavekamera ist. Für einen
Benutzer bedeutet dies z.B. einen zweiten Mausklick. Für einen automatischen Detektor
kann der Sehstrahl 504 dabei eine gedachte Linie sein. Durch die Detektion im Kamerabild
der Slavekamera wird die Lage des Objekts auf dem Sehstrahl 303 bestimmt und die Slavekamera
302 kann automatisch auf das Objekt gerichtet und auf großen Zoom eingestellt werden.
Die Einschränkung der Suche auf diese Linie ist für einen automatischen Detektor natürlich
vorteilhaft aber auch für einen Benutzer kann die Einblendung des Sehstrahls 504 und
die Einschränkung der Suche entlang des Sehstrahls 504 hilfreich sein. Dies ist etwa
dann der Fall, wenn das Objekt sehr kontrastarm und das Bild von schlechter Qualität
ist oder wenn es eine Vielzahl gleichartiger Objekte gibt, etwa eine Person in einer
Zuschauermenge.
Ein großer Vorteil ist jedoch in jedem Fall, dass der Benutzer oder Detektor mit zwei
Detektionen (für einen Benutzer z.B. zwei Mausklicks) und zwei dazugehörigen Bewegungen
der Slavekamera 302 das Objekt erfasst hat. Falls das Objekt im Kamerabild der Masterkamera
als Fläche erfasst wurde, würde sich der Suchbereich entsprechend durch die Summe
der Sehstrahlen ergeben.
[0028] Eine weitere Ausgestaltung, bei der die Vorteile der Nutzung des Sehstrahls besonders
deutlich sind, wird im folgenden beschrieben.
[0029] Figur 6 zeigt dieselbe Überwachungsszene wie Figur 3 mit einer Masterkamera 601 und
einer Slavekamera 602. Zusätzlich wird dem Benutzer auf dem Bildschirm oder in der
Eingabevorrichtung 143 in Figur 1 ein Schieberegler angeboten. Ziel ist es wieder
die Slavekamera 602 auf den Weltpunkt 605 auszurichten. Wie oben beschrieben wird
in einem ersten Schritt der dazugehörige Bildpunkt 406 im Kamerabild der Masterkamera
detektiert (Figur 4). Im Gegensatz zu der in den Figuren 3 und 5 dargestellten Ausgestaltung
ist die Slavekamera 602 bereits auf einen großen Zoom eingestellt, der durch die Begrenzungslinien
322, 323 und 324 des Gesichtsfeldes für drei verschiedene Ausrichtungen der Slavekamera
in der Zeichnung angedeutet wird. Dies hat z.B. den Vorteil, dass während der Suche
und bei der Erfassung des Objekts durch die Slavekamera 602 bereits eine hohe Auflösung
gegeben ist. Dies kann z.B. die Detektion erleichtern oder erst ermöglichen. Es wird
nach der Detektion des Objekts auch keine Zeit zur Einstellung des Zooms verloren,
in der das Objekt sich schon weiter bewegt haben könnte.
Wie schon dargelegt wurde ist bei großem Zoom und ohne Hilfe die Suche nach dem Objekt
sehr schwierig, da Orientierungsmöglichkeiten fehlen und die gleichzeitige Kontrolle
von Pan und Tilt, insbesondere bei großem Zoom und in einem großen Suchraum, schwierig
ist. Das System bietet dem Benutzer daher durch das Verschieben des Schiebereglers
die Möglichkeit die Slavekamera gezielt entlang des Sehstrahls 603 zu verfahren. Die
Suche wird so wesentlich vereinfacht und beschleunigt da nur dieser eine Freiheitsgrad
zu bedienen und abzusuchen ist. Außerdem wird auch die Suche auf dem Sehstrahl S automatisch
auf den durch das apriori Wissen festgelegten Bereich eingeschränkt. Der Schieberegler
kann z.B. mit Entfernungsangaben auf dem Sehstrahl 603 versehen werden. Der Schieberegler
kann hier auch durch andere Eingabemedien mit einem Freiheitsgrad oder Eingabemedien
deren Funktion auf einen Freiheitsgrad eingeschränkt ist ersetzt werden. So kann z.B.
die normale Pan-Tilt Steuerung einer Kamera über einen Joystick oder Tasten für die
Objekterfassung so umgestellt werden, dass eine der beiden Auslenkungen oder ein Tastenpaar
die Slavekamera auf dem Sehstrahl verfährt, während die andere Auslenkung oder das
andere Tastenpaar abgeschaltet ist, den Zoom der Slavekamera oder die Auslenkung der
Slavekamera senkrecht zum Sehstrahl steuert oder andere Aufgaben übernimmt.
[0030] Figur 7 zeigt Darstellungen von Kamerabildern, welche von der Slavekamera 602 in
Figur 6 mit den Ausrichtungen 622, 623 und 624 entlang des Sehstrahls 603 erfasst
werden. Das Kamerabild 722 zeigt das Objekt 612 aus Figur 6, das Kamerabild 723 zeigt
die Objekte 613, 614 und 616. Das durch den Punkt 406 ausgewählte Objekt (die Hausecke)
ist im Kamerabild 724 in Figur 7 aus der Perspektive der Slavekamera 602 und gezoomt
zu sehen (Punkt 706). Im Falle automatischer Detektoren kann die Slavekamera 602 nach
derselben Vorgehensweise gesteuert werden, der Schieberegler entfällt dann natürlich.
Wurde das Objekt im Kamerabild der Masterkamera (Figur 4) als Fläche erfasst, muss
in dieser Ausgestaltung einer der Sehstrahlen, etwa der mittlere, ausgewählt werden.
[0031] In einer weiteren Ausgestaltung ist es auch möglich dem Benutzer alle normalen Freiheitsgrade
der Kamerasteuerung zu belassen und ihm lediglich Hinweise zu geben, in welcher Richtung
die Slavekamera 602 gesteuert werden muss um den Sehstrahl zu erfassen bzw., falls
der Sehstrahl bereits durch die Slavekamera 602 erfasst wird, in welcher Richtung
die Slavekamera 602 verfahren werden muss, um dem Sehstrahl zu folgen. Die Hinweise
können z.B. über Einblendungen in das Monitorbild der Slavekamera 602 geschehen. Figur
8 zeigt ein Kamerabild 833 der Slavekamera 602. Die Slavekamera 602 ist hier noch
zu hoch ausgerichtet um den Sehstrahl 603 zu erfassen, s.d. nur die Baumwipfel der
Objekte 613 und 614 erfasst werden. Der Pfeil 809 zeigt die Richtung an, in der der
Sehstrahl auf dem kürzesten Weg erreicht wird. Die Information könnte auch auf einem
Bedienpult angezeigt werde, z.B. in welche Richtung ein Joystick zur Kamerasteuerung
zu bewegen ist oder welcher der Steuertasten zu bedienen ist. Wird die Slavekamera
entsprechend dieser Information verfahren erreicht man das Kamerabild 823. Die Slavekamera
hat den Sehstrahl erfasst, das Kamerabild 823 ist identisch mit dem Kamerabild 723
aus Figur 7. Die eingeblendeten Pfeile 804 geben die Richtung an, in die die Kamera
verfahren werden muss um den Sehstrahl abzufahren. Anstatt der Pfeile kann der Sehstrahl
auch als Linie oder in anderer geeigneter Weise eingeblendet werden.
[0032] Figur 9 zeigt eine weitere besonders vorteilhafte Ausgestaltung. Zur Verdeutlichung
sei die konkrete Aufgabe gegeben das Gesicht einer Person in hoher Auflösung zu erfassen.
Figur 9 zeigt hierzu ein Szenario mit einer Masterkamera 901, einer Slavekamera 902
und drei Personen 982, 983 und 984 die sich auf einem Sehstrahl 903 der Masterkamera
901 an verschiedenen Positionen befinden. Bei der in den Figuren 6 und 7 beschriebenen
Ausgestaltung wird der Zoom während des Verfahrens der Slavekamera 602 nicht angepasst,
angedeutet durch die Gesichtsfelder 922, 923 und 924. Die entsprechenden Kamerabilder
sind in Figur 10 zu sehen. Aufgrund der verschiedenen Entfernungen von der Slavekamera
902 wird die Person 982 im Kamerabild 1022 zu groß (Gesicht abgeschnitten), die Person
984 im Kamerabild 1024 zu klein erfasst. Die Person 983 befindet sich für den eingestellten
Zoom zufällig in etwa in passender Entfernung (Kamerabild 1023).
[0033] Durch die Kenntnis der externen Kalibrierung und des Sehstrahls 903 kann die Entfernung
der Slavekamera zum Sehstrahl 903 für jede Ausrichtung jedoch leicht berechnet und
der Zoom entsprechend angepasst werden. Dadurch ergeben sich die Kamerabilder 1122,
1123 und 1124 der Slavekamera 902 in Figur 11. Über den ganzen Bereich des Sehstrahls
903 ist jetzt eine passende Auflösung gegeben. Mit der Entfernungsinformation kann
auch der Fokus beim Verfahren der Kamera mitgeregelt werden, s.d. sich jederzeit ein
scharfes Bild ergibt. Dies hat gegenüber einem normalen Autofokus den Vorteil, dass
letzterer zum einen langsam ist, zum anderen bei bewegter Kamera und/oder bewegten
Objekten nicht zuverlässig funktionieren muss. Für diese Ausgestaltung besonders vorteilhaft
ist z.B. die Möglichkeit von Snapshots des gesuchten Objekts. In der Masterkamera
901 werde als Beispiel eine verdächtige Person in niedriger Auflösung detektiert.
Durch die beschriebene Ausgestaltung kann mit Hilfe der Slavekamera 902 sehr effizient
ein hochaufgelöster Snapshot des Gesichts der Person gemacht werden. Die Auslösung
des Snapshots kann durch einen Benutzer erfolgen, durch einen automatischen Detektor
(hier ein Gesichtsdetektor) oder halbautomatisch.
[0034] Im Falle eines großen Zoom, d.h. einer großen Entfernungssensibilität des Focus,
kann die autoamtische Scharfstellung des Focus auf den Sehstrahl auch die Detektion
des Objekts in der Slavekamera unterstützen. Oft ist die Anordung so, daß der Sehstrahl,
bevor er auf das ausgewählte Objekt trifft, weit entfernt von anderen Objekten (durch
die Luft) verläuft. Die Objekte, die in der Projektion in das Kamerabild der Slavekamera
entlang des Sehstrahls abgebildet werden haben dann die ,falsche' Entfernung von der
Slavekamera und werden nicht scharf abgebildet. Von der Masterkamera ausgehend das
erste scharf abgebildete Objekt ist in diesem Fall das gesuchte Objekt.
[0035] Allgemein kann auch in anderen Ausgestaltungen für jede Position auf dem Sehstrahl
303, 603 oder 903 die Entfernung von der Slavekamera 302, 602 oder 902 leicht durch
Triangulation berechnet werden. Ist das Objekt von der Slavekamera auf dem Sehstrahl
erfasst worden, kann genauso auch leicht durch Triangulation die Entfernung des Objekts
von der Masterkamera 301, 601 oder 901 bestimmt werden. Diese Information ist generell
zur automatischen Einstellung von Zoom und Fokus und für weitere Aufgaben nutzbar.
[0036] In allen Ausgestaltungen kann die Detektion bzw. Verfolgung eines bewegten Objekts
im Kamerabild der Masterkamera 301, 601 oder 901 auch kontinuierlich erfolgen. Der
Sehstrahl 303, 603 oder 903 und die Steuerung der Slavekamera 302, 602 oder 902 werden
dann automatisch kontinuierlich angepasst. In diesem Fall kann man die Suche sowohl
für einen Benutzer als auch für automatische oder halbautomatische Detektoren weiter
vereinfachen, da nicht mehr der ganze Sehstrahl abgesucht werden muss, sondern über
die vorhergehende Position und Geschwindigkeit des Objekts die Suche stark einschränkbar
ist.
[0037] Besonders vorteilhaft ist, wenn beim Verfahren der zweiten Kamera 02 entlang des
Sehstrahls 03 der Focus automatisch so eingestellt wird, dass Objekte auf dem Sehstrahl
scharf abgebildet werden.
Außerdem ist von Vorteil, wenn beim Verfahren der zweiten Kamera 02 entlang des Sehstrahls
03 das gesuchte Objekt dadurch automatisch detektiert wird, wobei es ausgehend von
der ersten Kamera 01 bei automatisch auf den Sehstrahl 03 scharf eingestelltem Zoom
das erste scharf abgebildete bzw. das am schärfsten abgebildete Objekt ist.
[0038] Im Weiteren ist von Vorteil, wenn der Ein-Freiheitsgrad-Regler als Schieberegler
oder Joystick oder in Form von Tasten realisiert wird, wobei eine Auslenkung des Joysticks
die jeweilige Kamera auf dem Sehstrahl verfährt und das im normalen Betrieb zur Steuerung
der zweiten Kamera 02 verwendete Eingabemedium für die Objekterfassungsaufgabe in
der Weise umgestellt werden kann, dass es die Funktion zur Objekterfassung erfüllt.
[0039] In einer weiteren vorteilhaften Ausgestaltung der Erfindung ist die Masterkamera,
wie in Figur 3 dargestellt, mit einer fokusierten Lichtquelle350 ausgestattet, z.B.
einem Laser. Die Lichtquelle ist in ihrer Orientierung einstellbar, das Spektrum muss
nicht im sichtbaren Bereich liegen. Die fokusierte Lichtquelle 350 wird möglichst
dicht an der Masterkamera 301 montiert und kann so für einen ausgewählten Punkt 406
(Figur 4) entlang des zugehörigen Sehstrahls 303 orientiert werden. Der Strahl trifft
dann auf das ausgewählte Objekt und beleuchtet dieses. Falls die Slavekamera 302 sensitiv
für die verwendete Strahlung ist kann dies zur Detektion des Objekts durch die Slavekamera
302 dienen. Dies gilt insbesondere, falls die Strahlung über ihr Spektrum, ihre Intensität,
über einen gepulsten Betrieb, über Kombinationen dieser oder andere Merkmale zu einem
eindeutig detektierbaren Signal im Kamerabild der Slavekamera führt. Dadurch kann
für einen Detektor die Erfassung des Objekts im Kamerabild der Slavekamera erleichtert
werden, insbesondere falls entlang des eingeblendeten Sehstrahls 504 mehrere gleichartige
Objekte sichtbar sind. Im Normalfall liegt nur eines dieser Objekte tatsächlich auf
dem Welt-Sehstrahl 303 und wird daher durch die Lichtquelle markiert. Andere Objekte
liegen nur in der Projektion des Kamerabilds auf dem Sehstrahl, wie etwa die Objekte
712-714 in Figur 7. Sie werden daher auch nicht von der Lichtquelle markiert. Dieses
Vorgehen ist generell, d.h. auch bei den in den Figuren 6 und 9 beschriebenen Ausgestaltungen,
anwendbar. Eine Besonderheit ergibt sich, falls die Lichtquelle mit einer Entfernungsmessung
ausgestattet ist (Laserscanner). In diesem Fall ist die Objektentfernung direkt bekannt
und die Slavekamera kann direkt auf das Objekt ausgerichtet werden. Besonders vorteilhaft
ist es, wenn die fokussierte Lichtquelle mit einer Entfernungsmessvorrichtung gekoppelt
ist, insbesondere in der Funktion eines Laserscanners, und die hierdurch gewonnene
Entfernungsinformation verwendet wird, um die zweite Kamera 02 direkt auf ein Objekt
auf dem Sehstrahl 03 in dieser Entfernung zu richten.
[0040] Eine weitere Ausgestaltung ist in Figur 12 dargestellt. Die Figur zeigt genauso wie
Figur 4 ein Kamerabild der Masterkamera 301 aus Figur 3. Der eingeblendete Sehstrahl
1208 ist der zum Kameravektor der Slavekamera gehörige Sehstrahl 307 aus Figur 3 (bzw.
die durch den Kameravektor definierte Gerade im allgemeinen Fall). Dies ermöglicht
es einem Benutzer sofort die aktuelle Neigung (Tilt) der Slavekamera zu erkennen.
Zur Handhabung von Multikamera-Systemen werden dem Benutzer oft Lagepläne des Areals
auf einem Monitor angeboten, in denen die Kameras dargestellt sind. Da es sich bei
den Lageplänen um Draufsichten handelt, ist es auch leicht durch eine entsprechende
Symbolik den aktuellen Schwenk (Pan) einer Pan-Tilt-Zoom-Kamera anzuzeigen. Dies erleichtert
dem Benutzer die Orientierung bei der Steuerung der Kamera. Schwieriger ist es auch
die Neigung (Tilt) der Kamera in einer Weise darzustellen, die dem Benutzer die Orientierung
in der Szene erleichtert. Durch die Einblendung des Kameravektors der Slavekamera
bzw. des dazugehörigen Sehstrahls in das Kamerabild der Masterkamera ist dies leicht
möglich. In Figur 12 ist z.B. deutlich zu sehen, dass die Slavekamera zu tief schaut,
da der Kameravektor-Sehstrahl unterhalb des gesuchten Objekts 1206 verläuft. Bei bekannter
Geländeform kann sogar der Auftreffpunkt des Sehstrahls 307, d.h. die von der Slavekamera
302 erfasste Position, im Kamerabild der Masterkamera markiert werden.
Bezugszeichenliste
[0041] Die erste oder die ersten beiden Ziffern der Bezugszeichen bezeichnen die Figuren-Nummer.
Die letzten beiden Ziffern bedeuten in allen Figuren:
- 01
- erste Kamera (Masterkamera)
- 02
- zweite Kamera (Slavekamera)
- 03
- ein Sehstrahl der Masterkamera in der Welt
- 04
- ein Sehstrahl der Masterkamera, abgebildet in einem Kamerabild
- 05
- Weltpunkt
- 06
- Bildpunkt
- 07
- Kameravektor (bzw. dessen Sehstrahl) der Slavekamera in der Welt
- 08
- Kameravektor (bzw. dessen Sehstrahl) der Slavekamera abgebildet in einem Kamerabild
- 09
- Pfeileinblendung im Kamerabild
- 11-16
- Objekte in der Welt bzw. deren Abbildung in einem Kamerabild
- 22-24,33
- Gesichtsfelder der Slavekamera oder dazugehörige Kamerabilder
- 43 40-42
- SteuereinheitenEingabevorrichtung
- 43
- Eingabeeinheiten
- 44,45
- Monitor
- 50
- gerichtete Lichtquelle
- 60
- optisches Zentrum der Kamera
- 61
- Kameravektor
- 62
- Bildebene der Kamera
- 70,71
- Begrenzungslinien des Überwachungsbereichs
- 82-84
- Personen vor der Kamera
1. Verfahren zur Erfassung eines Objekts in einer Szene, insbesondere zu deren Überwachung,
mit mindestens einer ersten Kamera (01) und mindestens einer zweiten orientierbaren
Kamera (02), wobei im Kamerabild der ersten Kamera (01) ein Bildpunkt (06) und damit
ein zugehöriger Weltpunkt (05) in der durch die erste Kamera (01) beobachteten Szene
ausgewählt wird,
dadurch gekennzeichnet, dass
ein Sehstrahl (03) durch den ausgewählten Bildpunkt (06) bestimmt wird und die zweite
Kamera (02) auf den Weltpunkt (05) ausgerichtet wird, indem eine Orientierung der
zweiten Kamera (02) am Sehstrahl (03) erfolgt.
2. Verfahren nach Anspruch 1,
dadurch gekennzeichnet, dass
der Sehstrahl (03) in das Kamerabild der zweiten Kamera (02) in geeigneter Weise eingeblendet
wird, z.B. als durchgängige Linie, oder gestrichelte Linie und/oder halbtransparent
oder farbig dargestellt wird.
3. Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet, dass
der Sehstrahl (03) von der Steuereinheit (41) der zweiten Kamera (02) auf Basis der
von der Steuereinheit (40) der ersten Kamera (01) gelieferten Daten umgerechnet wird
und die zweite Kamera (02) auf Basis dieser Daten von der Steuereinheit (41) der zweiten
Kamera (02) auf den Weltpunkt (05) ausgerichtet wird oder der Sehstrahl (03) von der
zentralen Steuereinheit (42) errechnet und eingeblendet wird.
4. Verfahren nach einem der Ansprüche 1 bis 3,
dadurch gekennzeichnet, dass
der Sehstrahl (S) als die Gerade definiert wird, welche durch den ausgewählten Bildpunkt
(06) und das optische Zentrum (60) der ersten Kamera (01) definiert wird.
5. Verfahren nach einem der Ansprüche 1 bis 4,
dadurch gekennzeichnet, dass
die erste Kamera (01) als Masterkamera und die zweite Kamera (02) als Slavekamera
verwaltet wird, wobei die erste Kamera (01) eine stationäre Kamera ist oder eine Pan-Kamera
und/oder Tilt-Kamera und/oder Zoom-Kamera ist und/oder die erste Kamera (01) mit einem
Fischaugenobjektiv, einem Weitwinkelobjektiv, einem Zoomobjektiv, oder Spiegeln ausgestattet
ist oder als katadioptrische Kamera ausgebildet wird und/oder die zweite Kamera (02)
eine Pan-Kamera und/oder Tilt-Kamera und/oder Zoom-Kamera ist und/oder die zweite
Kamera (02) mit einer Bewegungseinheit ausgestattet wird, welche es ermöglicht die
Orientierung des Gesichtsfelds der zweiten Kamera (02) einzustellen, so dass von der
zweite Kamera (02) ein Bereich der zu überwachenden Szene überstrichen werden kann.
6. Verfahren nach einem der Ansprüche 1 bis 5,
dadurch gekennzeichnet, dass
über die Einstelldaten der ersten Kamera (01) und dem Bildpunkt (06) und die Einstelldaten
der zweiten Kamera (02) die Entfernung des Weltpunktes (05) von der ersten Kamera
(01) und/oder der zweiten Kamera (02) errechnet wird.
7. Verfahren nach einem der Ansprüche 1 bis 6,
dadurch gekennzeichnet, dass
der Bildpunkt (06) über einen Detektor ausgewählt wird, der ein Benutzer, ein automatischer
Detektor oder ein halbautomatischer Detektor sein kann und bei einem automatischen
Detektor die Darstellung auf einem Monitor entfallen kann und/oder der Objektdetektor
als Motion-Detektion-Einheit, Farbmerkmale-Erkennungseinheit, Personen-, KFZ-, oder
Gesichtserkennungseinheit realisiert wird und/oder der Objektdetektor in der Steuereinheit
(40) der ersten Kamera (01), in der zentralen Steuereinheit (42) oder verteilt in
beiden Steuereinheiten realisiert wird.
8. Verfahren nach einem der Ansprüche 1 bis 7,
dadurch gekennzeichnet, dass
der Zoom und die Orientierung und bei Bedarf auch der Focus der zweiten Kamera (02)
derartig ausgewählt wird, dass nach der Markierung des Bildpunktes (06) im Kamerabild
der ersten Kamera (01) der dazugehörige Sehstrahl (03) im Kamerabild der zweiten Kamera
(02) in etwa mittig und möglichst scharf erfasst wird und der vorgegebene Überwachungsbereich
entlang des Sehstrahls über seine ganzen Länge erfasst wird und/oder ein Warnsignal
generiert wird, wenn der zum ausgewählten Bildpunkt (06) gehörige Sehstrahl (03) von
der zweiten Kamera (02) nicht über den ganzen vorgegebenen Überwachungsbereich erfasst
werden kann.
9. Verfahren nach einem der Ansprüche 1 bis 8,
dadurch gekennzeichnet, dass
in das Kamerabild der von der ersten Kamera (01) erfassten Szene der zum Kameravektor
der zweiten Kamera (02) gehörende Sehstrahl (07) eingeblendet wird, um die Orientierung
der zweiten Kamera (02) anzuzeigen und/oder die Steuerung der zweiten Kamera (02)
zu unterstützen und/oder der Auftreffpunkt des zum Kameravektors der zweiten Kamera
(02) gehörenden Sehstrahls (07) im Kamerabild der ersten Kamera (01) markiert wird,
falls die Geländeform der überwachten Szene bekannt ist.
10. Verfahren nach einem der Ansprüche 1 bis 9,
dadurch gekennzeichnet, dass
in das Kamerbild der zweiten Kamera (02) ein Richtungshinweis, insbesondere in Form
eines Pfeils, eingeblendet wird in welcher Richtung die zweite Kamera (02) verfahren
werden muss, damit der Sehstrahl (03) erfasst wird.
11. Verfahren nach einem der Ansprüche 1 bis 10,
dadurch gekennzeichnet, dass
falls sich der Sehstrahl (03) bereits im Kamerabild der zweiten Kamera (02) befindet,
der Sehstrahl (03) in dieses Kamerabild eingeblendet wird, insbesondere in Form zweier
Pfeile entgegengesetzter Richtung oder einer Linie, und so angezeigt wird, in welcher
Richtung die zweite Kamera (02) entlang des Sehstrahls (03) zu bewegen ist.
12. Verfahren nach einem der Ansprüche 1 bis 11,
dadurch gekennzeichnet, dass
ein Ein-Freiheitsgrad-Regler angeboten wird der die Orientierung der zweiten Kamera
(02) entlang des Sehstrahls (03) steuert.
13. Verfahren einem der Ansprüche 1 bis 12,
dadurch gekennzeichnet, dass
eine Objektgröße vorgegeben wird und der Zoom der zweiten Kamera (02) beim Verfahren
entlang des Sehstrahls (03) automatisch so eingestellt wird, dass Objekte dieser Größe
auf dem Sehstrahl in passender Größe im Kamerabild der zweiten Kamera (02) erfasst
werden und/oder beim Verfahren der zweiten Kamera (02) entlang des Sehstrahls (03)
der Focus automatisch so eingestellt wird, dass Objekte auf dem Sehstrahl scharf abgebildet
werden.
14. Verfahren nach einem der Ansprüche 1 bis 13,
dadurch gekennzeichnet, dass
beim Verfahren der zweiten Kamera (02) entlang des Sehstrahls (03) das gesuchte Objekt
dadurch automatisch detektiert wird, wobei es ausgehend von der ersten Kamera (01)
bei automatisch auf den Sehstrahl (03) scharf eingestelltem Zoom das erste scharf
abgebildete bzw. das am schärfsten abgebildete Objekt ist und/oder der Ein-Freiheitsgrad-Regler
als Schieberegler oder Joystick oder in Form von Tasten realisiert wird, wobei eine
Auslenkung des Joysticks die jeweilige Kamera auf dem Sehstrahl verfährt.
15. Verfahren nach einem der Ansprüche 1 bis 14,
dadurch gekennzeichnet, dass
das im normalen Betrieb zur Steuerung der zweiten Kamera (02) verwendete Eingabemedium
für die Objekterfassungsaufgabe in der Weise umgestellt werden kann, dass es die Funktion
zur Objekterfassung erfüllt und/oder ein Objekt in der zweiten Kamera (02) dadurch
detektiert wird, dass an der ersten Kamera (01) eine fokussierte Lichtquelle mit einstellbarer
Orientierung angebracht wird, die entlang des zum Bildpunkt (06) gehörenden Sehstrahls
(03) ausgerichtet wird und durch die das Objekt beleuchtet und somit markiert wird
und/oder eine eindeutige Detektion durch die Wellenlänge des Lichts der Lichtquelle
und/oder einem gepulsten Betrieb der Lichtquelle erleichtert wird und/oder die fokussierte
Lichtquelle mit einer Entfernungsmessvorrichtung gekoppelt ist, insbesondere in der
Funktion eines Laserscanners, die hierdurch gewonnene Entfernungsinformation verwendet
wird, um die zweite Kamera (02) direkt auf ein Objekt auf dem Sehstrahl (03) in dieser
Entfernung zu richten.
16. Vorrichtung zur Erfassung eines Objekts in einer Szene bestehend aus mindestens einer
ersten Kamera (01) und mindestens einer zweiten orientierbaren Kamera (02), wobei
der ersten Kamera (01) eine erste Steuereinheit (40) und der zweiten orientierbaren
Kamera (02) eine zweite Steuereinheit (41) zugeordnet ist und über eine zentrale Steuereinheit
(42) mit zugehörigen Eingabeeinheiten (43) im Kamerabild der ersten Kamera (01) ein
Bildpunkt (06) und damit ein zugehöriger Weltpunkt (05) in der durch die erste Kamera
(01) erfassten Szene auswählbar ist,
dadurch gekennzeichnet, dass
die zentrale Steuereinheit (42) einen Sehstrahl (03) beginnen von der ersten Kamera
(01) zum Weltpunkt (05) berechnet und anhand dieses Sehstrahls (03) die zweite Steuereinheit
(41) die zweite Kamera (02) ausgerichtet und auf den Weltpunkt (05) ausrichtet, indem
sich zweite Steuereinheit (41) die zweite Kamera (02) am Sehstrahl (03) orientiert.
17. Vorrichtung nach Anspruch 16,
dadurch gekennzeichnet, dass
die zweite Steuereinheit (41) der zweiten Kamera (02) den Sehstrahl (03) in die von
der zweiten Kamera (02) erfassten Szene einblendet und den Sehstrahl (03) als durchgängige
Linie, oder gestrichelte Linie und/oder semi-transparent oder farbig dargestellt,
und der Sehstrahl (03) von der zweiten Steuereinheit (41) der zweiten Kamera (02)
auf Basis der von einer ersten Steuereinheit (40) der ersten Kamera (01) gelieferten
Daten errechnet.
18. Vorrichtung nach Anspruch 16 oder 17,
dadurch gekennzeichnet, dass
die erste Kamera (01) eine stationäre Kamera und/oder orientierbare Kamera und/oder
die erste Kamera (01) eine Masterkamera und die zweite Kamera (02) eine der Masterkamer
zugehörige Slavekamera ist und/oder die erste Kamera (01) eine Pan-Kamera und/oder
eine Tilt-Kamera und/oder eine Zoom-Kamera ist und/oder die erste Kamera (01) mit
einem Fischaugenobjektiv, einem Weitwinkelobjektiv, einem Zoomobjektiv, oder Spiegeln
ausgestattet oder als katadioptrische Kamera ausgebildet ist und/oder die zweite Kamera
(02) eine Pan-Kamera und/oder Tilt-Kamera und/oder Zoom-Kamera ist und/oder die zweite
Kamera (02) eine Bewegungseinheit aufweist, welche es ermöglicht die Orientierung
des Gesichtsfelds der zweiten Kamera (02) einzustellen, so dass die zweite Kamera
(02) einen Bereich der zu überwachenden Szene überstreichen kann und/oder die zentrale
Steuereinheit (42) anhand der Einstelldaten der ersten Kamera (01) und der zweiten
Kamera (02) die Entfernung des Weltpunktes (05) von der ersten Kamera (01) und/oder
der zweiten Kamera (02) errechnet.
19. Vorrichtung nach einem der Ansprüche 16 bis 18,
dadurch gekennzeichnet, dass
die zentrale Steuereinheit (42) die von der ersten Kamera (01) aufgenommene Szene
auf einer der ersten Kamera (01) zugeordneten Anzeigevorrichtung (44) dargestellt,
der Weltpunkt (05) von eine Detektor gewählt wird und/oder die zentrale Steuereinheit
(42) den Sehstrahl (03) auf einer der zweiten Kamera (02) zugeordneten Anzeigevorrichtung
(45) in die von der zweiten Kamera (02) erfassten Szene einblendet und/oder die Auswahl
des Bildpunktes (06) automatisch über einen Objektdetektor erfolgt und/oder der Objektdetektor
eine Motion-Detektion-Einheit, eine Farbmerkmale-Erkennungseinheit oder eine Gesichtserkennungseinheit
ist und/oder der Objektdetektor in der ersten Steuereinheit (40) der ersten Kamera
(01) realisiert ist.