<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE ep-patent-document PUBLIC "-//EPO//EP PATENT DOCUMENT 1.0//EN" "ep-patent-document-v1-0.dtd">
<ep-patent-document id="EP01116027A2" file="01116027.xml" lang="de" country="EP" doc-number="1170715" kind="A2" date-publ="20020109" status="n" dtd-version="ep-patent-document-v1-0">
<SDOBI lang="de"><B000><eptags><B001EP>ATBECHDEDKESFRGBGRITLILUNLSEMCPTIESILTLVFIROMKCYALTR............................</B001EP><B005EP>J</B005EP><B007EP>DIM360 (Ver 1.5  21 Nov 2005) -  1100000/0</B007EP></eptags></B000><B100><B110>1170715</B110><B120><B121>EUROPÄISCHE PATENTANMELDUNG</B121></B120><B130>A2</B130><B140><date>20020109</date></B140><B190>EP</B190></B100><B200><B210>01116027.2</B210><B220><date>20010702</date></B220><B250>de</B250><B251EP>de</B251EP><B260>de</B260></B200><B300><B310>10032433</B310><B320><date>20000704</date></B320><B330><ctry>DE</ctry></B330></B300><B400><B405><date>20020109</date><bnum>200202</bnum></B405><B430><date>20020109</date><bnum>200202</bnum></B430></B400><B500><B510><B516>7</B516><B511> 7G 08G   5/06   A</B511></B510><B540><B541>de</B541><B542>Verfahren zur Bodenraumüberwachung</B542><B541>en</B541><B542>Method for surface surveillance</B542><B541>fr</B541><B542>Procédé de surveillance au sol</B542></B540></B500><B700><B710><B711><snm>H.A.N.D. GmbH</snm><iid>03375570</iid><irf>#HAND 100-01-EP</irf><adr><str>Siemensstrasse 11</str><city>65205 Wiesbaden</city><ctry>DE</ctry></adr></B711></B710><B720><B721><snm>Heidger, Ralf</snm><adr><str>Klopstockstrasse 25</str><city>65187 Wiesbaden</city><ctry>DE</ctry></adr></B721></B720><B740><B741><snm>Lieke, Winfried, Dr.</snm><sfx>et al</sfx><iid>00060591</iid><adr><str>Weber, Dieter, Dr., Seiffert, Klaus, Dipl.-Phys., Lieke, Winfried, Dr., Weber, Roland, Dr. Postfach 61 45</str><city>65051 Wiesbaden</city><ctry>DE</ctry></adr></B741></B740></B700><B800><B840><ctry>AT</ctry><ctry>BE</ctry><ctry>CH</ctry><ctry>CY</ctry><ctry>DE</ctry><ctry>DK</ctry><ctry>ES</ctry><ctry>FI</ctry><ctry>FR</ctry><ctry>GB</ctry><ctry>GR</ctry><ctry>IE</ctry><ctry>IT</ctry><ctry>LI</ctry><ctry>LU</ctry><ctry>MC</ctry><ctry>NL</ctry><ctry>PT</ctry><ctry>SE</ctry><ctry>TR</ctry></B840><B844EP><B845EP><ctry>AL</ctry></B845EP><B845EP><ctry>LT</ctry></B845EP><B845EP><ctry>LV</ctry></B845EP><B845EP><ctry>MK</ctry></B845EP><B845EP><ctry>RO</ctry></B845EP><B845EP><ctry>SI</ctry></B845EP></B844EP></B800></SDOBI><!-- EPO <DP n="8000"> -->
<abstract id="abst" lang="de">
<p id="pa01" num="0001">Die vorliegende Erfindung betrifft ein Verfahren zur Raumüberwachung insbesondere des Bodenraums auf Flughäfen. Um ein Verfahren zur Verfügung zu stellen, das eine preisgünstige und effektive Raumüberwachung, insbesondere des Luft- und Bodenraums von Flughäfen, erlaubt, werden erfindungsgemäß die folgenden Schritte vorgeschlagen: Überwachung mindestens eines Verkehrsortes mit mindestens einem Videosensor, Einlesen der Bilddaten mindestens einer Momentaufnahme des zumindest einen Videosensors in eine Speichereinheit, Erkennen von Ereignissen, Berechnen von Zustandsvektoren der Ereignisse aus den Bilddaten, Zuordnen der Zustandsvektoren jeweils zu einem Objekt und Ausgabe von Objektdaten.</p>
</abstract><!-- EPO <DP n="1"> -->
<description id="desc" lang="de">
<p id="p0001" num="0001">Die vorliegende Erfindung betrifft ein Verfahren zur Raumüberwachung insbesondere des Bodenraums auf Flughäfen. Die Luft- und Bodenraumüberwachung wird im Rahmen der Flugsicherung durchgeführt und dient dazu, den Luftverkehr reibungslos, schnell und sicher zu gestalten.</p>
<p id="p0002" num="0002">Zu den Aufgaben der Flugsicherung gehört neben der schnellen und flüssigen Abwicklung des Luftverkehrs die Vermeidung von Zusammenstößen zwischen Fahrzeugen in der Luft <u>und</u> auf den Start- und Landebahnen, dem Rollfeld und den Parkbereichen der kontrollierten Flughäfen.</p>
<p id="p0003" num="0003">Die Kapazität des Flugverkehrs wird im wesentlichen durch zwei Engpässe beschränkt. So ist zum einen aufgrund eingeschränkter Luftwege und -korridore der nutzbare Luftraum stark eingeengt. Zum anderen ist häufig der Verkehrsdurchsatz am Boden stark begrenzt, da es an preisgünstigen und intelligenten Bodenraumüberwachungssystemen fehlt und da neben Flugzeugen auch eine Vielzahl von Servicefahrzeugen am Bodenverkehr teilnimmt.</p>
<p id="p0004" num="0004">Die bekannten Bodenraumüberwachungssysteme sind sehr teuer, da sie eine Vielzahl von Sensoren, wie z.B. Flughafenradar, sekundäres Radar und GPS benötigen.<!-- EPO <DP n="2"> --></p>
<p id="p0005" num="0005">Demzufolge ist nur ein kleiner Teil der nationalen und internationalen Flughäfen mit einem Bodenraumüberwachungssystem ausgerüstet. Doch selbst wenn ein bekanntes Bodenraumüberwachungssystem vorhanden ist, so ist die Überwachung dennoch häufig unvollständig, da im allgemeinen nicht alle Bereiche des Flugfeldes beobachtet werden können.</p>
<p id="p0006" num="0006">Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Verfügung zu stellen, das eine preisgünstige und effektive Raumüberwachung, insbesondere des Luft- und Bodenraums von Flughäfen, erlaubt.</p>
<p id="p0007" num="0007">Diese Aufgabe wird erfindungsgemäß durch ein Verfahren gelöst, das die Schritte aufweist:
<ul id="ul0001" list-style="dash" compact="compact">
<li>Überwachung mindestens eines Verkehrsortes mit mindestens einem Videosensor,</li>
<li>Einlesen der Bilddaten mindestens einer Momentaufnahme des zumindest einen Videosensors in eine Speichereinheit,</li>
<li>Erkennen von Ereignissen,</li>
<li>Berechnung von Zustandsvektoren der Ereignisse aus den Bilddaten und</li>
<li>Zuordnen der Zustandsvektoren jeweils zu einem Objekt.</li>
</ul></p>
<p id="p0008" num="0008">Unter einem Raumgebiet bzw. Verkehrsort kann man z.B. jeden beliebigen Ort auf dem Flugfeld verstehen. Dies kann beispielsweise die Start- oder Landebahn oder aber eine beliebige Zufahrtsstraße auf dem Vorfeld oder auch eine Gateausfahrt sein. Auch wenn das erfindungsgemäße Verfahren bereits mit Vorteil eingesetzt werden kann, wenn lediglich ein Verkehrsort mit mindestens einem Videosensor überwacht wird, so werden doch vorzugsweise eine ganze Reihe von Verkehrsorten bzw. Verkehrsknotenpunkten jeweils mit mindestens einem Videosensor überwacht.</p>
<p id="p0009" num="0009">Der Videosensor kann im Prinzip jeder beliebige auf Licht reagierende Sensor sein. Besonders bevorzugt kommen jedoch digitale Videokameras zum Einsätz, da sie Bilddaten liefern, die besonders leicht weiterverarbeitet werden können. Diese Bilddaten können beispielsweise im Bitmapformat vorliegen, bei dem jedes Pixel einzeln in die Datei eingetragen ist. Mit Vorteil können aber auch andere weniger speicherintensive Datenformate verwendet werden. Der Videosensor liefert eine Momentaufnahme seines Sichtfeldes in Form einer Bilddatendatei, die in geeigneter Weise in einer Speichereinheit eingelesen wird. Diese Bilddaten werden ausgewertet, um ein oder mehrere Ereignisse zu erkennen, sofern solche vorliegen. Unter einem Ereignis werden alle Unregelmäßigkeiten im Sichtfeld des Videosensors verstanden, insbesondere Bewegungen von Objekten im Gesichtsfeld der Kamera oder aber auch ein Vordergrundobjekt vor einem bestimmten und gespeicherten festen Untergrund. Befindet sich z.B. auf dem Rollfeld ein Flugzeug, das beispielsweise gerade über einen sogenannten Stopbar rollt, so ist dies ein Ereignis. Werden beispielsweise Bilddaten zweier zeitlich beabstandeter Momentaufnahmen desselben Verkehrsortes verglichen, so stellt eine Gruppe<!-- EPO <DP n="3"> --> von Pixeln, deren Farbe einen hohen Kontrast zu den umgebenden Pixelgruppen aufweist und die auf den beiden Momentaufnahmen eine andere Position einnimmt, ein Ereignis dar. Im nächsten Schritt wird für jedes bekannte Ereignis aus den Bilddaten ein Zustandsvektor errechnet. Dieser Zustandsvektor kann im Prinzip beliebig definiert sein, z.B. als Differenz zweier vektoriell dargestellter Sätze von Bildpixeln bzw. -daten. Eine Möglichkeit besteht auch darin, daß er die Position des beobachteten Ereignisses darstellt.</p>
<p id="p0010" num="0010">Erkennen eines Ereignisses setzt insoweit auch die Definition dessen, was ein Ereignis ist, voraus, wobei die vorstehenden Erläuterungen ein Beispiel für eine solche Definition liefem.</p>
<p id="p0011" num="0011">Schließlich wird jedem Zustandsvektor jeweils ein Objekt zugeordnet. Unter einem Objekt wird jeder reale Gegenstand verstanden, der sich auf dem Flughafenfeld befindet bzw. bewegt.</p>
<p id="p0012" num="0012">Selbstverständlich ist es möglich, das Erkennen von Ereignissen auf Ereignisse zu beschränken, die eine Mindestgröße haben. Dadurch kann verhindert werden, daß beispielsweise einem zufällig durch das Sichtfeld des Videosensors fliegenden Vogel ein Objekt zugeordnet wird.</p>
<p id="p0013" num="0013">Durch das beschriebene Verfahren kann einer oder können mehrere Verkehrsorte effizient überwacht werden. Die Objektdaten können entweder direkt an das Flugsicherungspersonal oder an eine geeignete Verarbeitungseinrichtung weitergegeben werden. Das Flugsicherungspersonal ist dadurch jederzeit darüber informiert, ob sich ein Flugzeug an einem der beobachteten Verkehrsorte befindet bzw. wo sich die Flugzeuge befinden.</p>
<p id="p0014" num="0014">Besonders bevorzugt ist ein Verfahren, bei dem Bilddaten mindestens zweier zeitlich beabstandeter Momentaufnahmen mindestens eines Videosensors eingelesen werden. Dadurch, daß zwei zeitlich versetzte Momentaufnahmen desselben Videosensors und damit desselben Verkehrsortes eingelesen werden, ist es möglich, aufgrund der Veränderung der Position der Pixelgruppe, die das Ereignis darstellt, eine Geschwindigkeitskomponente des Objekts zu berechnen. Bei geeigneter Aufstellung des Videosensors und entsprechender Streckenführung des Flugzeuges entspricht die Geschwindigkeitskomponente der absoluten Geschwindigkeit. Bei nicht geradliniger Streckenführung kann es von Vorteil sein, wenn mindestens ein Verkehrsort mit mehreren, vorzugsweise mindestens drei, Videosensoren überwacht wird. In diesem Fall kann für jeden Videosensor die relative Geschwindigkeitskomponente des Objekts getrennt berechnet werden. Bei Kenntnis der Standorte der Videosensoren kann daraus die absolute Geschwindigkeit sowie die Bewegungsrichtung des Objekts ermittelt werden. Eine besonders bevorzugte Ausführungsform des vorliegenden Verfahrens sieht daher vor, daß der Zustandsvektor auch die Geschwindigkeit und/oder die Bewegungsrichtung des Objektes repräsentiert.<!-- EPO <DP n="4"> --></p>
<p id="p0015" num="0015">Dadurch ist es beispielsweise auch möglich, die Bewegung bzw. die Position des Objektes vorauszuberechnen. Vorausgesetzt, daß sich die Geschwindigkeit des Objekts nicht wesentlich ändert, kann die Position des Objekts für die Zukunft berechnet werden, ohne daß weitere Bilddaten von Videosensoren notwendig sind. Dies ermöglicht es, daß nicht der komplette Rollfeldbereich überwacht werden muß. Es ist vielmehr möglich, zwischen zwei überwachten Verkehrsorten aus den Zustandsvektoren die voraussichtliche Position des Objektes zu berechnen. Dadurch stehen dem Flugsicherungspersonal bzw. der weiterverarbeitenden Einheit zu jedem Zeitpunkt die berechneten aktuellen Positionen der Luftfahrzeuge auf dem Boden des Flugfeldes zur Verfügung, ohne daß alle Bereiche des Flugfeldes von Videosensoren überwacht werden.</p>
<p id="p0016" num="0016">Eine weitere besonders bevorzugte Variante des erfindungsgemäßen Verfahrens sieht vor, daß der Zustandsvektor die Beschleunigung eines Objekts darstellt. Zur Berechnung der Beschleunigung sind mindestens drei Momentaufnahmen eines Videosensors notwendig. Aus diesen drei Momentaufnahmen kann die Beschleunigung des Objekts berechnet werden. Die Genauigkeit der Positionsvorhersage des Verfahrens wird dadurch erheblich verbessert. Dies ist insbesondere in Bereichen, in denen sich die Geschwindigkeit der Luftfahrzeuge stark ändert; z.B. aufgrund eines Abbremsvorgangs, von großem Vorteil. Kann nämlich aus dem Zustandsvektor auch die Beschleunigung des Objekts entnommen werden, so kann diese bei der zeitlichen Extrapolation der Position des Objekts berücksichtigt werden.</p>
<p id="p0017" num="0017">Für manche Anwendungsfälle kann es von Vorteil sein, wenn dem Zustandsvektor Werte zugeordnet werden, die ein Maß für die statistischen Wahrscheinlichkeiten der Objektparameter sind. Diese Wert können auch in den Zustandsvektor integriert werden. Durch diese Maßnahme kann die Fehlerrate in der Ereigniserkennung deutlich minimiert werden. So ist es beispielsweise möglich, daß die Bilddaten des Videosensors aufgrund äußerer Einwirkungen, z.B. starker Niederschlag oder Vogelflug, nicht das zu beobachtende Objekt zeigen. Dann kann es passieren, daß entweder ein Objekt erkannt wird, was sich in Wahrheit gar nicht am Verkehrsort befindet oder daß ein am Verkehrsort befindliches Flugzeug nicht erkannt wird. Daher wird einem Zustandsvektor eines Objektes, das auf vielen hintereinander aufgenommenen Momentaufnahmen und von verschiedenen Videosensoren erkannt wurde, eine hohe statistische Wahrscheinlichkeit zugeordnet, während einem Zustandsvektor eines Objekts, welches lediglich in einer Momentaufnahme erkannt wurde, eine sehr geringe statistische Wahrscheinlichkeit zugeordnet wird. Die statistische Wahrscheinlichkeit ist daher ein Maß für die Qualität bzw. die Güte (d.h. die Genauigkeit und Zuverlässigkeit) des erkannten Ereignisses. Es ist dann beispielsweise möglich, einen Grenzwert zu definieren und alle Zustandsvektoren, deren Wert für die statistische Wahrscheinlichkeit diesen Grenzwert unterschreitet, nicht zu beachten.<!-- EPO <DP n="5"> --></p>
<p id="p0018" num="0018">Eine besonders bevorzugte Ausführungsform des erfindungsgemäßen Verfahrens sieht vor, daß die Zuordnung des Zustandsvektors zu einem Objekt unter Zugriff auf Verkehrslagedaten erfolgt, die nicht durch die Videosensoren gewonnen wurden. Diese Verkehrslagedaten können auf vielfältige Art und Weise erhalten werden. So ist es beispielsweise möglich, daß das Flugsicherungspersonal an einem geeigneten Terminal die einzelnen Zustandsvektoren den eintreffenden Flugzeugen zuordnet. In diesem Fall enthält der Zustandsvektor auch eine Objektidentifikationsnummer bzw. einen Objektnamen. Es ist dadurch möglich, mit Hilfe des Verfahrens nicht nur zu überwachen, wo sich ein Flugzeug befindet, sondern sogar zu überwachen, wo sich welches Flugzeug befindet.</p>
<p id="p0019" num="0019">Eine weitere Möglichkeit sieht vor, daß die Verkehrslagedaten aus dem aktuellen Flugplan und/oder dem Belegungsplan der Parkpositionen entnommen werden. So könnte beispielsweise das bestehende Flugsicherungssystem mit einem System, das das erfindungsgemäße Verfahren verwirklicht, gekoppelt werden, so daß das Bodenraumüberwachungssystem, immer wenn ein Flugzeug auf der Landebahn landet, auf die Flugplandaten des bestehenden Flugsicherungssystems zugreift und das Flugzeug identifiziert. Diese Identifizierung wird dann während der weiteren Bodenraumüberwachung beibehalten. Ganz analog kann ein Objekt, das sich von einer Parkposition wegbewegt mit Hilfe des Belegungsplan der Parkpositionen identifiziert werden.</p>
<p id="p0020" num="0020">Anstelle von oder in Kombination mit den Flugplandaten können auch Radardaten verwendet werden. Alternativ dazu sind selbstverständlich auch alle anderen Positionssensoren verwendbar, die zusätzliche Verkehrslagedaten liefern. Hier kommen beispielsweise Mode-S-Radarsensoren, Near Range Radar Networks oder auch GPS-Empfänger und -Server in Frage.</p>
<p id="p0021" num="0021">Eine besonders zweckmäßige Ausführungsform sieht vor, daß die Bilddaten digital gefiltert werden, wobei vorzugsweise die diskrete Kalman-Filterung verwendet wird. Alternativ oder in Kombination dazu kann auch zumindest ein Teil der Verkehrslagedaten digital gefiltert werden, wobei auch hier vorzugsweise die diskrete Kalman-Filterung verwendet wird. Durch die Kalman-Filterung wird eine Schätzung und Glättung der Meßwerte in Echtzeit erreicht. Alternativ dazu können auch andere geeignete Schätzverfahren, wie z.B. die MLS-Filterung (<u>m</u>inimum <u>l</u>east <u>s</u>quare), verwendet werden. Dadurch kann die Qualität des erfindungsgemäßen Verfahrens deutlich erhöht werden. Wie bereits erwähnt, ist es besonders bevorzugt, wenn die Zustandsvektoren zeitabhängig weiterberechnet werden. So kann durch dieses Verfahren auch bei kurzfristigem Ausfall der Videosensoren die Position der einzelnen Objekte mit großer Wahrscheinlichkeit vorhergesagt werden.</p>
<p id="p0022" num="0022">Dabei werden vorzugsweise die Zustandsvektoren desselben Objekts, die von unterschiedlichen Sensoren ermittelt wurden, zusammengefaßt. Gleiches gilt für die von den Sensoren erhaltenen Zustandsvektoren und die Zustandsvektoren aus den anderen Verkehrslagedaten. Dadurch wird die Bodenraumüberwachung übersichtlicher, da weniger Zustandsvektoren verfolgt werden müssen.<!-- EPO <DP n="6"> --></p>
<p id="p0023" num="0023">Nicht immer ist es möglich, die Zustandsvektoren zusammenzufassen. Insbesondere dann, wenn unterschiedliche Systeme zur Erfassung von Verkehrslagedaten verwendet werden, kann eine Zusammenfassung schwierig oder sogar unmöglich werden. In diesem Fall ist es vorteilhaft, wenn die Zustandsvektoren desselben Objekts miteinander korreliert werden. Liefert beispielsweise das Radarsystem mit großen Zeitintervallen zuverlässige Positionsdaten eines bestimmten Objektes, so kann der Zustandsvektor dieses Objekts mit den Radardaten korreliert werden. Mit anderen Worten wird immer dann, wenn die zuverlässigen Radardaten vorliegen, der aus den Videosensoren ermittelte und gegebenenfalls zeitlich extrapolierte Zustandsvektor dieses Objekts angepaßt. Diese Korrelation erlaubt eine Korrektur der Zustandsvektoren auch dann, wenn das Objekt sich nicht an einem von Videosensoren überwachten Verkehrsort aufhält.</p>
<p id="p0024" num="0024">Besonders bevorzugt ist ein Verfahren, bei dem sich an die Zuordnung der Zustandsvektoren zu Objekten der Schritt anschließt:</p>
<p id="p0025" num="0025">Erzeugung einer Verkehrslagedarstellung.</p>
<p id="p0026" num="0026">Diese Verkehrslagedarstellung kann in jedem beliebigen Koordinatensystem erfolgen. Die Zustandsvektoren der erkannten Objekte werden in Positionen in der Verkehrslagedarstellung umgerechnet und an diesen Positionen in die Verkehrslagedarstellung eingetragen. Selbstverständlich ist es möglich, die Verkehrslagedarstellung zu visualisieren, so daß das Flugsicherungspersonal auf einen Blick erkennen kann, an welchen Positionen sich die einzelnen Flugzeuge befinden und ob an irgendeiner Stelle eine Kollision droht.</p>
<p id="p0027" num="0027">Eine solche visuelle Darstellung ist jedoch nicht unbedingt notwendig. So ist es in einer besonders bevorzugten Variante des Verfahrens vorgesehen, daß die Zustandsvektoren im Hinblick auf mögliche Kollisionen ausgewertet werden. Hier werden die Zustandsvektoren nicht nur zur Erzeugung einer Verkehrslagedarstellung in Echtzeit weitergerechnet, sondern es erfolgt eine Extrapolation der Zustandsvektoren in die Zukunft, um mögliche Kollisionen vorhersehen zu können. Besonders bevorzugt sieht das Verfahren daher vor, daß in Abhängigkeit von der Kollisionsauswertung ein Alarmsignal aktiviert wird. Dieses Alarmsignal kann beispielsweise ein optisches oder akustisches Signal für das Flugsicherungspersonal sein.</p>
<p id="p0028" num="0028">Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten des vorliegenden Verfahrens werden deutlich anhand der folgenden Beschreibung eines bevorzugten Verfahrens sowie der dazugehörigen Figur. Es zeigt:
<dl id="dl0001" compact="compact">
<dt>Figur 1</dt><dd>einen schematischen Aufbau eines Bodenraumüberwachungssystems.</dd>
</dl><!-- EPO <DP n="7"> --></p>
<p id="p0029" num="0029">Die einzige Figur zeigt den prinzipiellen Aufbau eines Bodenraumüberwachungssystems. Die einzelnen Komponenten des Systems sind miteinander über ein Kommunikationsnetzwerk 9 (z.B. TCP/IP-LAN Netzwerk) miteinander verbunden. Oberhalb der Linie 9 sind in Figur 1 die einzelnen Clients 10, 11 und 12 dargestellt, während unterhalb der Linie 9 die drei Server 2, 3 und 5 abgebildet sind. Der Server 2 ist für die Zusammenführung der Videosensorarten zuständig. Die einzelnen Videosensoren 7, die die Objekte 8 erkennen, werden über die Ansteuer- und Ausleseeinheit 1 mit dem Server 2 verbunden. Der Server 2 sammelt die Sensordaten, filtert diese mit zeitvarianter diskreter Kalman-Filterung und bildet die Zustandsvektoren der Objekte 8. Die Zustandsvektoren werden an den Radarserver 3 zur weiteren Verarbeitung weitergegeben. Der Radarserver 3 filtert einen oder mehrere Luftraumüberwachungsradare mit einem zeitinvarianten diskreten Kalman-Filter, um Flugrouten zu erzeugen. Dieser Server führt eine Korrelation zwischen den videobasierten Flugbahnen und den Radarflugbahnen zusammen mit einer Korrelation mit den Flugplandaten 5. Die korrelierte Information wird zu den Clients 10, 11 und 12 geliefert. Der Flugplanserver 5 liefert die Flugplandaten zu dem Radarserver 3 für die Korrelation des Radars mit dem Flugplan und für die zeitbasierte Identifizierung der startenden Flugzeuge. Der Flugplanserver 5 erhält Flugplanänderungen von seinen Clients 6.</p>
<p id="p0030" num="0030">Durch das erfindungsgemäße Verfahren werden Videosensordaten mit anderen Verkehrslagedaten kombiniert, um eine Verkehrslagedarstellung zu erzeugen, die eine sichere und zuverlässige Überwachung des Luft- und Bodenraums gewährleistet. Ein System, das das erfindungsgemäße Verfahren verwirklicht, besteht aus Sensorhardware 1, 7, 8, Rechnerhardware 2, 3, 5, Netzwerkinfrastruktur 9 sowie Sensorsoftware, Kommunikationssoftware, Verarbeitungssoftware und Lagedarstellungssoftware.</p>
<p id="p0031" num="0031">Die Videosensordaten werden mit Hilfe der Videosensoren 7 erfaßt. Dabei werden zunächst mit Hilfe der digitalen Kameras 7 Pixeldaten aufgenommen. Diese umfassen sogenannte Bildframes einer oder mehrerer Videosensoren in hoher Frequenz (typischerweise größer als 27 Hz). Dabei sind Bildframes mindestens zweidimensionale Vektoren von Pixeln (Grau- bzw. Farbwerte), welche die Aufnahme der digitalen Kamera mit einer nicht unendlichen Auflösung widerspiegeln. Aus diesen Pixeldaten werden die Zustandsdaten bzw. Zustandsvektoren berechnet. Diese können die folgenden Informationen enthalten: Objektidentifikationsnummer, Objektklassifikation, Position, Geschwindigkeit, Bewegungsrichtung, Beschleunigung und statistische Wahrscheinlichkeit/Qualität (Genauigkeit, Zuverlässigkeit).</p>
<p id="p0032" num="0032">Die anderen Verkehrslagedaten können beispielsweise Radardaten sein, die der Radarserver 3 zur Verfügung stellt. Dabei handelt es sich um digitalisierte Daten von beispielsweise Langstreckenradaren und Flughafenradaren. Diese Radare sind durch die Box mit der Bezugszahl 4 symbolisiert worden. Die Flugplandaten, die von dem Flugplandatenserver 5 zur Verfügung gestellt werden, können<!-- EPO <DP n="8"> --> beispielsweise von existierenden Flugplansystemen übernommen werden, die an ein System, das das erfindungsgemäße Verfahren verwirklicht, angeschlossen werden können.</p>
<p id="p0033" num="0033">Die Kombination der Videosensordaten mit den anderen Verkehrslagedaten erfolgt durch Bilddatenverarbeitung, digitale Filterung, statistische Interferenz, Sensordatenfusion, Track-Korrelation und Zeitfensterkorrelation. Dabei umfaßt die Bilddatenverarbeitung die Übertragung der Pixeldaten einer angewählten digitalen Kamera zum anwählenden Lagedarstellungssystem sowie die Erkennung und Klassifikation von Objekten in den Pixeldaten. Die digitale Filterung der Meßwerte erfolgt mittels der diskreten Kalman-Filterung. Mit ihrer Hilfe werden alle extrahierten Zustandsvektoren aus der Ereigniserkennung der Videosensordaten gefiltert. Auf die gleiche Art und Weise können auch die Radardaten oder die Daten anderer Sensoren gefiltert werden. Unter statistischer Inferenz wird verstanden, daß bei der Berechnung von zukünftigen Zustandsvektoren bzw. der Extrapolation von Zustandsvektoren berücksichtigt wird, daß die Ausgangsdaten mit einer entsprechenden Ungenauigkeit und Unzuverlässigkeit behaftet sind, so daß sich die statistische Wahrscheinlichkeit des neuen Zustandsvektors aus der Fortpflanzung der Ungenauigkeit und Unzuverlässigkeit der ursprünglichen Zustandsvektoren berechnet.</p>
<p id="p0034" num="0034">Unter Sensordatenfusion wird die korrekte Zusammenführung von Objektinformationen für Objekte, die von mehreren Sensoren erfaßt wurden, verstanden. Werden beispielsweise von zwei unterschiedlichen Videosensoren sich ergänzende Bewegungsinformationen ein- und desselben Objektes erhalten, so werden diese in einen gemeinsamen Zustandsvektor eingetragen. Bei der Sensordatenfusion muß jedoch darauf geachtet werden, daß sich unterscheidende Objekte, die sich möglicherweise sehr nahe kommen, jederzeit korrekt unterschieden werden.</p>
<p id="p0035" num="0035">Unter der Track-Korrelation wird verstanden, daß die auf Basis unterschiedlicher Sensoren berechneten Flug- bzw. Bewegungsrouten für die gleichen Objekte überprüft werden. Mit anderen Worten werden die Flugrouten, die aus den Videosensoren ermittelt wurden, mit den Flugrouten, die aus den Radardaten ermittelt wurden, korreliert, sofern jene zur Verfügung stehen.</p>
<p id="p0036" num="0036">Unter der Zeitfensterkorrelation wird verstanden, daß die Routen, die auf Basis der Sensordaten ermittelt wurden, mit dem Bewegungsfahrplan der Objekte gemäß der vorliegenden Flugplandaten innerhalb eines bestimmten Zeittoleranzfensters abgeglichen werden.</p>
<p id="p0037" num="0037">Die so ermittelten Zustandsvektoren werden in eine Lagedarstellung eingetragen. Dies erfolgt in sequentiellen Zyklen. Die einzelnen Positionsdaten werden von dem Server 2 an den Radarserver 3 weitergegeben. Die Server 2 und/oder 3 übernehmen außerdem die Konfliktermittlung. Das heißt für jeweils zwei Zustandsvektoren wird geprüft, ob Kollisionsgefahr vorliegt. Des weiteren wird überprüft, ob gesperrte Verkehrsschutzbereiche durch andere eindringende Objekte verletzt werden.<!-- EPO <DP n="9"> --></p>
<p id="p0038" num="0038">Liegt ein Kollisions- oder Verletzungsrisiko vor, so wird ein entsprechender Alarm ausgelöst.</p>
<p id="p0039" num="0039">Mit Hilfe des vorliegenden Verfahrens ist es möglich, preisgünstig und äußerst effektiv eine Luftraum- und insbesondere eine Bodenraumüberwachung vorzunehmen. Durch dieses Verfahren wird es möglich, eine Überwachung effektiv auch in Bereiche auszudehnen, die von keinem Sensor erfaßt werden. Das Verfahren kann sehr einfach mit bereits bestehenden Luft- und Bodenraumüberwachungssystemen kombiniert werden. Dabei profitieren beide Verfahren voneinander.</p>
</description><!-- EPO <DP n="10"> -->
<claims id="claims01" lang="de">
<claim id="c-de-0001" num="0001">
<claim-text>Verfahren zur Raumüberwachung, das die Schritte aufweist:
<claim-text>Überwachung mindestens eines Verkehrsortes mit mindestens einem Videosensor,</claim-text>
<claim-text>Einlesen der Bilddaten mindestens einer Momentaufnahme des zumindest einen Videosensors in eine Speichereinheit,</claim-text>
<claim-text>Erkennen von Ereignissen,</claim-text>
<claim-text>Berechnen von Zustandsvektoren der Ereignisse aus den Bilddaten,</claim-text>
<claim-text>Zuordnen der Zustandsvektoren jeweils zu einem Objekt und</claim-text>
<claim-text>Ausgabe von Objektdaten.</claim-text></claim-text></claim>
<claim id="c-de-0002" num="0002">
<claim-text>Verfahren nach Anspruch 1, <b>dadurch gekennzeichnet, daß</b> das überwachte Raumgebiet mindestens einen Teil eines Flugfeldes bzw. Flughafengeländes bildet.</claim-text></claim>
<claim id="c-de-0003" num="0003">
<claim-text>Verfahren nach Anspruch 1 oder 2, <b>dadurch gekennzeichnet, daß</b> der Zustandsvektor die Position eines Objektes darstellt.</claim-text></claim>
<claim id="c-de-0004" num="0004">
<claim-text>Verfahren nach einem der Ansprüche 1 bis 3, <b>dadurch gekennzeichnet, daß</b> Bilddaten mindestens zweier zeitlich beabstandeter Momentaufnahmen des mindestens einen Videosensors eingelesen werden.</claim-text></claim>
<claim id="c-de-0005" num="0005">
<claim-text>Verfahren nach einem der Ansprüche 1 bis 4, <b>dadurch gekennzeichnet, daß</b> der mindestens eine Verkehrsort mit mehreren, vorzugsweise mit mindestens drei, Videosensoren überwacht wird.</claim-text></claim>
<claim id="c-de-0006" num="0006">
<claim-text>Verfahren nach einem der Ansprüche 1 bis 5, <b>dadurch gekennzeichnet, daß</b> der Zustandsvektor die Geschwindigkeit und/oder die Bewegungsrichtung eines Objekts darstellt.</claim-text></claim>
<claim id="c-de-0007" num="0007">
<claim-text>Verfahren nach einem der Ansprüche 1 bis 6, <b>dadurch gekennzeichnet, daß</b> der Zustandsvektor die Beschleunigung eines Objekts darstellt.</claim-text></claim>
<claim id="c-de-0008" num="0008">
<claim-text>Verfahren nach einem der Ansprüche 1 bis 7, <b>dadurch gekennzeichnet, daß</b> dem Zustandsvektor ein Wert zugeordnet wird, der ein Maß für die statistische Wahrscheinlichkeit des Objektes bzw. der Genauigkeit und Zuverlässigkeit der Objektparameter ist.<!-- EPO <DP n="11"> --></claim-text></claim>
<claim id="c-de-0009" num="0009">
<claim-text>Verfahren nach einem der Ansprüche 1 bis 8, <b>dadurch gekennzeichnet, daß</b> die Zuordnung der Zustandsvektoren zu einem Objekt unter Zugriff auf Verkehrslagedaten erfolgt, die nicht durch die Videosensoren gewonnen wurden.</claim-text></claim>
<claim id="c-de-0010" num="0010">
<claim-text>Verfahren nach Anspruch 9, <b>dadurch gekennzeichnet, daß</b> die Zuordnung der Zustandsvektoren zu einem Objekt unter Zugriff auf Radardaten erfolgt.</claim-text></claim>
<claim id="c-de-0011" num="0011">
<claim-text>Verfahren nach Anspruch 9 oder 10, <b>dadurch gekennzeichnet, daß</b> die Zuordnung der Zustandsvektoren zu einem Objekt unter Zugriff auf Flugplandaten erfolgt.</claim-text></claim>
<claim id="c-de-0012" num="0012">
<claim-text>Verfahren nach einem der Ansprüche 9 bis 11, <b>dadurch gekennzeichnet, daß</b> die Zuordnung der Zustandsvektoren zu einem Objekt unter Zugriff auf Positionssensoren erfolgt.</claim-text></claim>
<claim id="c-de-0013" num="0013">
<claim-text>Verfahren nach einem der Ansprüche 1 bis 12, <b>dadurch gekennzeichnet, daß</b> die Bilddaten digital gefiltert werden, wobei vorzugsweise die diskrete Kalman-Filterung oder MLS-Filterung verwendet wird.</claim-text></claim>
<claim id="c-de-0014" num="0014">
<claim-text>Verfahren nach einem der Ansprüche 9 bis 13, <b>dadurch gekennzeichnet, daß</b> zumindest ein Teil der Verkehrslagedaten digital gefiltert wird, wobei vorzugsweise die diskrete Kalman-Filterung oder MLS-Filterung verwendet wird.</claim-text></claim>
<claim id="c-de-0015" num="0015">
<claim-text>Verfahren nach einem der Ansprüche 1 bis 14, <b>dadurch gekennzeichnet, daß</b> die Zustandsvektoren zeitabhängig in Echtzeit weiterberechnet werden.</claim-text></claim>
<claim id="c-de-0016" num="0016">
<claim-text>Verfahren nach einem der Ansprüche 1 bis 15, <b>dadurch gekennzeichnet, daß</b> die Zustandsvektoren desselben Objekts, die von unterschiedlichen Sensoren oder Verkehrslagedaten ermittelt wurden, zusammengefaßt werden.</claim-text></claim>
<claim id="c-de-0017" num="0017">
<claim-text>Verfahren nach einem der Ansprüche 1 bis 16, <b>dadurch gekennzeichnet, daß</b> die Zustandsvektoren desselben Objekts, die aus unterschiedlichen Verkehrslagedaten ermittelt wurden, korreliert werden.</claim-text></claim>
<claim id="c-de-0018" num="0018">
<claim-text>Verfahren nach einem der Ansprüche 1 bis 17, <b>dadurch gekennzeichnet, daß</b> sich der Zuordnung der Zustandsvektoren zu Objekten der Schritt anschließt:<br/>
   Erzeugung einer Verkehrslagedarstellung.<!-- EPO <DP n="12"> --></claim-text></claim>
<claim id="c-de-0019" num="0019">
<claim-text>Verfahren nach Anspruch 18, <b>dadurch gekennzeichnet, daß</b> die Zustandsvektoren in Positionen in der Verkehrslagedarstellung umgerechnet werden und an diesen Positionen in die Verkehrslagedarstellung eingetragen werden.</claim-text></claim>
<claim id="c-de-0020" num="0020">
<claim-text>Verfahren nach Anspruch 18 oder 19, <b>dadurch gekennzeichnet, daß</b> die Zustandsvektoren im Hinblick auf mögliche Kollisionen ausgewertet werden.</claim-text></claim>
<claim id="c-de-0021" num="0021">
<claim-text>Verfahren nach Anspruch 20, <b>dadurch gekennzeichnet, daß</b> ein Alarmsignal in Abhängigkeit von dem Ergebnis der Kollisionsauswertung aktiviert wird.</claim-text></claim>
<claim id="c-de-0022" num="0022">
<claim-text>Verfahren nach einem Ansprüche 18 bis 21, <b>dadurch gekennzeichnet, daß</b> die Verkehrslagedarstellung in vorzugsweise festen äquidistanten Zeitabständen aktualisiert wird.</claim-text></claim>
</claims>
</ep-patent-document>
