<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE ep-patent-document PUBLIC "-//EPO//EP PATENT DOCUMENT 1.4//EN" "ep-patent-document-v1-4.dtd">
<ep-patent-document id="EP07024748B1" file="EP07024748NWB1.xml" lang="de" country="EP" doc-number="1936583" kind="B1" date-publ="20120118" status="n" dtd-version="ep-patent-document-v1-4">
<SDOBI lang="de"><B000><eptags><B001EP>ATBECHDEDKESFRGBGRITLILUNLSEMCPTIESILTLVFIRO..CY..TRBGCZEEHUPLSK....IS..MT..........................</B001EP><B005EP>J</B005EP><B007EP>DIM360 Ver 2.15 (14 Jul 2008) -  2100000/0</B007EP></eptags></B000><B100><B110>1936583</B110><B120><B121>EUROPÄISCHE PATENTSCHRIFT</B121></B120><B130>B1</B130><B140><date>20120118</date></B140><B190>EP</B190></B100><B200><B210>07024748.1</B210><B220><date>20071220</date></B220><B240><B241><date>20080930</date></B241><B242><date>20100126</date></B242></B240><B250>de</B250><B251EP>de</B251EP><B260>de</B260></B200><B300><B310>102006060904</B310><B320><date>20061220</date></B320><B330><ctry>DE</ctry></B330></B300><B400><B405><date>20120118</date><bnum>201203</bnum></B405><B430><date>20080625</date><bnum>200826</bnum></B430><B450><date>20120118</date><bnum>201203</bnum></B450><B452EP><date>20110720</date></B452EP></B400><B500><B510EP><classification-ipcr sequence="1"><text>G08G   5/00        20060101AFI20080421BHEP        </text></classification-ipcr><classification-ipcr sequence="2"><text>G08G   5/06        20060101ALI20080421BHEP        </text></classification-ipcr></B510EP><B540><B541>de</B541><B542>Flughafenverkehrsinformations-Anzeigesystem</B542><B541>en</B541><B542>Airport traffic information display system</B542><B541>fr</B541><B542>Système d'affichage d'informations sur le traffic aéroportuaire</B542></B540><B560><B561><text>EP-A- 1 170 715</text></B561><B561><text>EP-A- 1 791 364</text></B561><B561><text>US-A- 5 659 475</text></B561><B561><text>US-A1- 2005 231 419</text></B561><B561><text>US-B1- 6 628 321</text></B561></B560></B500><B700><B720><B721><snm>Fürstenau, Norbert, Dr.</snm><adr><str>Berliner-Heerstasse 15a</str><city>38104 Braunschweig</city><ctry>DE</ctry></adr></B721><B721><snm>Schmidt, Markus</snm><adr><str>Sensburger Ring 7</str><city>31141 Hildesheim</city><ctry>DE</ctry></adr></B721><B721><snm>Rudolph, Michael</snm><adr><str>Maschstrasse 22</str><city>38114 Braunschweig</city><ctry>DE</ctry></adr></B721><B721><snm>Werther, Bernd, Dr.</snm><adr><str>Lessingplatz 9</str><city>38100 Braunschweig</city><ctry>DE</ctry></adr></B721></B720><B730><B731><snm>Deutsches Zentrum für Luft- und Raumfahrt e.V.</snm><iid>100109735</iid><irf>2476-58 EP-1</irf><adr><str>Linder Höhe</str><city>51147 Köln</city><ctry>DE</ctry></adr></B731></B730><B740><B741><snm>Jepsen, Ralph</snm><sfx>et al</sfx><iid>100999670</iid><adr><str>GRAMM, LINS &amp; PARTNER GbR 
Freundallee 13a</str><city>30173 Hannover</city><ctry>DE</ctry></adr></B741></B740></B700><B800><B840><ctry>AT</ctry><ctry>BE</ctry><ctry>BG</ctry><ctry>CH</ctry><ctry>CY</ctry><ctry>CZ</ctry><ctry>DE</ctry><ctry>DK</ctry><ctry>EE</ctry><ctry>ES</ctry><ctry>FI</ctry><ctry>FR</ctry><ctry>GB</ctry><ctry>GR</ctry><ctry>HU</ctry><ctry>IE</ctry><ctry>IS</ctry><ctry>IT</ctry><ctry>LI</ctry><ctry>LT</ctry><ctry>LU</ctry><ctry>LV</ctry><ctry>MC</ctry><ctry>MT</ctry><ctry>NL</ctry><ctry>PL</ctry><ctry>PT</ctry><ctry>RO</ctry><ctry>SE</ctry><ctry>SI</ctry><ctry>SK</ctry><ctry>TR</ctry></B840><B880><date>20080625</date><bnum>200826</bnum></B880></B800></SDOBI><!-- EPO <DP n="1"> -->
<description id="desc" lang="de">
<p id="p0001" num="0001">Die Erfindung betrifft ein Flughafenverkehrsinformations-Anzeigesystem mit mindestens einer auf einen zu beobachtenden Flughafenbereich ausrichtbaren Kamera, einer mit der mindestens einen Kamera verbundenen Bildverarbeitungseinheit und mindestens einer mit der Bildverarbeitungseinheit in Verbindung stehenden Anzeigeeinheit.</p>
<p id="p0002" num="0002">Es besteht ein Bedarf, den Flugverkehr im Flughafenbereich ohne eine direkte Außensicht mit Mitteln für eine reine sensorbasierten Leitzentrale zu kontrollieren. Dies hat den Vorteil, dass in großräumigen Flughafenanlagen Tower zur Überwachung von Außenbereichen, die von dem Haupttower nicht einsehbar sind, nicht mehr personell besetzt werden müssen. Die Kontrolle des gesamten Flughafens kann vielmehr im Haupttower durchgeführt werden. Der Aufwand für die Erstellung von Turmbauwerken (Tower) zur Überwachung der Außenbereiche wird zudem erheblich reduziert.</p>
<p id="p0003" num="0003">Weiterhin besteht ein Bedarf, den Aufwand zur Kontrolle wenig frequentierter Flughäfen zu reduzieren, indem die Kontrollfunktionen auf die Lotsen eines (anderen) stärker frequentierten Flughafens verlagert werden. Hierzu ist eine sensorbasierte Überwachung des Flughafenbereichs mit einer Übertragung der Bilddaten zu einer Anzeigeeinheit für die Lotsen, die die Kontrolle durchführen, erforderlich.</p>
<p id="p0004" num="0004">Die Arbeitsbedingungen fordern vom Lotsen neben der Kommunikation per Funk und Telefon einen häufigen Wechsel der Aufmerksamkeit zwischen Außensicht, die hin und wieder durch den Griff zum Fernglas verstärkt wird, und verschiedenen Monitoren und Radar-Displays. Bei schlechter Sicht reduziert sich die Möglichkeit der visuellen Verkehrsüberwachung durch Blick aus den Fenstern der Leitzentralen naturgemäß deutlich und der Verkehr muss aus Sicherheitsgründen entsprechend reduziert werden.</p>
<p id="p0005" num="0005">In <nplcit id="ncit0001" npl-type="s"><text>N. Fürstenau, M. Rudolph, M. Schmidt, B. Werther: Virtual Tower, in: Wettbewerb der Visionen 2001 bis 2004, Deutsches Zentrum für Luft- und Raumfahrt e.V., 2004,<!-- EPO <DP n="2"> --> Seiten 16 bis 21</text></nplcit>, ist das Projekt der Entwicklung eines virtuellen Kontroll-Towers mit Vorschlägen zu Mensch-Maschine-Interaktion beschrieben.</p>
<p id="p0006" num="0006"><nplcit id="ncit0002" npl-type="s"><text>N. Fürstenau: Perspectives of Virtual Reality for Integration, in: 12th Scientific Seminar, DLR, Inst. of Flight Guidance, October 2002</text></nplcit>, offenbart den Einsatz von Technologien der virtuellen Realität zur Kontrolle und Steuerung des Flugverkehrs an Flughäfen.</p>
<p id="p0007" num="0007">Aus <nplcit id="ncit0003" npl-type="s"><text>C.D. Wickens: Multiple Resources and Performance Prediction in: Theor. Issues in Ergon. Sci., 2002, Vol. 3, No. 2, Seiten 159 bis 177</text></nplcit> ist ein vierdimensionales Multi-Resourcen Modell beschrieben, bei dem zwischen einer visuellen Verarbeitung im fokalen Aufmerksamkeitsbereich und im Umgebungsbereich eines Menschen unterschieden wird, den qualitativ unterschiedliche verarbeitende Gehirnstrukturen und Informationsverarbeitungsmechanismen zugeordnet sind. Die fokale Sicht beispielsweise eines Lotsen ist nahezu immer auf den fovealen Retinabereich beschränkt und ist für Mustererkennungsaufgaben erforderlich. Die Hintergrund-/Umgebungssicht ist stark an die periphere Sicht gekoppelt und für die Orientierungswahrnehmung und die Bewegungswahrnehmung (Eigenbewegung) der beobachtenden Person zuständig.</p>
<p id="p0008" num="0008"><patcit id="pcit0001" dnum="DE102005055879"><text>DE 10 2005 055 879</text></patcit> offenbart ein Verfahren zur Rekonstruktion einer realen Tower-Außensicht mittels einer hochauflösenden Panoramaprojektion auf Monitoren oder mittels einer Weitwinkelprojektion zur Darstellung der Bilder von mindestens vier hochauflösenden digitalen Videokameras für ein 180° Panorama. Die digitalisierten Signale werden bei einem aus vier Segmenten bestehenden Panorama von je einem Computer pro Segment zur Verfügung gestellt, indem die komprimierten Bilddaten dekomprimiert werden. Pro Segment ist eine Kamera und eine Projektion bzw. ein Bildschirm pro Panoramasegment vorgesehen. Es besteht die Möglichkeit einer gleichzeitigen Echtzeit-Bildverarbeitung zur Objekterkennung, Bewegungsdetektion und/oder Verkehrsparameterbestimmung (Position, Geschwindigkeit, etc.).<!-- EPO <DP n="3"> --></p>
<p id="p0009" num="0009">Des Weiteren ist aus der <patcit id="pcit0002" dnum="US20050231419A1"><text>US 2005/0231419 A1</text></patcit> ein Air traffic control system bekannt, das aus einer Reihe von Displays besteht, die dem Controller eine Art Panoramasicht auf den zu überwachenden Bereich ermöglichen. Mit Hilfe von entsprechenden Steuerungsmitteln lassen sich dabei Informationen zu den entsprechenden zu überwachenden Objekten anzeigen. Mit Hilfe einer visuell steuerbaren Zoomfunktion kann ein auf dem Display dargestelltes Objekt fixiert werden, zu dem dann Informationen abrufbar sind und zu dem dann eine Funkverbindung aufgebaut werden kann.</p>
<p id="p0010" num="0010">Darüber hinaus ist aus der <patcit id="pcit0003" dnum="US6628321B1"><text>US 6,628,321 B1</text></patcit> ein Anzeigesystem bekannt, bei dem auf einer großen Panoramaanzeigeeinheit aufgenommene Videodaten aus unterschiedlichen Blickwinkeln dargestellt werden können.</p>
<p id="p0011" num="0011">Weitwinkelprojektionen, die sich zur hochauflösenden Darstellung eines Videopanoramas eignen, sind aus dem Virtual Reality-Bereich bekannt. Dies sind gekachelte Projektionssysteme mit einem hochauflösenden Digitalprojektor pro<!-- EPO <DP n="4"> --> Kachel bzw. Zwei-Digitalprojektoren bei Stereoprojektionen. Den Simulatoren für die (virtuelle) Flughafen-Tower-Aussensicht werden bislang mehr als vier hochauflösende Teilbilder durch pixelgenaue Überlagerung an den vertikalen Kanten (stitching) in einer Zylinder- oder Hohlkugel-Segment-Projektion zu einer virtuellen Panoramasicht (200 bis 300°) der Flughafenoberfläche zusammengefügt. Für einen Einzelarbeitsplatz in der Tower-Umgebung sind sie aufgrund der Größe nicht geeignet.</p>
<p id="p0012" num="0012">Als Einzelarbeitsplatz mit einer Weitwinkelprojektion (z. B. 180°) kann auch eine sphärische Projektion genutzt werden. Allerdings entspricht die bislang maximal erhältliche Auflösung 1600 x 1200 Pixel nicht den Anforderungen für ein 180° Panorama, das die direkte Aussensicht des Operateurs aus dem Tower ersetzen kann.</p>
<p id="p0013" num="0013">Aufgabe der vorliegenden Erfindung ist es daher, ein verbessertes Flughafenverkehrsinformations-Anzeigesystem zu schaffen, das mit reduziertem technischen Aufwand eine hochaufgelöste Betrachtung der relevanten Flughafenbereiche ermöglicht und dem Operateur gleichzeitig die notwendigen Übersichtsinformationen bietet.</p>
<p id="p0014" num="0014">Die Aufgabe wird durch ein Flughafeninformations-System mit den Merkmalen nach Anspruch 1 und ein Verfahren zur Darstellung eines zu beobachtenden Flughafenbereichs auf einer Anzeigeeinheit nach Anspruch 11 gelöst. Weitere vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen.<!-- EPO <DP n="5"> --></p>
<p id="p0015" num="0015">Es wird die Tatsache ausgenutzt, dass sich im Bereich der bewussten Aufmerksamkeit und visuellen Verarbeitung bei Betrachtung mit dem Auge ohne Verstärkung durch ein Fernglas nur der in den fovealen Bereich (&lt; 5°) der Retina abgebildete Gegenstandsbereich befindet. Dementsprechend deckt ein Segment, das typischerweise durch einen einzelnen Monitor dargestellt wird (z. B. 45°) bereits ein deutlich größeres Panoramasegment ab. Für eine Panoramaprojektion in einem Einzelarbeitsplatz ist es jedoch nicht erforderlich, den peripheren Bereich eines z. B.<!-- EPO <DP n="6"> --> 180°-Panoramas gleichzeitig vollständig darzustellen, da in einer realen Aussensicht in diesen außerfovealen Sektoren ohnehin nur markante Bewegungen wahrgenommen werden. Die Darstellung dieser außerfovealen Sektoren wird erfindungsgemäß somit auf wesentliche Bewegungsinformationen reduziert, während das foveale Panoranasegment hochaufgelöst und detailgetreu angezeigt wird.</p>
<p id="p0016" num="0016">Vorzugsweise ist weiterhin eine fernsteuerbare Pan-Tilt-Zoom-Kamera vorgesehen, die zur Auswahl eines Zoom-Ausschnitts des Panoramasegmentes eingerichtet ist, um den Zoom-Ausschnitt auf eine der Anzeigeeinheiten darzustellen.</p>
<p id="p0017" num="0017">Mit dieser fernsteuerbaren Pan-Tilt-Zoom-Kamera ist es somit möglich, die Benutzung eines Fernglases durch den Operateur zu simulieren und eine vergrößerte Ansicht eines Ausschnittsbereichs darzustellen. Zur Orientierungserleichterung bleibt, wie in der Realität auch, die detailgetreue Darstellung der fovealen Panoramasicht erhalten.</p>
<p id="p0018" num="0018">Eine Pan-Tilt-Zoom-Kamera ist eine durch Schwenken und Neigen ferngesteuert ausrichtbare Kamera mit Zoomfunktion. Hierzu ist die Zoom-Kamera auf einem Pan-Tilt-Panoramakopf angebracht, die eine Schwenkung um den Nodalpunkt und ein Verkippen ermöglicht. Der Nodalpunkt beschreibt die Lage der Hauptebenen eines Objektivs der Zoom-Kamera.</p>
<p id="p0019" num="0019">Die Bildverarbeitungseinheit ist entweder direkt oder bevorzugt indirekt beispielsweise über das in der <patcit id="pcit0004" dnum="DE102005055879"><text>DE 10 2005 055 879</text></patcit> beschriebene Übertragungssystem mit mindestens einer Kamera verbunden.</p>
<p id="p0020" num="0020">Bevorzugt sind vier Kameras zur Aufnahme eines hochaufgelösten 180°-Panoramas vorgesehen. Zur Kostenminimierung kann die Anzahl der hochauflösenden Panorama-Kameras gegebenenfalls auf eine Panorama-Kamera minimiert werden, die gegebenenfalls über eine Fernsteuerung schwenkbar angeordnet ist und dadurch das komplette Panorama abdecken kann. Das 180°-Panoramasegment eines beobachtbaren Flughafenbereichs wird somit in vier 45°-Segmente eingeteilt, die jeweils durch eine Panorama-Kamera beobachtet werden. Dabei wird nur der<!-- EPO <DP n="7"> --> aktuelle foveale Beobachtungsbereich eines Ausschnitts eines der 45°-Segmente hochauflösend und entsprechend detailgetreu wiedergegeben.</p>
<p id="p0021" num="0021">Besonders vorteilhaft ist es, wenn mindestens ein mit dem Panoramaprojektionssystem verbundener Sensor zur automatischen Auswahl des zu beobachtenden, hochaufgelöst darzustellenden Segments (fovealer Aufmerksamkeitsbereich) auf der Basis von Objekterkennung und/oder Positionsbestimmung (mittels z.B. automatischer Bildverarbeitung, Anflugradar, Multilaterationssystem oder Satellitennavigation mit ADS-B (Automatic Dependent Surveillance Broadcast) vorgesehen ist. Die Bildverarbeitungseinheit ist dann zur automatischen Auswahl des fovealen Panoramasegments in Abhängigkeit von dem fovealen Aufmerksamkeitssektor eingerichtet. Damit ist es möglich, eine für die außerfoveale Sektoren auf wesentliche Bewegungsinformationen reduzierte Darstellung innerhalb des visualisierten fovealen Sektors die Aufmerksamkeit des Operateurs, d. h. seine foveale Informationsaufnahme, mit der einer Kopfdrehung des Operateurs entsprechenden Geschwindigkeit automatisch auf interessierende Bereiche des vollständigen Panoramos zu lenken. Eine manuelle Auswahl des im Detail hochaufgelöst dargestellten fovealen Aufmerksamkeitssektors durch den Operateur ist damit nicht erforderlich.</p>
<p id="p0022" num="0022">Das foveale Panoramasegment ist vorzugsweise kleiner als 45° eines mit den Kameras erfassbaren 180°-Panoramas.</p>
<p id="p0023" num="0023">Weiterhin ist es vorteilhaft, wenn die Bildverarbeitungseinheit zur gleichzeitigen permanenten Darstellung des gewählten Panoramasegmentes (entsprechend der aktuellen Blickrichtung) eingerichtet ist. Auf diese Weise wird sichergestellt, dass der Operateur die Orientierung behält.</p>
<p id="p0024" num="0024">Die Bildverarbeitungseinheit ist weiterhin vorzugsweise zur automatischen Auswahl des fovealen Panoramasegments in Abhängigkeit von im aufgenommenen Panorama detektierten charakteristischen Bewegungen, Flugbewegungsinformationen von einem Anflugradar, Positionsinformationen von einer Multilateral-Einrichtung über Flugzeuge und/oder Fahrzeuge im beobachteten Flughafenbereich und/oder von Flugzeugen übermittelte Satellitennavigations-Positionsinformationen<!-- EPO <DP n="8"> --> eingerichtet. Auf diese Weise kann die Aufmerksamkeit des Operateurs automatisch in Abhängigkeit der genannten sensierten Bewegungen im beobachteten Flughafenbereich auf die detektierten bewegten Objekte gerichtet werden. Beispielsweise bei Anflug eines Flugzeugs wird mit Hilfe des Anflugradars oder Satellitennavigations-Positionsinformationen, die vom Flugzeug übermittelt werden, die Annäherung eines Flugzeugs erkannt und die hochaufgelöste Darstellung des fovealen Panoramasegments auf das anfliegende Flugzeug gerichtet. Nach Erfassung der Situation durch den Operateur können diese dann manuell ein anderes foveales Panoramasegment auswählen oder es kann automatisch ein neuer fovealer Panoramaausschnitt ausgewählt werden durch Kopplung der automatischen, sensorbasierten Objekterkennung und Positionsbestimmung an die Videopanorama-Rekonstruktion.</p>
<p id="p0025" num="0025">Die Bildverarbeitungseinheit ist vorzugsweise mit einem berührungsempfindlichen Eingabegerät ausgerüstet, insbesondere einem berührungsempfindlichen Monitor, um ein Panoramasegment in Abhängigkeit von einer Fingerbewegung auf dem Eingabegerät auszuwählen. Ein solcher "Touch-Screen"-Monitor hat den Vorteil der schnellen und einfachen Befehlseingabe durch den Operateur.</p>
<p id="p0026" num="0026">Die Information über bewegte Objekte werden außerhalb des gewählten Panoramasegmentes vorzugsweise in horizontalen und vertikalen Bildleisten dargestellt, die an die Darstellung des fovealen Panoramasegments angrenzen. Die weitere Darstellung der Bewegungsinformationen sollte dann von der räumlichen Position der zu den Bewegungsinformationen gehörenden Objekte abhängen. Damit behält der Operateur den Überblick über die im Umfeld des fovealen Panoramas befindlichen bewelichen Objekte, die bei seiner Lotsentätigkeit noch zu berücksichtigen sind.</p>
<p id="p0027" num="0027">Die Bildverarbeitungseinheit ist vorzugsweise mit einer weiteren Anzeigeeinheit zur Darstellung des mit den Kameras erfassten Panoramas verbunden. Die gesamte beispielsweise 180°-Panoramasicht wird dann (nicht hochaufgelöst) auf der weiteren Anzeigeeinheit präsentiert.<!-- EPO <DP n="9"> --></p>
<p id="p0028" num="0028">Die Aufgabe wird weiterhin durch das Verfahren mit den Merkmalen der Ansprüche 11 bis 13 sowie das zur Durchführung des Verfahrens eingerichtete Computerprogramm gelöst.</p>
<p id="p0029" num="0029">Das Verfahren sieht eine Maximierung der möglichen Frame-Rate und Minimierung der benötigten Übertragungsbandbreite bei einer gegebenen Hardwarekonstellation durch eine Darstellung des nur dem Aufmerksamkeitsfokus entsprechenden Panoramabereichs vor. Es wird ein virtuelles Panorama in einem Bildspeicher von einem Rechner aus einem Echtzeit-Videodatenstrom durch lückenlose Aneinanderreihung der Frames aus den einzelnen Panoramakameras mit Auswahl und Darstellung eines beliebigen Bereichs durch Verschieben eines Bildausschnitts mittels Wahl einer virtuellen Betrachtungsposition erzeugt.</p>
<p id="p0030" num="0030">Eine Datenreduktion wird durch die ausschließliche Übersendung von anzuzeigenden Anteilen (Aufmerksamkeitsfokus) der komprimierten Videodatenströme an einen Bildverarbeitungsrechner erreicht. Die hierzu gewonnene Übertragungskapazität wird bei dynamischer Anpassung der Kompressionsparameter zur Optimierung der Bildqualität genutzt. Z.B. kann dadurch die Kompression automatisch verringert werden, falls sich die Bildqualität bei Dunkelheit verschlechtert.<!-- EPO <DP n="10"> --></p>
<p id="p0031" num="0031">Die Erfindung wird nachfolgend anhand der beigefügten Zeichnungen mit Ausführungsbeispielen näher erläutert. Es zeigen:
<dl id="dl0001">
<dt>Fig. 1</dt><dd>- Blockdiagramm eines erfindungsgemäßen Flughafenverkehrs- informations-Anzeigesystems;</dd>
<dt>Fig. 2</dt><dd>- Skizze eines Flughafenverkehrsinformations-Anzeigesystems mit einer Anzeigeeinheit zur Darstellung des fovealen Panoramasegments und horizontalen und vertikalen Anzeigeleisten zur Darstellung von Informationen über periphere bewegte Objekte.</dd>
<dt>Fig. 3</dt><dd>- Skizze eines Flughafenverkehrsinformations-Anzeigesystems mit einer Anzeigeeinheit zur Darstellung eines fovealen Panoramasegments sowie Informationen über bewegte Objekte im nicht dargestellten peripheren, außerfovealen Panoramasegment sowie einer zweiten Anzeigeeinheit zur Darstellung eines Zoom-Ausschnitts aus dem fovealen Panoramasegment;</dd>
</dl></p>
<p id="p0032" num="0032"><figref idref="f0001">Fig. 1</figref> lässt ein Blockdiagramm eines Flughafenverkehrsinformations-Anzeigesystems 1 erkennen, das mindestens eine auf einen zu beobachtenden Flughafenbereich ausrichtbare Kamera 2 hat. Beispielhaft dargestellt sind vier Kameras, die jeweils mit einem Bildverarbeitungsrechner 3a, 3b, 3c, 3d verbunden sind. Die Bildverarbeitungsrechner 3a, 3b, 3c,3d sind zur Bilddatenkompression und Echtzeit-Bildverarbeitung vorgesehen. Die Panorama-Kameras 2 werden über schnelle, breitbandige Datenleitungen 4a, 4b, 4c, 4d an die Bildverarbeitungsrechner 3a, 3b, 3c, 3d angeschlossen. Der Ausgang der Bildverarbeitungsrechner 3a, 3b, 3c, 3d ist jeweils über schnelle, breitbandige Datenleitungen 5a, 5b, 5c, 5d mit einem Switch und Sender/Converter 6 verbunden, über den die Bilddaten beispielsweise optisch über eine Breitband-Glasfaserverbindung 7 an einen Switch und Empfänger 8 weitergeleitet werden. Eine Bildverarbeitungseinheit in Form eines weiteren Bildverarbeitungscomputers 9 ist mit dem Switch und Empfänger 8 verbunden und zur Dekomprimierung der Videosignale der Panorama-Kameras 2 entsprechend dem<!-- EPO <DP n="11"> --> von einem Operator 10 ausgewählten Panorama-Segment eingerichtet. Die Bildverarbeitungseinheit 9 ist weiterhin eingerichtet, um die über Echtzeit-Bildverarbeitung von den Bildverarbeitungscomputern 3a, 3b, 3c, 3d ermittelten und gesendeten Informationen über bewegte Objekte anzuzeigen. Die Anzeige mindestens des dem Aufmerksamkeitsfokus einer gewählten Blickrichtung auf den beobachteten Flughafenbereich entsprechenden fovealen Panoramasegments und der Information über bewegte Objekte in nicht dargestellten peripheren, außerfovealen Panaromasegment erfolgt beispielsweise mit den beiden dargestellten Anzeigeeinheiten 11a, 11b.</p>
<p id="p0033" num="0033">In dem dargestellten Ausführungsbeispiel ist eine weitere Pan-Tilt-Zoom-Kamera 12 über eine schnelle, breitbandige Datenleitung 4e mit einem weiteren Bildverarbeitungscomputer 3e verbunden, der ebenfalls zur Echtzeit-Bildverarbeitung und Extraktion von Informationen über bewegte Objekte aus dem aufgenommenen Zoom-Video eines Ausschnitts des beobachteten Flughafenbereichs eingerichtet ist. Die Pan-Tilt-Zoom-Kamera 12 ist mit Kontrollsignalen fernsteuerbar, die über die Bildverarbeitungseinheit 9 und eine Steuerdatenleitung 13 über den Bildverarbeitungscomputer 3e zur Pan-Tilt-Zoom-Kamera 12 geleitet werden.</p>
<p id="p0034" num="0034">Die Steuerung des Flughafenverkehrsinformations-Anzeigesystems erfolgt durch den Operateur 10 mittels Tastatur 14, Maus, Touch-Pad 15 etc., die über die Bildverarbeitungseinheit 9 und die Datenverbindungen zu den Bildverarbeitungscomputern 3a bis 3d geleitet werden können.</p>
<p id="p0035" num="0035">Auf diese Weise können beispielsweise Kameraparameter, wie Blende, Brennweite, Ausrichtung der Pan-Tilt-Zoom-Kamera etc. verändert werden.</p>
<p id="p0036" num="0036">Optional ist auch denkbar, wahlweise mittels Echtzeitverarbeitung von Bild- und ASMGCS-Informationen durch die Bildverarbeitungseinheit automatisch Steuersignale zu generieren.</p>
<p id="p0037" num="0037">Das dargestellte Flughafenverkehrsinformations-Anzeigesystem 1 ist somit ein Panorama-System mit einer Mehrzahl von hochauflösenden Kameras 2, die den üblicherweise durch direkte Sicht aus dem Tower überwachten Bereich gleichzeitig<!-- EPO <DP n="12"> --> abbilden. Die Trennung der kognitiven Verarbeitung (foveal, peripher) wird ausgenutzt, indem von dem kompletten hochaufgelösten Panorama (z. B. 180° überdeckter Winkelbereich mit z. B. ca. 1600 x 1200 Bildpunkten) nur ein dem Aufmerksamkeitsfokus der gewählten (virtuellen) Blickrichtung des Operateurs 10 auf den fernen Flughafen entsprechendes Segment des Panoramas (&lt; 45° bei 180°-Panorama mit mehr als vier Kameras 2) mit maximaler Auflösung (z. B. 1600 x 1200 Pixel pro Kamera) angezeigt wird.</p>
<p id="p0038" num="0038">Zweckmäßig zur manuellen Auswahl und zur Vergegenwärtigung des momentanen ausgewählten Panoramasegments ist die gleichzeitige, permanente Anzeige der Blickrichtung (aktuell visualisierte Kamerasegmente) auf einer verkleinerten Segmentsymbolleiste, z. B. am unteren Bildrand eines der beiden Monitore oder mit Hilfe einer vom Bildschirm getrennten, symbolischen Darstellung. Zur schnellen Anwahl eines interessierenden Panoramasegments ist denkbar, dass alternativ durch den Operateur 10 auswählbare manuelle oder automatische Verfahren zum Einsatz kommen können. Der aktive, manuelle Arbeitsmodus besitzt eine Überschreib-Funktion (Override) über den Automatikmodus. Der automatische Modus wählt das dargestellte Segment aufgrund der aktuellen Verkehrslage. Hierbei ist die Auswahl an die aktuelle Aufgabe gebunden und wird alternativ durch
<ol id="ol0001" ol-style="">
<li>a) Ergebnisse einer parallelen ablaufenden automatischen Bildverarbeitung zur Bewegungsdetektion;</li>
<li>b) aus in jedem Fall vorliegenden Anflugradarinformationen;</li>
<li>c) aus eventuell vorhandenen Positionsdaten eines Multilaterionssystems (Laufzeitmessung) oder</li>
<li>d) aus vom Flugzeug über ADS-B (automatic dependance surveillance broadcast) übermittelten Satellitennavigationsdaten</li>
</ol>
gesteuert.<!-- EPO <DP n="13"> --></p>
<p id="p0039" num="0039">Zum Beispiel wird bei einem detektierten Flugzeug im Landeanflug, dessen Position über eine Bildverarbeitung in dem entsprechenden peripheren Segment ermittelt wurde, der momentan aktive Abschnitt auf das periphere Segment ausgerichtet und gleichzeitig der Ausrichtungswinkel (Azimuth, Vertikalwinkel) sowie Fokus (Brennweite) der Pan-Tilt-Zoom-Kamera 12 automatisch auf den festliegenden Anflugbereich ausgerichtet. Der in dem Panoramasegment angewählte und mittels der separaten fernsteuerbaren Pan-Tilt-Zoom-Kamera 12 vergrößerte Bereich wird im Panorama mit einem geeigneten rechtwinkligen Markierungskästchen angezeigt und als Zoombild auf einem benachbarten Monitor 11 b dargestellt, wie in der <figref idref="f0002">Figur 2</figref> skizziert ist.</p>
<p id="p0040" num="0040"><figref idref="f0003">Fig. 3</figref> läßt die beiden Monitore 11a, 11 b des Arbeitsplatzes des Operateurs 10 mit dem gewählten Panoramasegment auf dem linken Monitor 11a und dem Zoomausschnitt auf dem rechten Monitor 11 b erkennen. Am Rand des Panoramasegmentmonitors befindet sich unten eine schmale Informationsbildleiste 16, die Information zur Position des gewählten Segments und zu bewegten Objekten in den nicht dargestellten Panoramabereichen (Peripherie) enthalten. Markierungen in der unteren Leiste deuten die der Segmentierung des Gesamtpanoramas in gleichgroße Abschnitte entsprechende Ausrichtung der z. B. vier Kameras 2 an. Die Lage des gewählten Segmentes wird durch einen (z. B. rot) gefärbten Balken markiert. Das gewählte Segment setzt sich i.A. aus Anteilen von zwei benachbarten Panoramakameras zusammen. Ein kleines helleres (z. B. gelbes) Rechteck in dieser Markierung deutet den Zoombereich an, der auf dem rechten Monitor 11 b gezeigt ist. Der Zoombereich kann unabhängig auch in peripheren Panoramasegmente bewegt werden, die nicht aktuell visualisiert sind. Eine Markierung, im dargestellten Beispiel das Rechteck in der unteren Informationsbildleiste, deutet die Position im Gesamtpanorama an. Ein weiteres Symbol, ein rotes Kreuz mit Pfeil, das im rechten Bereich der Informationsbildleiste 16 skizziert ist, deutet ein erkanntes bewegtes Objekt und seine Bewegungsrichtung an. Die Länge des Pfeils kann als Maß für die Geschwindigkeit gewählt werden. Es können unterschiedliche, z. B. an die Segmentposition gekoppelte Symbole für die unterschiedlichen Phasen der Landung bzw. des Starts gewählt werden (Starten/Landen auf Start-/Landebahnen, Abrollen über einen Rollweg, Kreuzen von Rollbahnen, Einfahren im Vorfeldbereich etc.). Die Information über das erkannte bewegte Objekt kann verschiedenen Quellen<!-- EPO <DP n="14"> --> entstammen, wie beispielsweise der Echtzeit-Bildverarbeitung mit Bewegungserkennung, die parallel zu den Dekompressionsalgorithmen in den Bildverarbeitungscomputern 3a bis 3e implementiert sind. Denkbar ist auch die Extraktion von solchen Informationen über erkannte bewegte Objekte durch Multilaterionssysteme oder eine Satellitennavigation mit Bord-Boden- (bzw. Fahrzeug-Kontrollzentrale-) Datenverbindungen. Auch passive, unbewegte Objekte, die mittels Bildverarbeitung z. B. als neue Hindernisse erkannt wurden, können durch ein weiteres Symbol angezeigt werden.</p>
<p id="p0041" num="0041">Alternativ und in Ergänzung zur Darstellung der peripheren Information auf der unteren Informationsbildleiste 16 können im vertikalen Display-Rändern ähnliche schmale Informationsbildleisten 17a, 17b eingeblendet werden. Dies ist bei Verwendung von hochauflösenden Displays mit HDTV-Format (1920 x 1080 Pixel) ohne wesentliche Reduzierung der durch die Kameras 2 vorgegebenen Auflösung (1.600 x 1.200 Pixel) möglich. Die gleichzeitige Darstellung eines erkannten, bewegten Objekts im Peripheriebereich auf einer der senkrechten Informationsbildleisten 17a, 17b kann dann zur Darstellung der Höhe über der Flughafenoberfläche und gegebenenfalls des Kennzeichens des Flugobjektes (Call sign) genutzt werden. Zur quantitativ grafischen Anzeige der Höhe ist die Kenntnis der Entfernung des Objektes in Richtung des jeweiligen Panoramasegments erforderlich, die aus gegebenenfalls vorliegenden (über ADS-B übermittelten) Satellitennavigationsdaten oder Multilaterationsdaten (Laufzeitmessung) entnommen werden. Die grafische Höhenanzeige erfordert dann die Einblendung einer Referenzlinie im seitlichen Balken, die dem Fußpunkt der Vertikalen unter dem Flugzeug entspricht. Den Symbolen (z.B. Kreuz für Landung oder Stern für Start) zugeordnete Pfeile in den vertikalen Informationsleisten deuten Sink- oder Steigflug entsprechend abwärts oder aufwärts weisender Pfeilrichtung an. Pfeillängen entsprechen wieder Geschwindigkeiten. Falls letztere nicht bekannt sind, wird dies am Pfeil durch eine Markeierung (z.B. Querstrich) gekennzeichnet. Diese Variante ist in der <figref idref="f0002">Fig. 2</figref> gezeigt. Neben den Symbolen in den seitlichen Informationsbildleisten 17a, 17b für periphere Objekte sind die Rufzeichen der Flugzeuge angezeigt, die zusammen mit den Positionsinformationen von ASMGCS-Sensoren (sekundärer, Multilaterationssystem, Satellitennavigationssystem) geliefert werden. Als Eingabegeräte zur Interaktion des Operateurs 10 mit dem Panoramasystem stehen<!-- EPO <DP n="15"> --> im einfachsten Fall Maus und Tastatur 14 zur Verfügung, um unter anderem das momentan benötigte Panoramasegment auf der unteren Informationsbildleiste 16 z. B. durch Anklicken oder Betätigen einer Pfeiltaste anzuwählen.</p>
<p id="p0042" num="0042">Ein alternatives Eingabegerät basiert auf einem Touch-Pad 15 oder Touch-Screen. Das ausgewählte Panoramasegment wird durch Fingerbewegung auf dem Touch-Pad/Touch-Screen verschoben und entsprechend angezeigt. Das Zoom-Steuerkommando wird mit drei Fingern wie folgt vorgenommen:
<ul id="ul0001" list-style="dash">
<li>gemeinsames Verschieben in einer Richtung bewegte Zoom-Kamera in eine neue Position;</li>
<li>Auseinanderziehen bzw. Zusammenrücken der Fingerspitzen steuert die Vergrößerung bzw. Verkleinerung des Zoomausschnitts, dessen sich entsprechend verschiebende Markierungselemente gleichzeitig im Panorama-Display angezeigt werden.</li>
</ul></p>
<p id="p0043" num="0043">In einer optionalen Realisierung kann die Segmentauswahl des Panoramas auf den Signalen eines Brain-Computer-Interface basieren, das mittels Auswertung von EEG-Signalen die mentale Vorstellung "rechts"/"links" oder "rechten Arm bewegen"/"linken Arm bewegen" in eine entsprechende Verschiebung des roten Segmentbalkens in der unteren Informationsbildleiste 16 und damit in den visualisierten Bereich umsetzt. Weiterhin ist eine Segmentsteuerung mittels Blickbewegungsregistrierung möglich. Die Fokussierung auf einen bestimmten Punkt der Segmentanzeigeleiste fällt dabei die Mitte des angezeigten Panoramaauschnitts auf diesen Punkt. Alternativ kann sich die momentane Segmentposition nach rechts oder links bewegen, wenn die Blickrichtung (Aufmerksamkeitsrichtung) entsprechend nach rechts oder links orientiert wird.</p>
<p id="p0044" num="0044">In einer optionalen, nicht dargestellten Ausführungsform wird neben der Pan-Tilt-Zoom-Kamera 12 anstelle des vollständigen Panoramakamerasystems bestehend aus mehreren Kameras 2 nur eine einzige hochauflösende, auf einem Drehtisch montierte Kamera 2 eingesetzt, die jeweils auf das dem Aufmerksamkeitsfokus entsprechende Panoramasegment ausgerichtet ist. Die manuelle oder automatische<!-- EPO <DP n="16"> --> Auswahl des darzustellenden Segments steuert in diesem Fall die horizontale Kameraposition (Azimuthwinkel um die vertikale Drehachse) über eine Ausrichtung des Drehtisches. Die Drehgeschwindigkeit sollte derjenigen des Kopfes eines Operateurs 10 entsprechen, wenn dieser seine Aufmerksamkeit im realen Tower einem neuen Segment zuwendet. Die getrennt steuerbare Pan-Tilt-Zoom-Kamera 12, die im Unterschied zur Panorama-Kamera 2 auch vertikal um eine horizontale Drehachse kippbar ist, kann bezüglich der horizontalen Grobausrichtung wahlweise an die Panoramakamera 2 gekoppelt sein. Da eine parallele Bewegungsdetektion mittels Echtzeit-Bildverarbeitung für periphere Bereiche außerhalb der einzigen Panorama-Kamera entfällt, können Informationen über periphere bewegte Objekte nur über ASMGCS-Sensoren auf Bodenradar, Multilateration, Satellitennavigation mit (ADS-B) Bord-Boden-Datenverbindung geliefert und in den Informationsleisten 16, 17 am Bildschirmmonitorrand angezeigt werden.</p>
<p id="p0045" num="0045">Dieses Flughafenverkehrsinformations-Anzeigesystem 1 kann durch das Hinzufügen von kostengünstigen Standard-Videokameras noch so erweitert werden, dass diese ein komplettes Panorama mit nur einer normalen Auflösung (z. B. 768 x 576 Pixel) liefern. Die Standard-Videokameras dienen nicht der Visualisierung, sondern nur der automatischen Bewegungserkennung mittels Echtzeit-Bildverarbeitung entsprechend der mit der <figref idref="f0001">Figur 1</figref> beschriebenen Ausführungsform. Die hochauflösende Kamera 2 zur Visualisierung zusammen mit den nicht visualisierten, niedrig aufgelösten Hintergrundbildern entspricht dem menschlichen visuellen System mit hochauflösender Fovea und niedrig auflösendem peripheren Retinabereich. Die Realsierung ist auch mit nur einer Standardkamera für die Peripherie-Information denkbar, die dazu mit einem Fischaugenobjektiv für einen Aufnahmewinkel von z. B. 180° ausgestattet sein muss.</p>
</description><!-- EPO <DP n="17"> -->
<claims id="claims01" lang="de">
<claim id="c-de-01-0001" num="0001">
<claim-text>Flughafenverkehrsinformations-Anzeigesystem (1) mit
<claim-text>- mindestens einer auf einen zu beobachtenden Flughafenbereich ausrichtbaren Kamera (2),</claim-text>
<claim-text>- einer mit der mindestens einen Kamera (2) verbundenen Bildverarbeitungseinheit (9),</claim-text>
<claim-text>- mindestens einer mit der Bildverarbeitungseinheit (9) in Verbindung stehenden Anzeigeeinheit (11), wobei die Bildverarbeitungseinheit (9) zur Auswahl und Darstellung eines dem Aufmerksamkeitsfokus einer gewählten Blickrichtung auf den beobachteten Flughafenbereich entsprechenden fovealen Panoramasegments eingerichtet ist, <b>dadurch gekennzeichnet, dass</b><br/>
die Bildverarbeitungseinheit (9) zur gleichzeitigen Darstellung von Informationen über bewegte Objekte im nicht dargestellten peripheren, außerfovealen Panoramasegment eingerichtet ist,<br/>
und</claim-text>
<claim-text>- die Bildverarbeitungseinheit (9) zur Auswahl eines angezeigten fovealen Panoramasegmentes mittels Blickbewegungsregistrierung derart eingerichtet ist, dass am Bildrand des auf der Anzeigeeinheit (11) dargestellten fovealen Panoramasegments eine Information zur Position des gewählten fovealen Panoramasegments und zu bewegten Objekten in den nicht dargestellten Panoramabereichen enthaltenen Informationsbildleiste (16) befindet und bei einer Fokussierung des Operators auf einen bestimmten Punkt der Informationsbildleiste (16) die Mitte des angezeigten fovealen Panoramasegmentes auf diesen Punkt verschoben wird.</claim-text><!-- EPO <DP n="18"> --></claim-text></claim>
<claim id="c-de-01-0002" num="0002">
<claim-text>Flughafenverkehrsinformations-Anzeigesystem (1) nach Anspruch 1, <b>gekennzeichnet durch</b> eine fernsteuerbare Pan-Tilt-Zoom-Kamera (12), die zur Auswahl eines Zoom-Auschnitts des Panoramasegmentes eingerichtet ist, um den Zoom-Ausschnitt auf eine der Anzeigeeinheiten (11) darzustellen.</claim-text></claim>
<claim id="c-de-01-0003" num="0003">
<claim-text>Flughafenverkehrsinformations-Anzeigesystem (1) nach Anspruch 1 oder 2, <b>dadurch gekennzeichnet, dass</b> die Bildverarbeitungseinheit (9) direkt mit mindestens einer Kamera (2) verbunden ist.</claim-text></claim>
<claim id="c-de-01-0004" num="0004">
<claim-text>Flughafenverkehrsinformations-Anzeigesystem (1) nach Anspruch 1 oder 2, <b>dadurch gekennzeichnet, dass</b> die Bildverarbeitungseinheit (9) indirekt mit mindestens einer Kamera (2) verbunden ist.</claim-text></claim>
<claim id="c-de-01-0005" num="0005">
<claim-text>Flughafenverkehrsinformations-Anzeigesystem (1) nach einem der vorhergehenden Ansprüche, <b>dadurch gekennzeichnet, dass</b> vier Kameras (2) zur Aufnahme eines hochaufgelösten Panoramas von vorzugsweise 180° vorgesehen sind.</claim-text></claim>
<claim id="c-de-01-0006" num="0006">
<claim-text>Flughafenverkehrsinformations-Anzeigesystem (1) nach einem der vorhergehenden Ansprüche, <b>dadurch gekennzeichnet, dass</b> das foveale Panoramasegment kleiner als 45° eines mit den Kameras (2) erfassbaren Panoramas von vorzugsweise 180° ist.</claim-text></claim>
<claim id="c-de-01-0007" num="0007">
<claim-text>Flughafenverkehrsinformations-Anzeigesystem (1) nach einem der vorhergehenden Ansprüche, <b>dadurch gekennzeichnet, dass</b> die Bildverarbeitungseinheit (9) zur gleichzeitigen permanenten Darstellung des gewählten Panoramasegmentes eingerichtet ist.</claim-text></claim>
<claim id="c-de-01-0008" num="0008">
<claim-text>Flughafenverkehrsinformations-Anzeigesystem (1) nach einem der vorhergehenden Ansprüche, <b>dadurch gekennzeichnet, dass</b> die Bildwerarbeitungseinheit<!-- EPO <DP n="19"> --> (9) zur automatischen Auswahl des fovealen Panoramasegments in Abhängigkeit von im aufgenommenen Panorama detektierten charakteristischen Bewegungen, Flugbewegungsinformationen von einem Anflugradar, Positionsinformationen von einer Multilaterations-Einrichtung über Flugzeuge und/oder Fahrzeuge im beobachteten Flughafenbereich, und/oder von Flugzeugen übermittelte Satellitennavigations-Positionsinformationen eingerichtet ist.</claim-text></claim>
<claim id="c-de-01-0009" num="0009">
<claim-text>Flughafenverkehrsinformations-Anzeigesystem (1) nach einem der vorhergehenden Ansprüche, <b>dadurch gekennzeichnet, dass</b> die Bildverarbeitungseinheit (9) mit einem berührungsempfindlichen Eingabegerät, insbesondere einem berührungsempfindlichen Monitor, zur Auswahl eines Panoramasegmentes in Abhängigkeit von einer Finger- oder Stiftbewegung auf dem Eingabegerät verbunden ist.</claim-text></claim>
<claim id="c-de-01-0010" num="0010">
<claim-text>Flughafenverkehrsinformations-Anzeigesystem nach einem der vorhergehenden Ansprüche, <b>dadurch gekennzeichnet, dass</b> die Bildverarbeitungseinheit (9) mit einer weiteren Anzeigeeinheit (11) zur Darstellung des mit den Kameras (2) erfassten Panoramas verbunden ist.</claim-text></claim>
<claim id="c-de-01-0011" num="0011">
<claim-text>Verfahren zur Darstellung eines zu beobachtenden Flughafenbereichs auf einer Anzeigeeinheit mit den Schritten:
<claim-text>- Aufnehmen eines Echtzeit-Videodatenstromes mindestens einen Bereichs eines Flughafens,</claim-text>
<claim-text>- Detektierten eines fovealen Aufmerksamkeitssektors eines Operateurs,</claim-text>
<claim-text>- Auswählen eines fovealen Panoramasegmentes in Abhängigkeit von den fovealen Aufmerksamkeitssektor auf dem aufgenommenen Bereich des Flughafens,</claim-text>
<claim-text>- Darstellen des ausgewählten fovealen Panoramasegments,</claim-text>
<b>dadurch gekennzeichnet, dass</b><!-- EPO <DP n="20"> -->
<claim-text>- gleichzeitig Informationen über bewegte Objekte im nicht dargestellten peripheren, außerfovealen Panoramasegment dargestellt werden, wobei eine Auswahl eines angezeigten fovealen Panoramasegmentes mittels Bildbewegungsregistrierung derart erfolgt, dass am Bildrand des auf der Anzeigeeinheit (11) dargestellten fovealen Panoramasegments eine Information zur Position des gewählten fovealen Panoramasegments enthaltenen Informationsbildleiste (16) dargstellt wird und die Mitte des angezeigten fovealen Panoramasegmentes bei einer Fokussierung des Operateurs auf einen bestimmten Punkt der Informatonsbildleiste (16) auf diesen Punkt verschoben wird.</claim-text></claim-text></claim>
<claim id="c-de-01-0012" num="0012">
<claim-text>Verfahren nach Anspruch 12, <b>gekennzeichnet durch</b> Erzeugen eines virtuellen Panoramas eines Flughafenbereiches aus einem Echtzeit-Videodatenstrom <b>durch</b> Aneinanderreihung von Bildern aus einzelnen Panoramakameras und Auswahl und Darstellung des fovealen Panoramasegmentes <b>durch</b> Verschiebung eines Bildausschnitts des virtuellen Panoramas mittels Auswahl einer virtuellen Betrachtungsposition.</claim-text></claim>
<claim id="c-de-01-0013" num="0013">
<claim-text>Verfahren nach Anspruch 12 oder 13, <b>gekennzeichnet durch</b> kontinuierliches Verschieben eines ausgewählten und dargestellten hochaufgelösten Panoramasegmentes über ein von einer Anzahl von Kameras aufgenommene Panorama, so dass das Panoramasegment Anteile von Videosequenzen benachbarter Kameras enthält.</claim-text></claim>
<claim id="c-de-01-0014" num="0014">
<claim-text>Computerprogramm mit Programmeodemitteln zur Durchführung des Verfahrens nach einem der Ansprüche 11 bis 13, wenn das Computerprogramm auf einem Rechner ausgeführt wird.</claim-text></claim>
</claims><!-- EPO <DP n="21"> -->
<claims id="claims02" lang="en">
<claim id="c-en-01-0001" num="0001">
<claim-text>Airport traffic information display system (1) having
<claim-text>- at least one camera (2) which can be oriented to an airport region that is to be observed,</claim-text>
<claim-text>- an image processing unit (9) which is connected to the at least one camera (2),</claim-text>
<claim-text>- at least one display unit (11) which is connected to the image processing unit (9), wherein the image processing unit (9) is set up to select and present a foveal panorama segment which corresponds to the focus of attention of a selected viewing direction on the observed airport region, <b>characterized in that</b></claim-text>
<claim-text>- the image processing unit (9) is set up to simultaneously present information relating to moving objects in the unpresented peripheral, extra-foveal panorama segment,<br/>
and</claim-text>
<claim-text>- the image processing unit (9) is set up to select a displayed foveal panorama segment using eye tracking such that the image edge of the foveal panorama segment presented on the display unit (11) has an information image strip (16) which contains information relating to the position of the selected foveal panorama segment and relating to moving objects in the unpresented panorama regions, and, when the operator focuses on a particular point in the information image strip<!-- EPO <DP n="22"> --> (16), the centre of the displayed foveal panorama segment is moved to this point.</claim-text></claim-text></claim>
<claim id="c-en-01-0002" num="0002">
<claim-text>Airport traffic information display system (1) according to Claim 1, <b>characterized by</b> a remotely controllable pan tilt zoom camera (12) which is set up to select a zoom detail from the panorama segment in order to present the zoom detail on one of the display units (11).</claim-text></claim>
<claim id="c-en-01-0003" num="0003">
<claim-text>Airport traffic information display system (1) according to Claim 1 or 2, <b>characterized in that</b> the image processing unit (9) is connected directly to at least one camera (2).</claim-text></claim>
<claim id="c-en-01-0004" num="0004">
<claim-text>Airport traffic information display system (1) according to Claim 1 or 2, <b>characterized in that</b> the image processing unit (9) is connected indirectly to at least one camera (2).</claim-text></claim>
<claim id="c-en-01-0005" num="0005">
<claim-text>Airport traffic information display system (1) according to one of the preceding claims, <b>characterized in that</b> four cameras (2) are provided for recording a high-resolution panorama of preferably 180°.</claim-text></claim>
<claim id="c-en-01-0006" num="0006">
<claim-text>Airport traffic information display system (1) according to one of the preceding claims, <b>characterized in that</b> the foveal panorama segment is less than 45° of a panorama of preferably 180° which can be captured using the cameras (2).</claim-text></claim>
<claim id="c-en-01-0007" num="0007">
<claim-text>Airport traffic information display system (1) according to one of the preceding claims, <b>characterized in that</b> the image processing unit (9) is set up for the simultaneous permanent presentation of the selected panorama segment.</claim-text></claim>
<claim id="c-en-01-0008" num="0008">
<claim-text>Airport traffic information display system (1) according to one of the preceding claims, <b>characterized<!-- EPO <DP n="23"> --> in that</b> the image processing unit (9) is set up for the automatic selection of the foveal panorama segment on the basis of characteristic movements detected in the recorded panorama, flight movement information from an approach radar, position information from a multilateration device relating to aircraft and/or aircraft in the observed airport region, and/or satellite navigation position information transmitted by aircraft.</claim-text></claim>
<claim id="c-en-01-0009" num="0009">
<claim-text>Airport traffic information display system (1) according to one of the preceding claims, <b>characterized in that</b> the image processing unit (9) is connected to a touch-sensitive input appliance, particularly a touch-sensitive monitor, for selecting a panorama segment on the basis of a finger or stylus movement on the input appliance.</claim-text></claim>
<claim id="c-en-01-0010" num="0010">
<claim-text>Airport traffic information display system according to one of the preceding claims, <b>characterized in that</b> the image processing unit (9) is connected to a further display unit (11) for presenting the panorama captured using the cameras (2).</claim-text></claim>
<claim id="c-en-01-0011" num="0011">
<claim-text>Method for presenting an airport region that is to be observed on a display unit, having the following steps:
<claim-text>- a real-time video data stream from at least one region of an airport is recorded,</claim-text>
<claim-text>- a foveal attention sector for an operator is detected,</claim-text>
<claim-text>- a foveal panorama segment is selected on the basis of the foveal attention sector on the recorded region of the airport,</claim-text>
<claim-text>- the selected foveal panorama segment is presented,</claim-text>
<b>characterized in that</b>
<claim-text>- at the same time information about moving objects in the unpresented peripheral, extra-foveal panorama segment is presented, wherein a displayed<!-- EPO <DP n="24"> --> foveal panorama segment is selected using eye tracking such that the image edge of the foveal panorama segment presented on the display unit (11) is used to present an information image strip (16) which contains information relating to the position of the selected foveal panorama segment, and, when the operator focuses on a particular point in the information image strip (16), the centre of the displayed foveal panorama segment is moved to this point.</claim-text></claim-text></claim>
<claim id="c-en-01-0012" num="0012">
<claim-text>Method according to Claim 12, <b>characterized by</b> production of a virtual panorama of an airport region from a real-time video data stream by juxtaposition of images from individual panorama cameras and selection and presentation of the foveal panorama segment by movement of an image detail from the virtual panorama by means of selection of a virtual observation position.</claim-text></claim>
<claim id="c-en-01-0013" num="0013">
<claim-text>Method according to Claim 12 or 13, <b>characterized by</b> continuous movement of a selected and presented high-resolution panorama segment over a panorama recorded by a number of cameras, so that the panorama segment contains components of video sequences from adjacent cameras.</claim-text></claim>
<claim id="c-en-01-0014" num="0014">
<claim-text>Computer program having program code means for carrying out the method according to one of Claims 11 to 13 when the computer program is executed on a computer.</claim-text></claim>
</claims><!-- EPO <DP n="25"> -->
<claims id="claims03" lang="fr">
<claim id="c-fr-01-0001" num="0001">
<claim-text>Système d'affichage d'informations de trafic aéroportuaire (1) comprenant :
<claim-text>- au moins une caméra (2) pouvant être orientée vers une zone aéroportuaire à observer,</claim-text>
<claim-text>- une unité de traitement d'image (9) reliée à l'au moins une caméra (2),</claim-text>
<claim-text>- au moins une unité d'affichage (11) reliée à l'unité de traitement d'image (9), dans lequel l'unité de traitement d'image (9) est conçue pour sélectionner et représenter un segment de panorama fovéal correspondant au point focal d'attention d'une direction de regard sélectionnée sur la zone aéroportuaire observée, <b>caractérisé en ce que</b></claim-text>
<claim-text>- l'unité de traitement d'image (9) est conçue pour représenter simultanément des informations concernant des objets en mouvement dans le segment de panorama fovéal extérieur périphérique non représenté,</claim-text>
<claim-text>- <b>en ce que</b> l'unité de traitement d'image (9) est conçue pour sélectionner un segment de panorama fovéal affiché par enregistrement du mouvement des yeux de telle manière qu'une barre d'informations (16) contenant des informations concernant la position du segment de panorama fovéal sélectionné et des objets en mouvement dans les zones de panorama non représentées soit présente à la périphérie du segment de panorama fovéal représenté sur l'unité d'affichage (11) et que lorsque l'opérateur se concentre sur un point particulier de la barre d'informations (16), le centre<!-- EPO <DP n="26"> --> du segment de panorama fovéal affiché soit déplacé vers ce point.</claim-text></claim-text></claim>
<claim id="c-fr-01-0002" num="0002">
<claim-text>Système d'affichage d'informations de trafic aéroportuaire (1) selon la revendication 1, <b>caractérisé par</b> une caméra (12) à mouvement de panoramique, d'inclinaison et de zoom pouvant être télécommandée, qui est conçue pour sélectionner une section zoomée du segment de panorama afin de représenter la section zoomée sur l'une des unités d'affichage (11).</claim-text></claim>
<claim id="c-fr-01-0003" num="0003">
<claim-text>Système d'affichage d'informations de trafic aéroportuaire (1) selon la revendication 1 ou 2, <b>caractérisé en ce que</b> l'unité de traitement d'image (9) est directement reliée à au moins une caméra (2).</claim-text></claim>
<claim id="c-fr-01-0004" num="0004">
<claim-text>Système d'affichage d'informations de trafic aéroportuaire (1) selon la revendication 1 ou 2, <b>caractérisé en ce que</b> l'unité d'affichage (9) est indirectement reliée à au moins une caméra (2).</claim-text></claim>
<claim id="c-fr-01-0005" num="0005">
<claim-text>Système d'affichage d'informations de trafic aéroportuaire (1) selon l'une des revendications précédentes, <b>caractérisé en ce qu'</b>il est prévu quatre caméras (2) pour l'acquisition d'un panorama à haute résolution couvrant de préférence 180°.</claim-text></claim>
<claim id="c-fr-01-0006" num="0006">
<claim-text>Système d'affichage d'informations de trafic aéroportuaire (1) selon l'une des revendications précédentes, <b>caractérisé en ce que</b> le segment de panorama fovéal est inférieur à 45° d'un panorama pouvant être obtenu au moyen des caméras (2) et <b>en ce qu'</b>il couvre de préférence 180°.</claim-text></claim>
<claim id="c-fr-01-0007" num="0007">
<claim-text>Système d'affichage d'informations de trafic aéroportuaire (1) selon l'une des revendications précédentes, <b>caractérisé en ce que</b> l'unité de traitement d'image (9) est conçue pour représenter en<!-- EPO <DP n="27"> --> permanence et de manière simultanée le segment de panorama sélectionné.</claim-text></claim>
<claim id="c-fr-01-0008" num="0008">
<claim-text>Système d'affichage d'informations de trafic aéroportuaire (1) selon l'une des revendications précédentes, <b>caractérisé en ce que</b> l'unité de traitement d'image (9) est conçue pour sélectionner automatiquement le segment de panorama fovéal en fonction de mouvements caractéristiques détectés dans le panorama acquis, d'informations de mouvements d'aéronefs fournies par un radar d'approche, d'informations de position fournies par un dispositif de multilatération concernant des aéronefs et/ou des véhicules se trouvant dans la zone aéroportuaire observée, et/ou d'informations de positionnement de navigation par satellite fournies par des aéronefs.</claim-text></claim>
<claim id="c-fr-01-0009" num="0009">
<claim-text>Système d'affichage d'informations de trafic aéroportuaire (1) selon l'une des revendications précédentes, <b>caractérisé en ce que</b> l'unité de traitement d'image (9) est reliée à un périphérique d'entrée tactile, notamment à un écran tactile, pour sélectionner un segment de panorama en fonction du mouvement d'un doigt ou d'un stylet sur le périphérique d'entrée.</claim-text></claim>
<claim id="c-fr-01-0010" num="0010">
<claim-text>Système d'affichage d'informations de trafic aéroportuaire selon l'une des revendications précédentes, <b>caractérisé en ce que</b> l'unité de traitement d'image (9) est reliée à une unité d'affichage supplémentaire (11) destinée à afficher le panorama obtenu au moyen des caméras (2).</claim-text></claim>
<claim id="c-fr-01-0011" num="0011">
<claim-text>Procédé destiné à représenter une zone aéroportuaire à observer sur une unité d'affichage, comprenant les étapes suivantes :
<claim-text>- l'acquisition en temps réel d'un flux de données vidéo provenant d'au moins une zone d'un aéroport,<!-- EPO <DP n="28"> --></claim-text>
<claim-text>- la détection d'un secteur d'attention fovéale d'un opérateur,</claim-text>
<claim-text>- la sélection d'un segment de panorama fovéal en fonction du secteur d'attention fovéale sur la zone acquise de l'aéroport,</claim-text>
<claim-text>- la représentation du segment de panorama fovéal sélectionné,</claim-text>
<b>caractérisé en ce que</b>
<claim-text>- des informations concernant des objets en mouvement dans le segment de panorama fovéal extérieur périphérique non représenté sont simultanément représentées, dans lequel une sélection d'un segment de panorama fovéal affiché s'effectue par enregistrement du mouvement des yeux de telle manière qu'une barre d'informations (16) contenant des informations concernant la position du segment de panorama fovéal sélectionné soit représentée à la périphérie du segment de panorama fovéal affiché sur l'unité d'affichage (11) et que lorsque l'opérateur se concentre sur un point particulier de la barre d'informations (16), le centre du segment de panorama fovéal affiché soit déplacé vers ce point.</claim-text></claim-text></claim>
<claim id="c-fr-01-0012" num="0012">
<claim-text>Procédé selon la revendication 12, <b>caractérisé par</b> la génération en temps réel d'un panorama virtuel d'une zone aéroportuaire à partir d'un flux de données vidéo par enchaînement d'images provenant de différentes caméras panoramiques et la sélection et la représentation du segment de panorama fovéal par déplacement d'une section d'image du panorama virtuel en sélectionnant une position d'observation virtuelle.</claim-text></claim>
<claim id="c-fr-01-0013" num="0013">
<claim-text>Procédé selon la revendication 12 ou 13, <b>caractérisé par</b> le déplacement continu d'un segment de panorama à haute résolution sélectionné et représenté sur un panorama acquis par une pluralité de caméras de telle manière que le segment de panorama contienne des parties de séquences vidéo de caméras adjacentes.<!-- EPO <DP n="29"> --></claim-text></claim>
<claim id="c-fr-01-0014" num="0014">
<claim-text>Programme informatique comprenant des moyens à code de programme destinés à mettre en oeuvre le procédé selon l'une des revendications 11 à 13 lorsque le programme informatique est exécuté sur un ordinateur.</claim-text></claim>
</claims><!-- EPO <DP n="30"> -->
<drawings id="draw" lang="de">
<figure id="f0001" num="1"><img id="if0001" file="imgf0001.tif" wi="165" he="210" img-content="drawing" img-format="tif"/></figure><!-- EPO <DP n="31"> -->
<figure id="f0002" num="2"><img id="if0002" file="imgf0002.tif" wi="165" he="140" img-content="drawing" img-format="tif"/></figure><!-- EPO <DP n="32"> -->
<figure id="f0003" num="3"><img id="if0003" file="imgf0003.tif" wi="146" he="233" img-content="drawing" img-format="tif"/></figure>
</drawings>
<ep-reference-list id="ref-list">
<heading id="ref-h0001"><b>IN DER BESCHREIBUNG AUFGEFÜHRTE DOKUMENTE</b></heading>
<p id="ref-p0001" num=""><i>Diese Liste der vom Anmelder aufgeführten Dokumente wurde ausschließlich zur Information des Lesers aufgenommen und ist nicht Bestandteil des europäischen Patentdokumentes. Sie wurde mit größter Sorgfalt zusammengestellt; das EPA übernimmt jedoch keinerlei Haftung für etwaige Fehler oder Auslassungen.</i></p>
<heading id="ref-h0002"><b>In der Beschreibung aufgeführte Patentdokumente</b></heading>
<p id="ref-p0002" num="">
<ul id="ref-ul0001" list-style="bullet">
<li><patcit id="ref-pcit0001" dnum="DE102005055879"><document-id><country>DE</country><doc-number>102005055879</doc-number></document-id></patcit><crossref idref="pcit0001">[0008]</crossref><crossref idref="pcit0004">[0019]</crossref></li>
<li><patcit id="ref-pcit0002" dnum="US20050231419A1"><document-id><country>US</country><doc-number>20050231419</doc-number><kind>A1</kind></document-id></patcit><crossref idref="pcit0002">[0009]</crossref></li>
<li><patcit id="ref-pcit0003" dnum="US6628321B1"><document-id><country>US</country><doc-number>6628321</doc-number><kind>B1</kind></document-id></patcit><crossref idref="pcit0003">[0010]</crossref></li>
</ul></p>
<heading id="ref-h0003"><b>In der Beschreibung aufgeführte Nicht-Patentliteratur</b></heading>
<p id="ref-p0003" num="">
<ul id="ref-ul0002" list-style="bullet">
<li><nplcit id="ref-ncit0001" npl-type="s"><article><author><name>N. Fürstenau</name></author><author><name>M. Rudolph</name></author><author><name>M. Schmidt</name></author><author><name>B. Werther</name></author><atl/><serial><sertitle>Virtual Tower, in: Wettbewerb der Visionen 2001 bis 2004, Deutsches Zentrum für Luft- und Raumfahrt e.V.</sertitle><pubdate><sdate>20040000</sdate><edate/></pubdate></serial><location><pp><ppf>16</ppf><ppl>21</ppl></pp></location></article></nplcit><crossref idref="ncit0001">[0005]</crossref></li>
<li><nplcit id="ref-ncit0002" npl-type="s"><article><author><name>N. Fürstenau</name></author><atl>Perspectives of Virtual Reality for Integration</atl><serial><sertitle>12th Scientific Seminar, DLR, Inst. of Flight Guidance</sertitle><pubdate><sdate>20021000</sdate><edate/></pubdate></serial></article></nplcit><crossref idref="ncit0002">[0006]</crossref></li>
<li><nplcit id="ref-ncit0003" npl-type="s"><article><author><name>C.D. Wickens</name></author><atl>Multiple Resources and Performance Prediction</atl><serial><sertitle>Theor. Issues in Ergon. Sci.</sertitle><pubdate><sdate>20020000</sdate><edate/></pubdate><vid>3</vid><ino>2</ino></serial><location><pp><ppf>159</ppf><ppl>177</ppl></pp></location></article></nplcit><crossref idref="ncit0003">[0007]</crossref></li>
</ul></p>
</ep-reference-list>
</ep-patent-document>
