[0001] Die Erfindung betrifft ein Verfahren zur verbesserten Erkennung von leitungsartigen
Objekten gemäß den Merkmalen des Patentanspruchs 1.
[0002] Das vorliegende Verfahren ist geeignet für tief fliegende Fluggeräte zur Vermeidung
von Kollisionen mit Hochspannungsleitungen und anderen leitungsartigen Objekten wie
z.B. Abspanndrähte von Masten, Seilbahnen etc.
[0003] In
DE 196 05 218 C1 ist ein Verfahren zur Hinderniswarnung für tief fliegende Fluggeräte beschrieben.
Dabei werden mittels eines Sensors Entfernungsbilder der vor dem Fluggerät sich befindenden
Umgebung erzeugt. Aus den Entfernungsbildern werden Hinderniskonturen extrahiert,
indem zwischen benachbarten Bildpixeln mittels Hochpassfiltern nach Diskontinuitäten
("Sprüngen") gesucht wird. Mit einem Navigationssystem kann die Lage der Hinderniskorrektur
der natürlichen Außensicht graphisch überlagert werden. Eine Erkennung des Hindernisses
im eigentlichen Sinn findet nicht statt. In
DE 10 2005 047 273 B4 wird ein weiteres Verfahren zur Unterstützung von Tiefflügen beschrieben, welches
auf der Untersuchung von Sprüngen in den aufgenommenen Entfernungsbildern basiert.
Bei diesem Verfahren werden drahtähnliche Hindernisse bei starken Umgebungseinflüssen,
z.B. Clutter oder beim Blick gegen den Himmel erkannt.
[0004] In
DE 100 55 572 C1 ist ein Verfahren zur Leitungserkennung beschrieben welches mit Einsatz einer Hough
Transformation arbeitet. Die Hough Transformation ist bekanntermaßen ein äußerst rechenintensives
Verfahren da im Prinzip sämtliche theoretisch denkbaren Lösungen auch gerechnet werden
müssen. Es ergeben sich dabei szenenabhängig drastisch unterschiedliche Verarbeitungszeiten.
[0005] Aufgabe der Erfindung ist es, ein Verfahren zur verbesserten Leitungserkennung anzugeben,
mit welchem Leitungen zuverlässig und in Echtzeit erkannt werden.
[0006] Diese Aufgabe wird mit dem Verfahren gemäß den Merkmalen des geltenden Anspruchs
1 gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand von Unteransprüchen.
[0007] Zur verbesserten Erkennung von leitungsartigen Objekten in einer vor einem Fluggerät
befindlichen Umgebung werden aus den Entfernungswerten eines mittels eines Entfernungssensors
erzeugten Entfernungsbildes dieser Umgebung unter Berücksichtigung der Position und
Lage des Fluggeräts eine Menge von dreidimensionalen Messpunkten in einem geodätischen
Koordinatensystem erzeugt. Aus dieser Menge von Messpunkten werden unter Verwendung
bekannter Filtermethoden potentielle Leitungsmesspunkte extrahiert. In einem ersten
erfindungsgemäßen Schritt werden die potentiellen Leitungsmesspunkte in eine horizontale
Ebene projiziert und mittels einer polynomialen Phasentransformation und einer nachfolgenden
spektralen Analyse Geradenverläufe identifiziert. In einem zweiten erfindungsgemäßen
Schritt werden die potentiellen Leitungsmesspixel auf und in einem vorgebbaren Abstand
zu einer im ersten Schritt gefundenen Geraden in eine vertikale Ebene zu der horizontalen
Ebene und der jeweiligen Geraden aus dem ersten Schritt projiziert und mittels einer
quadratischen Formtransformation Katenoiden- oder Parabelverläufe identifiziert.
[0008] Bei den beschriebenen bekannten Filtermethoden handelt es sich um Filter, welche
Clutter und Störungen, z.B. durch Sonneneinstrahlung eliminieren. Solche Filter werden
z.B. in
DE 10 2005 047 273 B4 oder
DE 198 28 318 C2 beschrieben. Messpunkte welche in diesen Filtermethoden als Clutter oder Störung
identifiziert werden, werden in dem ersten und zweiten erfindungsgemäßen Verfahrensschritt
nicht berücksichtigt. Dadurch wird die Rechenzeit erheblich reduziert.
[0009] Die den potentiellen Leitungsmesspunkten entsprechenden Pixel werden in eine horizontale
Ebene projiziert in welcher Leitungen als Geradenstücke erscheinen. Es gilt nun mit
einem geeigneten Verfahren diese Geradenstücke zu erkennen. Wegen der bekannten Nachteile
kommt hier nicht die Hough Transformation zum Einsatz.
[0010] In dem erfindungsgemäßen Verfahren wird eine mathematische Analogie zwischen einem
Linienfit und der Bestimmung der spektralen Parameter eines Signals mit mehreren Komponenten
hergestellt. Für die spektrale Analyse existieren effiziente Verfahren in der digitalen
Signalverarbeitung.
[0011] In einem erfindungsgemäßen Verfahrensschritt findet eine Zuordnung geeigneter Messpunkte,
d.h. welche sich innerhalb eines definierten Korridors, d.h. einen vorgegebenen Abstand
aufweisend, um die im ersten Verfahrensschritt abgeschätzten Gerade befinden, statt.
[0012] Die Auswertung im zweiten erfindungsgemäßen Verfahrensschritt erfolgt verallgemeinert
auf die Identifizierung von Katenoiden. Als Näherung zur Rechenzeitersparnis kann
die Identifizierung auch auf Parabeln erfolgen.
[0013] Um eine niedrige Falschalarmrate zu erreichen, kann das Ergebnis einer Auswertung
eines Entfernungsbildes (Datensatz) zusätzlich zur Bestätigung mit den Ergebnissen
der zeitlich voran gegangenen Bilder verglichen werden.
[0014] Es können zur Erhöhung der Verfahrenssicherheit auch mehrere Datensätze zur Auswertung
akkumuliert werden.
[0015] Werden mehrere Leitungen gefunden können anhand der durch die polynomiale Phasentransformation
gefundene Parametrisierung die Lage der Leitungen relativ zueinander untersucht werden
und unplausible Leitungsverläufe eliminiert werden.
[0016] Ist eine Leitung bestätigt, kann die Lage relativ zur extrapolierten Flugtrajektorie
des Flugkörpers untersucht werden, um in kritischen Fällen eine Warnung zu erzeugen.
[0017] Aufgrund der bekannten Lageinformation kann der Pilot z.B. über Entfernung, Höhe
und Richtung relativ zur Hubschrauberachse oder Flugvektor informiert werden. Die
Leitung kann als Symbol, Messpunktwolke oder Katenoide anhand der gefundenen Parametrisierung
als Video- oder FLIR Overlay oder in eine digitale Karte eingezeichnet werden.
Sensorsystem
[0018] Als Sensor wird ein bildgebendes Front-End gewählt, welches die Szene aktiv abtastet
und dessen Bildinformation aus Entfernungswerten besteht. Entfernungsbilder sind für
die nachfolgende automatische Bildauswertung zur Leitungserkennung vorteilhaft. Als
Sensoren kommen ein Laserscanner, der Vorzugsweise im Infrarotbereich arbeitet, oder
ein abbildendes Radar im mm-Wellenbereich in Frage. Obwohl das Radar im Hinblick auf
Schlechtwetterbetrieb (Nebel) gewisse Vorteile besitzt, hat nach aktuellem Stand der
Technik nur ein Laserscanner die gewünschte vertikale und laterale Bildauflösung.
Beide Sensoren sind als aktive Systeme gleichermaßen für Tag und Nachtbetrieb geeignet.
[0019] Ein geeigneter Laserscanner ist für große Reichweiten (>1km) und hohe Bildauflösung
(z.B. 0,5 horizontal* 0,1 Grad vertikal) ausgelegt. Für jedes Entfernungsbild muss
die räumliche Richtung, in die der Lasermesspuls ausgesandt wurde, eindeutig im sensorfesten
Koordinatensystem bestimmbar sein, durch die Bauart des Scanners sowie evtl. durch
zusätzliche Messungen während des Scanvorgangs.
[0020] Das Navigationssystem dient zur Bestimmung von Position und Lage des Fluggeräts.
Jeder Entfernungswert wird mit Hilfe der Koordinaten der zugehörigen räumlichen Scanrichtung
und den aktuellen Positions- und Lageparametern des Fluggeräts in einen Szenenpunkt
umgerechnet. Ein Szenenpunkt (Messpunkt) ist durch seine drei Ortskoordinaten in einem
erdfesten Koordinatensystem festgelegt. Aus jedem Entfernungsbild entsteht auf diese
Weise eine sog. erdfeste Messpunktwolke, aus der evtl. vorhandene Leitungen extrahiert
werden können.
[0021] Für die Datenverarbeitung ist ein Prozessor mittlerer Leistung zuständig. Auf diesem
wird zunächst die oben genannte Transformation von Entfernungsmesswerten in Messpunkte
durchgeführt.
[0022] Die sich daraus ergebenen Daten dienen als Input für eine Auswerteeinheit. Die Auswerteeinheit
stellt fest, ob sich die einzelnen Leitungen in gefährlicher Nähe zur aktuellen Position
des Fluggeräts oder zur vorgesehenen Flugbahn befinden. Das Ergebnis dieser Auswertung
wird dem Piloten optisch und/oder akustisch mitgeteilt.
[0023] Als Sensor kann ein bildgebendes Front-End verwendet werden, welches die Umgebung
des Fluggeräts aktiv abtastet und dessen Bildinformation aus Entfernungswerten besteht.
Die daraus entstehenden Entfernungsbilder werden in den nachfolgenden Verfahrensschritten
zur Leitungserkennung verwendet. Als Sensoren kommen ein Laserscanner oder ein abbildendes
Radar im mm-Wellenbereich in Frage. Im Gegensatz zum Radar, welches im Hinblick auf
Schlechtwetterbetrieb (Nebel) gewisse Vorteile besitzt, hat ein Laserscanner eine
vergleichsweise bessere vertikale und laterale Bildauflösung. Beide Sensoren sind
als aktive Systeme gleichermaßen für Tag und Nachtbetrieb geeignet.
[0024] Ein geeigneter Laserscanner ist für große Reichweiten (>1 km) und hohe Bildauflösung
(z.B. 0,5 horizontal* 0,1 Grad vertikal) ausgelegt. Für jedes Entfernungsbild ist,
durch die Bauart des Scanners sowie durch etwaige zusätzliche Messungen während des
Scanvorgangs, die räumliche Richtung in die der Lasermesspuls ausgesandt wurde eindeutig
im sensorfesten Koordinatensystem bestimmbar.
[0025] Das Navigationssystem dient zur Bestimmung von Position und Lage des Fluggeräts.
Jeder Entfernungswert wird mit Hilfe der Koordinaten der zugehörigen räumlichen Scanrichtung
und den aktuellen Positions- und Lageparametern des Fluggeräts in einen Messpunkt
umgerechnet. Ein Messpunkt ist durch seine drei Ortskoordinaten in einem geodätischen
Koordinatensystem festgelegt. Aus jedem Entfernungsbild entsteht auf diese Weise eine
so genante erdfeste Messpunktwolke, aus der vorhandene Leitungen extrahiert werden
können.
[0026] Für die Datenverarbeitung ist ein Prozessor mittlerer Leistung zuständig. Auf diesem
wird eine Transformation der Entfernungsmesswerte in Messpunkte durchgeführt. Die
sich daraus ergebenen Daten dienen als Input für eine Auswerteeinheit. Die Auswerteeinheit
stellt fest, ob sich die einzelnen Leitungen in gefährlicher Nähe zur aktuellen Position
des Fluggeräts oder zur vorgesehenen Flugbahn befinden. Das Ergebnis dieser Auswertung
wird dem Piloten optisch und/oder akustisch mitgeteilt.
[0027] Ausgangspunkt für die in der Erfindung verwendete PPT ist eine reduzierte Menge von
dreidimensionalen Messpunkten. Die reduzierte Menge begründet sich dadurch, dass lediglich
solche Messwerte einer PPT unterzogen werden, welche nicht durch Clutter- oder Störungsfilter
eliminiert wurden.
[0028] In einem ersten Verfahrensschritt der Erfindung wird nur die horizontale (x,y)-Komponente
der Messwerte ausgewertet, um die Geradenverläufe in dieser Punktmenge zu identifizieren.
Horizontale Geraden sind potentielle Verlaufsrichtungen von Leitungen. In einem zweiten
Verfahrensschritt der Erfindung werden alle vertikalen Ebenen, die zu den hier gefundenen
Geraden gehören, auf Katenoidenstücke oder Parabelstücke untersucht [Katenoide: cosh(x)].
Das heißt, es werden alle Messpunkte, die in oder nahe bei einer solchen Ebene liegen,
in diese Ebene projiziert, und der resultierende Satz von zweidimensionalen Messpunkten
wird mittels Anwendung einer quadratischen Formtransformation (QFT) auf Katenoiden
bzw. Parabeln untersucht.
Polynomiale Phasentransformation (Polynomial Phase Transform - PPT )
[0029] Die Erfindung basiert auf der so genannten Polynomial Phase Transform. Darin wird
das Problem der Geradenerkennung in ein Problem der Frequenzbestimmung eines sinusförmigen
Signals überführt bzw. der spektralen Analyse eines Frequenzgemisches im Falle mehrerer
Geraden. Hierfür stehen bekannte Signalverarbeitungsverfahren zur Verfügung (Fourier
Transformation, Matrix Pencil, FFT, Wavelets, Esprit, Pisarenco, MUSIC etc.) wobei
sich der Matrix Pencil als besonders effizient erwiesen hat und im Weiteren im Detail
erläutert wird.
[0030] Im Folgenden wird zunächst kurz die polynomiale Phasentransformation erläutert:
Die horizontale Projektion der potentiellen Leitungspixel wird auf eine NxM-Matrix abgebildet. Die Elemente dieser Matrix haben den Wert 1 wenn sie ein potentielles
Leitungspixel repräsentieren, ansonsten den Wert 0. Die Matrix entspricht also einem
diskretisierten Binärbild mit Draufsicht von oben.
[0031] Sei
R eine
NxM-Matrix mit:

worin die
qi(
k)∈{0,1}, dann hat die polynomiale Phasentransformation die Form:

[0032] Sei
P(
x) ein Polynom von
x. Im Folgenden werden nur Polynome vom Grad 1 benutzt. Speziell für die Detektion
von Geraden wird folgendes Polynom benutzt:

µ
1 ist ein konstanter, geeignet zu wählender Parameter, typischerweise im Bereich 0,01
bis 1. Mit diesem Parameter wird die Samplingfrequenz beeinflusst.
[0033] Im Falle von
d Geraden mit Winkeln ϕ
j und Achsenabschnitten
xj mit 1 ≤
j ≤
d und einer Linienbreite, so dass jede Gerade nur einen Eintrag pro Zeile erzeugt,
gilt für den
k-ten Eintrag von
z :

[0034] Dieses ist ein sinusförmiges Signal, welches man in der Form (5) schreiben kann:

[0035] Die Frequenzen
fj enthalten nun die gesuchten Informationen, nämlich die Winkel ϕ
j:

Matrix Pencil Methode
[0036] Im nächsten Schritt werden die Frequenzen ϕ
j bestimmt. Hierzu gibt es verschiedene Möglichkeiten. Dazu zählen die Fourier-Transformation
(FT), die Maximum-Likelihood Methode (MLM), die Methode der kleinsten Quadrate (LSM)
und die Matrix Pencil Methode (MPM). Im Folgenden wird die Matrix Pencil Methode angewendet.
Selbstverständlich lassen sich auch die anderen Methoden zur Frequenzbestimmung heranziehen.
[0037] Zunächst werden die Eingangsdaten in folgender Art und Weise zusammengefasst:

[0038] Worin "
T" transponiert bedeutet und
L ein gewählter Parameter ist, der sogenannte Pencilparameter, mit
d ≤
L ≤
N - d. Die
x(
k) sind die gemessenen Daten in der Form:

[0039] Drei Aussagen sind wichtig, um die MPM nachzuvollziehen: Erstens:

mit

[0040] Zweitens:
Jedes der {zt;r =1,...,M} ist eine Rang reduzierende Zahl des Matrix Pencils X1 - zX0, wenn M ≤ L ≤ N - M ist.
Keine der {zt,;r =1,...,M} ist eine Rang reduzierende Zahl des Matrix Pencils, wenn L < M oder L > N - M ist.
[0041] Drittens:
Wenn M ≤ L ≤ N - M ist, ergeben sich die Lösungen des Singulär- Eigenwertproblems:

zu:

X0 und X1 sind nicht quadratisch, deswegen ist es eine Singulärwertzerlegung und kein einfaches
Eigenwertproblem.
qr und pr werden die Rechts- bzw. Linkssingulärvektoren zum Singulärwert zr genannt.
"+" steht für die Moore-Penrose Inverse oder Pseudoinverse. "t" bedeutet konjugiert und transponiert, "-1" ist die Inverse.
[0042] Basierend auf (10) bekommt man die folgenden Ergebnisse zur Berechnung der {
zt;
r = 1,...,
M} von
X0 und
X1:
Multipliziert man die erste Gleichung von (11) von links mit

erhält man:

[0043] Das impliziert, dass {
zt;
r=1,...,
M} die M Singulärwerte von

sind. Da

den Rang
M ≤
L hat, existieren auch noch
L - M Singulärwerte mit dem Wert 0 für das Matrixprodukt.
[0044] Für

ergibt sich auf äquivalente Weise, dass
M Singulärwerte vergleichbar mit den
zr's hat und
N - L - M Eigenwerte gleich 0, und

(oder

) hat
M Singulärwerte vergleichbar mit
zr-1's und
L -
M (oder
N -
L -
M)
Singulärwerte gleich 0.
[0045] Für verrauschte Daten
y(
k)=
x(
k)+
n(
k) worin
n(
k) das Rauschen ist, sind
y(
k),
Y0 und
Y1 genauso definiert, wie
x(
k),
X0 und
X1.
[0046] Die Pseudoinversen

oder

werden ersetzt durch die auf Rang
M verkürzte Pseudoinverse

bzw.

ist definiert als:

wobei {σ
0t;
r =1,...,
M} die
M größten Singulärwerte von
Y0 sind;
v0r und
u0r sind die zugehörigen Singulärvektoren;

ist ähnlich definiert.
[0047] Was die Rauschkomponenten in
Y0 betrifft, ist die Stetigkeit jedes Elements der verkürzten Pseudoinversen

auch an dem Punkt erhalten, wo das Rauschen gleich 0 ist, und somit auch die Stetigkeit
der
zr's. Im Gegensatz zu der Tatsache dass die komplette Pseudoinverse von
Y0 unstetig ist an dem Punkt wo das Rauschen null ist, und somit würde es verschiedene
Probleme verursachen, die komplette Pseudoinverse zu berechen bei einem niedrigen
Rauschpegel.

ist identisch mit

dann und nur dann wenn das Rauschen null ist. Da
Y0+Y1 L-M Singulärwerte gleich null hat, die keine Informationen über die
zr's beinhalten, kann man die Größe der Matrix reduzieren, bevor man die Singulärwerte
berechnet. Ersetzt man
X0 und
X1 in (13) durch
Y0 und
Y1 und substituiert (14) in (13) für
Y0+,
erhält man:

da

und

ergibt Multiplizieren der Gleichung (17) von links mit

[0048] Nun kann man erkennen, dass die Schätzung der
zr's gefunden werden können durch Berechnung der Eigenwerte der
M ×
M nicht-symmetrischen Matrix:

[0049] Somit sind die Singulärwerte
zr die
M Eigenwerte von
ZE, welche dieselben sind wie die
M von null verschiedenen Singulärwerte von

[0050] Somit sind die gesuchten Frequenzen:

Quadratic Form Transform (QFT)
[0051] Um herauszufinden, ob die gefundene Gerade auch eine Hochspannungsleitung ist, werden
die Pixel der Gerade in die Frontansicht transformiert. Das heißt, man betrachtet
die Pixel der Gerade nicht mehr aus der Vogelperspektive. Man benutzt stattdessen
das erste gefundene Pixel der Gerade als Nullpunkt eines neuen Koordinatensystems,
welches die gefundene Gerade als eine der neuen Achsen benutzt, und die
z-Achse als die zweite neue Achse. Somit erhält man ein Diagramm, in dem die gefundene
Gerade Katenoidenform haben sollte, wenn sie einer Hochspannungsleitung entspricht.
Die Transformation PPT basiert auf einem Polynom vom Grad 1. Also ist es damit nicht
möglich, die Parameter eines cosh zu bestimmen, denn das grundlegende Problem dabei
ist, das man eine Gleichung der Form:

zu lösen hätte, legt man die allgemeine Form des cosh zu Grunde:

[0052] Deshalb benutzt man zunächst die ersten beiden Terme der Taylorentwicklung des cosh:

[0053] Wenn die gefundene Gerade einer Hochspannungsleitung entspricht, sollte sie also
in einer annähernden Parabelform zu sehen sein. Nun kann man mit Hilfe einer weiteren
Transformation, der sogenannten Quadratic Form Transform, diese Parabelform überprüfen.
In der Frontansicht wird also ein Test auf Parabelform gemacht, allerdings nicht mit
der PPT, sondern mit der QFT. Anschließend wird das Signal wieder an die Matrix Pencil
Methode (MPM) weitergegeben.
[0054] Diese Transformation wird benutzt um die Parameter einer Parabel zu bestimmen. Im
Weiteren wird die Funktion der Transformation kurz erläutert:
Ausgangspunkt ist die allgemeine Form einer Parabel:

[0055] Dann hat das für die Transformation benutzte Signal ähnlich zu der PPT die Form:

[0056] Die Transformation an sich ist dann:

[0057] Und schließlich führt folgende Rechnung dann zum Resultat:

[0058] Dieses Ergebnis hängt nur linear von der Variable
k ab, so dass es nun in der Matrix Penxcil Method benutzt werden kann um den Parameter
a zu bestimmen:

[0059] Dabei gilt es zu beachten, τ ≠ 0, zweckmäßig wird τ auf 1 gesetzt.
[0060] Wäre der Wert gleich null, würde man mit (26) den Betrag der komplexen Zahl
z mit 1 festlegen. Damit wäre keine Weiterverarbeitung möglich.