Die vorliegende Erfindung betrifft ein Verfahren zur Generierung einer dreidimensionalen Darstellung. Ebenfalls betrifft die Erfindung ein Computerprogrammprodukt zur Ausführung des Verfahrens und ein Steuergerät, auf dem das Verfahren ausführbar ist.
Aus dem Stand der Technik sind Verfahren zum Generieren von zweidimensionalen großen Bildern bekannt. Beispielsweise offenbart der Aufsatz von
Die dreidimensionale Darstellung wird durch eine Projektion der Texturen, die mit den Kameras aufgenommen wurden, auf eine virtuelle Projektionsfläche in Form einer Schale realisiert. Die Projektionsfläche mit der projizierten Textur wird anschließend für die Darstellung in einem Bildschirm (Display) über einen Graphikprozessor in eine Bildschirmabbildung gerendert.
Für die technische Umsetzung in einem Graphikprozessor besteht die virtuelle Projektionsfläche aus einem regelmäßigen oder annähernd regelmäßigen dreidimensionalen Netz. Die Knoten des Netzes besitzen die 3D-Koordinaten xk=(xk,yk,zk). Für das Rendern über die Graphikeinheit werden zu jedem 3D-Knoten des Netzes der virtuellen Projektionsfläche Texturkoordinaten xt=(xt,yt) berechnet. Dazu werden die Knoten xk des dreidimensionalen Netzes in die 2D-Texturkoordinaten xt projiziert. Diese mathematische Projektion xt=P(xk) beschreibt die geometrische Abbildung der virtuellen Projektionsfläche in eine entsprechende Kamera. Unter Nutzung der 3D-Koordinaten xk und der Texturkoordinaten xt kann jetzt ein schnelles hardwareunterstütztes Rendern der virtuellen Projektionsfläche unter Verwendung der Graphikeinheit in eine Displaydarstellung erfolgen.
Das Vorgehen im Stand der Technik hat den Nachteil, dass zur Berechnung der Projektion sehr oft auf einen Texturspeicher zurückgegriffen werden muss. Das Problem ist in
Der Stand der Technik verlangt daher, dass sämtliche für den Rendervorgang benötigte Texturen in dem Texturspeicher abgelegt sind, um während des Renderns auf diese zugreifen zu können. Dies benötigt einerseits einen hohen Speicherbedarf, andererseits entsteht eine Verzögerung zwischen Aufnahme der Texturen durch die Kameras und Rendern der dreidimensionalen Darstellung. Schließlich kann ein Grafikprozessor, der für den Rendervorgang bereitgestellt ist, nicht optimal ausgenutzt werden, da hierfür ein sequenzieller Zugriff auf den Texturspeicher nötig wäre. Jedoch ist der Zugriff nicht sequentiell sondern unregelmäßig.
Die Erfindung wird durch die unabhängigen Ansprüche definiert. Das erfindungsgemäße Verfahren zum Generieren einer dreidimensionalen Darstellung einer Szenerie umfasst die folgenden Schritte: Zunächst wird die Szenerie mit einer Vielzahl von Kameras aufgenommen. Die Kameras weisen insbesondere verschiedene Blickrichtungen auf die Szenerie auf. Dabei werden die von den Kameras aufgenommen Texturen als zweidimensionale Bilder in einem Texturspeicher gespeichert. Bevorzugt sind die zweidimensionalen Bilder Teil eines Videostreams, so dass die dreidimensionale Darstellung keine starre sondern eine dynamische Darstellung der Szenerie ist. Außerdem wird ein virtuelles Netz bereitgestellt, das eine virtuelle dreidimensionale Projektionsfläche bildet. Das virtuelle Netz definiert bevorzugt eine Vielzahl von zweidimensionalen Projektionskörpern, die durch die Maschen des Netzes gebildet werden. Die Projektionskörper weisen jeweils eine Oberfläche auf, wobei alle Oberflächen der Projektionskörper zusammen die Projektionsfläche bilden. Anschließend wird eine dreidimensionale Ansicht der Szenerie gerendert. Dies geschieht dadurch, dass die von jeder Kamera bestimmten Texturen auf das virtuelle Netz projiziert werden. Auf diese Weise wird ein Blickwinkel auf die Textur derart verändert, dass ein räumlicher Eindruck entsteht. Erfindungsgemäß ist das virtuelle Netz derart gestaltet, dass bei der Projektion der Texturen auf das virtuelle Netz vordefinierte Texturkoordinaten der Texturen auf Knotenpunkte des virtuellen Netzes abgebildet werden. Die vordefinierten Texturkoordinaten sind gleichmäßig angeordnet, so dass diese insbesondere einen konstanten Abstand zueinander einnehmen. Durch die regelmäßige Anordnung der Texturkoordinaten ist insbesondere ein Zugriff auf Teile der Texturen sehr aufwandsarm möglich. Eine Position, an die eine Textur auf das virtuelle Netz projiziert wird, wird bevorzugt in Abhängigkeit von einer Position der Kamera bestimmt, mit der die Textur aufgenommen wurde. Alternativ oder zusätzlich wird die Position in Abhängigkeit von einem Blickwinkel der Kamera bestimmt.
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
Vorteilhafterweise sind die Texturkoordinaten Knotenpunkte eines regulären zweidimensionalen Koordinatennetzes. Dies vereinfacht den Zugriff auf die Texturen, da diese durch regelmäßige Koordinaten beschrieben werden können. Dies ermöglicht insbesondere einen vereinfachten Zugriff auf den Texturspeicher, da dieser sequenziell ausgelesen wird. Das sequenzielle Auslesen ist nur durch das reguläre Koordinatennetz möglich, indem sequenziell die einzelnen Netzabschnitte ausgelesen werden.
Das erfindungsgemäße Verfahren wird bevorzugt derart ausgeführt, dass die Projektion der Texturen auf das virtuelle Netz derart durchgeführt wird, dass die zu projizierende Textur verzerrt wird. Auf diese Weise wird die Textur in die dreidimensionale Ansicht eingefügt. Bei der besonders bevorzugten Verwendung des Koordinatennetzes wird die Textur derart verzerrt, dass das mit der Textur zusammen verzerrte Koordinatennetz dieselbe Form wie das virtuelle Netz aufweist.
Bei dem Aufnehmen von Bildern mit den Kameras und dem, insbesondere sequentiellen, Speichern der Bilder in dem Texturspeicher kann es vorkommen, dass zu einem Zeitpunkt Teilbereiche der Texturen bereits in dem Texturspeicher ablegt sind und andere Teilbereiche erst noch übertragen werden müssen. Um ein schnelles Rendern zu ermöglichen ist es bevorzugt vorgesehen, dass das Rendern bereichsweise geschieht. So werden bevorzugt verfügbare Bereiche der Texturen gerendert. Daher muss nicht abgewartet werden, bis die zu rendernde Textur vollständig in dem Texturspeicher vorhanden ist. Die Bereiche sind insbesondere einzelne Zeilen der Textur. Alternativ sind die Bereiche bevorzugt Spalten der Textur.
Für die Generierung der dreidimensionalen Ansicht sind mehrere Kameras nötig. Die Texturen der unterschiedlichen Kameras werden in dem Texturspeicher bevorzugt verschachtelt gespeichert. Dies erlaubt eine effiziente Speicherung, wobei insbesondere kein zusätzlicher Puffer für den Texturspeicher benötigt wird. Das Rendern findet bevorzugt ebenso verschachtelt statt, indem jeweils identische Teilbereiche der Texturen der unterschiedlichen Kameras sequenziell gerendert werden. So wird insbesondere zunächst ein Teilbereich einer ersten Textur gerendert, anschließend der korrespondierende Teilbereich einer zweiten Textur, dann der korrespondierende Teilbereich einer dritten Textur, solange bis die letzte zu rendernde Textur erreicht ist. Anschließend wird mit einem zweiten Teilbereich der ersten Textur erneut begonnen.
Bevorzugt beschreibt das virtuelle Netz eine virtuelle dreidimensionale Form einer Schale. Eine derartige Form erlaubt ein einfaches und schnelles Generieren einer dreidimensionalen Ansicht.
Weiterhin besteht das virtuelle Netz bevorzugt aus Dreiecken, deren Eckpunkte jeweils den Knotenpunkten des Netzes entsprechen. Vorteilhafterweise ist auch die Verwendung anderer Polygone möglich. Die Verwendung von Dreiecken für derartige virtuelle Netze hat sich für dreidimensionale Darstellungen bewährt.
In einer vorteilhaften Ausführungsform der Erfindung werden zusätzliche dreidimensionale Objekte in die dreidimensionale Darstellung eingefügt. Diese Objekte sind insbesondere eine Repräsentation eines Ego-Fahrzeugs oder die Darstellung sonstiger Objekte aus der Szenerie. Die zusätzlichen dreidimensionalen Objekte werden vorteilhafterweise vor dem Rendern der dreidimensionalen Ansicht erzeugt. Während dieser Zeit wird der Texturspeicher mit Texturen gefüllt, die für den Rendervorgang notwendig sind. Vorteilhaft dabei ist, dass das Rendern der zusätzlichen Objekte nahezu keine Zeitverzögerung für das Rendern der dreidimensionalen Ansicht mit sich bringt.
Die Erfindung betrifft weiterhin ein Computerprogrammprodukt. Das Computerprogrammprodukt umfasst einen maschinenlesbaren Code, durch den das zuvor beschriebene Verfahren ausführbar ist, wenn das Computerprogrammprodukt auf einer Recheneinheit abläuft. Als Recheneinheit ist hier insbesondere ein Steuergerät anzusehen.
Schließlich betrifft die Erfindung ein Steuergerät, das insbesondere in einem Fahrzeug einsetzbar ist. Das Steuergerät ist bevorzugt eingerichtet, das zuvor beschriebene Verfahren auszuführen.
Vorteilhafterweise werden die Texturkoordinaten xt=(xt,yt) als regelmäßiges zweidimensionales Gitter ausgebildet. Die Inversion der mathematischen Projektion xt=P(xk) ergibt zu jeder Texturkoordinate xt einen geometrischen Strahl xs=xc+λxr im 3D-Raum, d.h. (xs,ys,zs)=(xc,yc,zc)+λ (xr,yr,zr). Bei einer mathematischen Beschreibung der Kameras als Lochkamera entspricht der Vektor xc der Position des Projektionszentrums der Kamera und der Vektor xr einem Richtungsvektor, der die Gerade vom Projektionszentrum xc zum 3D-Knoten eines Knotens der virtuellen Projektionsfläche beschreibt. Der Faktor λ ist zunächst unbekannt, kann aber, insbesondere geometrisch durch den Schnitt des Strahles xs mit einem vorhandenen geometrischen Modell xp der Projektionsfläche, ermittelt werden. Ein vorteilhaftes einfaches Modell einer Projektionsfläche ist insbesondere eine parabolische Projektionsfläche mit xp=(x,y,a∗x∗x+b∗y∗y). Als Ergebnis der Berechnungen erhält man ein unregelmäßiges dreidimensionales Netz mit den Knoten xk, welches jedoch regelmäßige 2D-Texturkoordinaten besitzt.
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:
Dies wird aus
In dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens wird statt einem regulären dreidimensionalen virtuellen Netz ein unregelmäßiges dreidimensionales virtuelles Netzt verwendet. Dies ist in
Somit wird erfindungsgemäß eine Textur 7, die auf das virtuelle Netz 9 projiziert werden soll, durch ein regelmäßiges Koordinatennetz 11 beschrieben. Das Projizieren der Textur 7 erfolgt durch ein Verzerren der Textur 7, so dass ein räumlicher Eindruck entsteht. Hier ist insbesondere vorgesehen, dass das Koordinatennetz 11, wenn es auf die gleiche Weise wie die Textur 7 verzerrt würde, genau der Form des virtuellen Netzes 9 entsprechen würde. Somit kann jeder Zelle des regelmäßigen Koordinatennetzes 11 genau eine Zelle des unregelmäßigen virtuellen Netzes 9 zugeordnet werden. Dies erlaubt eine sehr einfache Projektion der Textur 7, da die einzelnen Zellen des Koordinatennetzes 11 direkt den Zellen des virtuellen Netzes 9 entsprechen. So kann sehr einfach eine dreidimensionale Darstellung erzeugt werden.
Die dreidimensionale Darstellung wird durch ein Steuergerät 50 gemäß einem Ausführungsbeispiel der Erfindung erzeugt. Das Steuergerät 50 ist schematisch in
Es ist somit ersichtlich, dass der Grafikprozessor 18 den Texturspeicher 8 ausliest, um die Texturen 7 auf die durch das virtuelle Netz 9 gebildete Projektionsfläche zu projizieren. Dies ist erfindungsgemäß sehr einfach möglich, da die Texturen 7 durch das regelmäßige Koordinatennetz 11 in einzelne Zellen unterteilbar sind, wobei jeder Zelle des Koordinatennetzes 11 eine Zelle des virtuellen Netzes 9 entspricht. Somit muss der Teil der Textur 7, der mit einer Zelle des Koordinatennetzes 11 definiert ist, derart verzerrt werden, dass dieser die Form der korrespondierenden Zelle des virtuellen Netzes 9 einnimmt.
Durch das Koordinatennetz 11 wird die Textur 7 unterteilt. Insbesondere ist vorgesehen, die Textur 7 zeilenweise zu unterteilen, so dass durch das Koordinatennetz 7 eine erste Zeile 12, eine zweite Zeile 13, eine dritte Zeile 14 und eine vierte Zeile 15 definiert werden. Die Zeilen 13, 14, 15, 16 können unabhängig voneinander gerendert werden, da die Projektion einer Zeile 12, 13, 14, 15 auf das virtuelle Netz 9 unabhängig von den übrigen Zeilen 12, 13, 14, 15, ist. Somit muss der Grafikprozessor 18 erfindungsgemäß nicht abwarten, bis die gesamte Textur 7 in dem Texturspeicher 8 vorliegt. Der Texturspeicher 8 muss daher lediglich eine derartige Größe aufweisen, dass nur wenige Zeilen 13, 14, 15, 16 aller Texturen gespeichert werden. Dies sind die Zeilen, die im aktuellen Zeitpunkt gerade für das Rendern der Displaydarstellung benötigt werden. Daher ist es gemäß dem Ausführungsbeispiel der Erfindung möglich, vor Beendigung des Speicherns der Texturen 7 in dem Texturspeicher 8 mit dem Rendern der dreidimensionalen Darstellung 1 zu beginnen.
Dies ist in
Somit ist es möglich, die von den Kameras erfasste Szenerie sehr schnell in eine dreidimensionale Darstellung 1 umzusetzen. Eine Verzögerung, mit der die dreidimensionale Darstellung 1 die Szenerie wiedergibt, ist nur sehr gering. Ebenso erlaubt das erfindungsgemäße Verfahren gemäß dem gezeigten Ausführungsbeispiel die benötigte Hardware des Steuergeräts 50 auf ein Minimum zu reduzieren. Insbesondere der Speicherbedarf des Texturspeichers 8 wird optimiert.
Neben der schriftlichen Offenbarung wird explizit auf den Offenbarungsgehalt der beigefügten
Diese Liste der vom Anmelder aufgeführten Dokumente wurde ausschließlich zur Information des Lesers aufgenommen und ist nicht Bestandteil des europäischen Patentdokumentes. Sie wurde mit größter Sorgfalt zusammengestellt; das EPA übernimmt jedoch keinerlei Haftung für etwaige Fehler oder Auslassungen.