Fahrerassistenzsystem für Fahrzeuge, insbesondere Nutzfahrzeuge

Beschreibung

[0001] Die vorliegende Erfindung betrifft ein Fahrerassistenzsystem für Fahrzeuge, insbesondere Nutzfahrzeuge, zur Warnung vor sich in der Umgebung des Fahrzeugs befindlichen Kollisionsobjekten.

[0002] Neben herkömmlichen Spiegeln als Einrichtungen zur indirekten Sicht werden derzeit in Ergänzung oder als Ersatz für die Spiegel Kamerasysteme bzw. Bildaufnahmesysteme als Einrichtungen zur indirekten Sicht eingesetzt, bei denen eine (Bild-)Aufnahmeeinheit ein Auf nahmebild kontinuierlich erfasst, diese von der Aufnahmeeinheit erfassten (Video-)Daten, beispielsweise mittels einer Berechnungseinheit und gegebenenfalls nach Weiterbearbeitung, an eine im Fahrerhaus befindliche Wiedergabeeinrichtung geliefert werden, welche für den Fahrer dauerhaft und jederzeit einsehbar den aufgenommenen Bereich darstellt, der gesetzlich geforderte Sichtfelder enthalten kann. Außerdem werden die in dem aufgenommen Bereich befindliche Objekte dargestellt.

[0003] Beispielsweise offenbart die DE 10 2011 010 624 A1 eine Anzeigevorrichtung für gesetzlich vorgeschriebene Sichtfelder eines Nutzfahrzeugs in einem Fahrerhaus des Nutzfahrzeugs, die mindestens eine Anzeigeeinheit aufweist, die dazu angepasst ist, mindestens zwei der gesetzlich vorgeschriebenen Sichtfelder dauerhaft und in Echtzeit auf der Anzeigeeinheit im Fahrerhaus anzuzeigen.

[0004] Trotz dieser vorgeschriebenen Einrichtungen für indirekte Sicht ist es jedoch für einen Fahrzeugführer kaum möglich bzw. sehr schwierig, die unfallkritischen Bereiche rund um ein Nutzfahrzeug jederzeit vollständig und ausreichend im Auge zu behalten, insbesondere auf Grund deren Vielzahl.

[0005] Gerade bei Nutzfahrzeugen wie LKWs, Bussen etc. ist beispielsweise die Einsehbarkeit in die unmittelbare Fahrzeugumgebung, besonders auf den Fahrzeugseiten und insbesondere auf der Beifahrerseite kritisch. Hindernisse, wie andere Verkehrsteilnehmer, z. B. andere Fahrzeuge, Fußgänger und/oder Fahrradfahrer und/oder stationäre Objekte wie Straßenpfosten, Straßenlaternen, Straßenschilder, usw., werden schlecht erkannt, da die Auflösung der Darstellung oft ungenügend ist, z. B. auf Grund der Abbildung verhältnismäßig weiter Winkel, und eine Vielzahl an Informationen dargestellt wird. Auch ist die Orientierung für den Fahrer auf den verhältnismäßig zahlreichen Einrichtungen für indirekte Sicht schwierig, so dass die Gefahr besteht, dass gerade bei Abbiege- oder Rangiervorgängen Kollisionsobjekte übersehen werden, obwohl sie in der Einrichtung für indirekte Sicht abgebildet sind. Bevorzugt ist die Aufnahmeeinheit derart an dem Fahrzeug, insbesondere Nutzfahrzeug, angebracht, dass ein Sichtbereiche erfasst wird, der den sogenannten toten Winkel beinhaltet.

[0006] Daher ist es ferner bekannt, ergänzende Information, wie z. B. Kollisionshinweise, Abstände und Ähnliches, für den Bereich rund um das Fahrzeug darzustellen. So können Hindernisse und Kollisionsobjekte unabhängig von ihrem Typ, sofern sie sich in einem kritischen Bereich befinden, auf einem Wiedergabebild durch graphische Einblendung, wie beispielsweise farbige Rahmen oder dergleichen, hervorgehoben werden. Auch akustische bzw. visuelle Warnsignale mittels Lautsprechern bzw. Lichteffekten zum Hinweisen auf Hindernisse, die sich in der unmittelbaren Fahrzeugumgebung befinden, sind bekannt, wobei die Nähe des Objekts z. B. durch Abstandssensoren am Fahrzeug erfasst wird.

[0007] Nachteilig hierbei ist, dass durch die graphischen Einblendungen Teile des Wiedergabebilds verdeckt werden und dadurch häufig die genaue Lokalisierung des Hindernisses auf dem Wiedergabebild nicht eindeutig ist bzw. die Orientierung für den Fahrer auf dem Wiedergabebild erschwert ist, und keine Unterscheidung zwischen kollisionsrelevanten Objekten und solchen Objekten, die keine oder eine nur sehr geringe Kollisionswahrscheinlichkeit haben, gemacht wird. Außerdem sind derzeitige Warnsysteme nicht in der Lage, Hindernisse, die aus unterschiedlichen Perspektiven erfasst werden, als solche zu erkennen, da diese in den unterschiedlichen Perspektiven andere Darstellungen auf dem Wiedergabebild besitzen. Außerdem ist es bekannt, weitere Warnsysteme und Fahrerassistenzsysteme an einem Fahrzeug anzubringen, um das Fahren mit dem Fahrzeug sicherer zu gestalten In diesem Kontext sind Warnsysteme wie Notbremsassistenten, Spurhalteassistenten, Spurwechselassistenten, Einparkhilfen, usw. zu erwähnen. Zudem ist es möglich, Kollisionsobjekte im Aufnahmebild, beispielsweise mittels der sogenannten "Mobileye Pedestrian Collision Warning" (Fußgängererkennung) und mittels Geschwindigkeitslimit-Assistenten (Verkehrszeichenerkennung), zu erkennen und den Fahrer diesbezüglich zu warnen. Ferner können Fahrerassistenzsysteme, beispielsweise sogenannte "Kreuzungsassistenten", die Trajektorien der erkannten Kollisionsobjekte bestimmen und auf potentielle Kollisionen hinweisen.

[0008] Aus der DE 10 2011 109 459 A1 ist ein Verfahren zum Erfassen von Objekten seitlich eines Nutzfahrzeugs bekannt. Dabei werden mit mindestens einer Kamera in einem an einer Seite eines Nutzfahrzeugs liegenden Sektor befindliche Objekte erfasst. Daraufhin werden in einer Auswerteeinheit die erfassten Objekte bewertet, wobei eine Lage der erfassten Objekte relativ zum Nutzfahrzeug ermittelt und eine Kollisionsgefahr mit dem Nutzfahrzeug bewertet wird. Im Falle einer Kollisionsgefahr wird von der Auswerteeinheit an eine Wiedergabeeinheit eine Information übermittelt, auf die hin die Wiedergabeeinheit ein Warnsignal ausgibt.

[0009] Die DE 103 36 638 A1 offenbart eine Vorrichtung zur Klassifizierung von wenigstens einem-Objekt in einem Fahrzeugumfeld mittels einer Umfeldsensorik. Das Objekt wird zumindest anhand seiner dreidimensionalen Form und seiner Abmessungen klassifiziert. Die Umfeldsensorikist dabei derart konfiguriert, dass sie die Form und die Abmessungen ermitteln kann.

[0010] Aus der DE 10 2007 059 735 A1 ist ein Stereo-Sichtsystem für Fahrzeuge zur Erkennung seitlich liegender Hindernisse bekannt. Durch den Gebrauch eines schmalen Grundlinien Stereosichtsystems, das im Verhältnis zum Boden/zur Straße vertikal angeordnet werden kann, werden bei dem System und der Methode Kameras im Stereoverhältnis bei unauffälliger Montage eingesetzt, um eine verlässliche Erkennung innerhalb einer guten Reichweitenunterscheidung anzubieten. Das von jeder Kamera empfangene Bildsignal kann konditioniert werden, ehe es angeglichen und mit Unebenheiten verglichen wird, die oberhalb des Bodens angesehen wurden und anhand zuvor festgelegter Ungleichheitskriterien gemessen werden.

[0011] Die DE 10 2011 116 771 A1 betrifft ein Verfahren zum Anzeigen von Bildinformationen auf einer Anzeigeeinheit eines Fahrzeugs, bei welchem eine Umgebung des Fahrzeugs mit einer Detektionseinrichtung des Fahrzeugs erfasst wird, und bei welchem die Fahrzeugumgebung in einer ersten Darstellung in einer ersten Perspektive oder in einer zweiten Perspektive als Bildinformation auf der Anzeigeeinheit angezeigt wird. Ein Wechsel der Darstellung erfolgt dann automatisch, wenn sich das Fahrzeug auf einer ersten Fahrbahn befindet, welche in einem Winkel in eine zweite Fahrbahn mündet und das Fahrzeug sich in Richtung der zweiten Fahrbahn bewegt, und die Detektionseinrichtung des Fahrzeugs mit ihrem Erfassungsbereich die zweite Fahrbahn zumindest seitlich den seitlichen und vorderen Begrenzungen der ersten Fahrbahn erfassen kann.

[0012] Davon ausgehend ist es Aufgabe der Erfindung ein Fahrerassistenzsystem für ein Fahrzeug, insbesondere Nutzfahrzeug, bereitzustellen, das dem Fahrer eine Warnung ausgibt und/oder einen Eingriff in die Steuerung des Fahrzeugs vornimmt, wenn zumindest ein Kollisionsobjekt, das eine Kollisionsgefahr für das Fahrzeug ausstrahlt, in der Fahrzeugumgebung erfasst wird.

[0013] Diese Aufgabe wird mit einem Fahrerassistenzsystem mit den Merkmalen des Anspruchs 1 gelöst. Bevorzugte Ausführungsformen sind in den abhängigen Ansprüchen angegeben.

[0014] In der Beschreibung dieser Erfindung beziehen sich Richtungsangaben auf ein Fahrzeug, insbesondere Nutzfahrzeug, bei normaler Vorwärtsfahrt. In seitlicher Richtung bedeutet somit diejenige Richtung, die entlang der Senkrechten zu einem Vorwärtsfahrtrichtungsvektor des Kraftfahrzeugs ist und der Links-Rechts-Richtung entspricht. Ferner beschreibt der Begriff "Sichtbereich" einen Bereich, der von einer Aufnahmeeinheit, beispielsweise einer Kamera, maximal erfasst werden kann. Davon unterscheidet sich der Begriff eines "Sichtfelds", das einen Bereich angibt, der gesetzlich vorgeschrieben vom Fahrer eingesehen werden muss. Deshalb beschreibt ein Sichtbereich in der Regel einen Bereich, der zumeist größer als ein gesetzlich vorgeschriebenes Sichtfeld ist.

[0015] Der Erfindung liegt der Gedanke zugrunde, ein Fahrerassistenzsystem für ein Fahrzeug, insbesondere Nutzfahrzeug, vorzusehen, das dem Fahrer eine Warnung ausgibt und/oder einen Eingriff in die Steuerung des Fahrzeugs vornimmt, wenn sich ein Hindernis bzw. Kollisionsobjekt, das eine Kollisionsgefahr für das Fahrzeug ausstrahlt, in der Fahrzeugumgebung befindet. Dabei ist das sich nicht oder verhältnismäßig langsam bewegende Objekt in unmittelbarer Fahrzeugumgebung oder es ist ein sich verhältnismäßig schnell bewegendes Objekt mit Kollisionsgefahr weiter entfernt vom Fahrzeug.

[0016] Das Fahrerassistenzsystem weist eine Aufnahmeeinheit, eine Berechnungseinheit und eine Wiedergabeeinheit auf. Die Aufnahmeeinheit hat ein Aufnahmegerät, das eine optische Achse aufweist, die unter einem Winkel zur Fahrbahn des Fahrzeugs steht. Die Berechnungseinheit ist dazu angepasst, von der Aufnahmeeinheit erhaltene Daten im Hinblick auf Kollisionsobjekte auszuwerten und beim Erfassen eines Kollisionsobjekts das Ausgeben einer Warnung an den Fahrer zu veranlassen und/oder in die Steuerung des Fahrzeugs einzugreifen.

[0017] Die Berechnungseinheit bestimmt zur Erkennung von Kollisionsobjekten auf Basis von in Abhängigkeit von einer Relativposition eines Kollisionsobjekts zum Aufnahmegerät gewählten Kollisionsobjektparametern das Vorhandensein und/oder die Art eines Kollisionsobjekts.

[0018] Die Berechnungseinheit bestimmt somit beim Erkennen eines Objekts im Aufnahmebild die Art des Objekts anhand von Parametern, die in Abhängigkeit von der Relativposition des Objekts zum Aufnahmegerät variieren. Aus der bestimmten Art des Objekts und der Relativposition kann die Berechnungseinheit dann schließen, ob es sich um ein Kollisionsobjekt handelt. Das heißt, die Erkennung des wenigstens einen Kollisionsobjekts erfolgt dabei überall im gesamten mehrperspektivischen Bild abhängig von der jeweiligen Perspektive der Aufnahme und damit der Art der Abbildung eines jeweiligen Kollisionsobjekts, indem die von der Relativposition zum Aufnahmegerät entsprechenden Kollisionsparameter gewählt werden.

[0019] So kann beispielsweise ein Fußgänger in einer Draufsicht einen vollständig anderen Umriss als in einer Horizont- oder Seitenansicht haben. Insbesondere bei Nutzfahrzeugen kann die Anbauposition der Aufnahmeeinheit sehr hoch sein, beispielsweise in einer Höhe von mehr als 2 m, wodurch in unmittelbarer Fahrzeugumgebung eine Draufsicht der Kollisionsobjekte erfasst wird. Durch die Auswahl der Erkennungsparameter in Abhängigkeit von der Aufnahmeposition kann das Kollisionsobjekt jedoch im Beispiel in beiden Fällen als Fußgänger erkannt werden. Ein Fußgänger wird in Abhängigkeit von der Erkennung als solcher z. B. dann als Kollisionsobjekt eingestuft, wenn er sich in Fahrzeugnähe befindet, jedoch nicht als Kollisionsobjekt eingestuft, wenn er ausreichend entfernt vom Fahrzeug ist. Alternativ oder zusätzlich zur Auswertung im Hinblick auf den Typ des möglichen Kollisionsobjekts können weitere Merkmale, wie Bewegungstrajektorien, für die Einstufung als Kollisionsobjekt herangezogen werden.

[0020] Als weiteres Beispiel ist ein Motorradfahrer zu nennen, der sich z. B. relativ zum Fahrzeug entfernt befindet und sich mit verhältnismäßig schneller Geschwindigkeit dem Fahrzeug nähert. Die Berechnungseinheit kann in diesem Beispiel aus dem von der Aufnahmeeinheit empfangenen Aufnahmebild den Motorradfahrer in der nahezu horizontalen und frontalen Ansicht erkennen, der in dieser Ansicht eine Gestalt ähnlich zu einem dicken vertikalen Balken aufweist. Nähert sich der Motorradfahrer dem Fahrzeug, kann sich auch beispielsweise seine Perspektive von der Frontansicht in eine nahezu Seitenansicht ändern, der in dieser Ansicht die bekannte Gestalt eines Motorradfahrers mit beiden Rädern aufweist. In beiden Fällen ist auch hier die Berechnungseinheit in der Lage, aus beiden Perspektiven das Vorhandensein und die Art des Kollisionsobjekts, in diesem Beispiel ein Motorradfahrer, zu ermitteln, und das Objekt, je nach seiner Entfernung zum Fahrzeug, als Kollisionsobjekt einzustufen. Bei Erkennung als Motorrad wird beispielsweise auch ein entferntes Motorrad auf Grund seiner möglichen höheren Geschwindigkeit als Kollisionsobjekt eingestuft.

[0021] Die Berechnungseinheit ist dazu angepasst, die von der Aufnahmeeinheit erfassten Aufnahmebilder auszuwerten. Dabei sei erwähnt, dass die Aufnahmeeinheit kontinuierlich zu verschiedenen Zeitpunkten einzelne Momentaufnahmen der Fahrzeugumgebung fotografisch erfasst und diese Einzelbilder an die Berechnungseinheit zur Bildauswertung sendet. Beispielsweise ist die Aufnahmeeinheit dazu angepasst, 25 Bilder pro Sekunde zu erfassen. Vorzugsweise wertet die Berechnungseinheit jedes von der Aufnahmeeinheit empfangene Bild hinsichtlich der oben erwähnten Kollisionsparameter aus.

[0022] Durch das erfindungsgemäße Fahrerassistenzsystem wird der Fahrer des Fahrzeugs unabhängig von der perspektivischen Erfassung vor denjenigen Kollisionsobjekten gewarnt, die eine Kollisionsgefahr auf das Fahrzeug ausstrahlen. Die Berechnungseinheit berücksichtigt bei der Auswertung jedes der von der Aufnahmeeinheit als Draufsicht oder als Sicht von schräg oben auf die Fahrzeugumgebung erfassten Aufnahmebilder, erkennt darin kritische und/oder für das Fahrzeug gefährliche Kollisionsobjekte und warnt den Fahrer, beispielsweise akustisch, visuell oder haptisch, vor diesen. Bevorzugt wird der Fahrer vor denjenigen Kollisionsobjekten gewarnt, die sich in einem Bereich hinter und/oder seitlich neben dem Fahrzeug, insbesondere im sogenannten toten Winkel, befinden und von denen eine Kollisionsgefahr ausgeht.

[0023] Vorteilhafterweise veranlasst die Berechnungseinheit zusätzlich oder alternativ zur oben genannten Warnung einen Eingriff in die Steuerung des Fahrzeugs, wenn ein Kollisionsobjekt erfasst worden ist. Beispielsweise kann die Berechnungseinheit der Steuerung des Fahrzeugs ein Signal bereitstellen, das daraufhinweist, dass das Fahrzeug gebremst oder beschleunigt werden soll, um so einer Kollision mit dem Kollisionsobjekt vorzubeugen. In einer weiteren Ausgestaltung kann die Berechnungseinheit der Steuerung des Fahrzeugs ein Signal bereitstellen, das daraufhinweist, dass der Lenkwinkel des Fahrzeugs derart verändert werden soll, so dass eine Kollision mit dem Kollisionsobjekt vermieden werden kann.

[0024] In der Beschreibung dieser Erfindung beziehen sich Kollisionsobjekte auf jegliche Objekte, die sich während einer Fahrt mit einem Fahrzeug, insbesondere Nutzfahrzeug, in der unmittelbaren, aber auch entfernten Fahrzeugumgebung befinden. Als Kollisionsobjekte sind diejenigen Objekte gemeint, mit denen das Fahrzeug kollidieren und einen Unfall verursachen kann. Als beispielhafte Kollisionsobjektart sind insbesondere bewegliche Objekte, wie beispielsweise andere Verkehrsteilnehmer, Fahrradfahrer, Motorradfahrer, Fußgänger, etc. zu nennen, für die zumeist eine erhöhte Gefahr von dem Fahrzeug ausgeht und die eine erhöhte Gefahr für das Fahrzeug darstellen.

[0025] Es sind aber auch neben den beweglichen Kollisionsobjekten auch stationäre Objekte, wie beispielsweise Straßenschilder, Straßenpfosten, Straßenlaternen, Mülltonnen, Litfaßsäulen, parkende Fahrzeuge oder sonstige nicht bewegliche Objekte zu nennen. Beispielsweise kann dies bei einem Auspark- oder Rangiervorgang von Vorteil sein, damit der Fahrer nicht versehentlich eines der stationären Objekte übersieht und mit diesem eine Kollision verursacht.

[0026] In einer weiteren Ausgestaltung ist die Berechnungseinheit ferner dazu angepasst, das Vorhandensein und/oder die Art eines Kollisionsobjekts auf Basis gespeicherter Daten bezüglich bereits zuvor erkannter Kollisionsobjekte zu bestimmen. In dieser Ausgestaltung weist die Berechnungseinheit einen Speicher auf, in dem die Parameter und Merkmale bereits ermittelter und erfasster Kollisionsobjekte gespeichert werden, z. B. die jeweiligen Umrisse bzw. Silhouetten von Fußgängern, Motorradfahrern, Fahrradfahrern usw. in Draufsicht, Seitenansicht, Vorderansicht. Bei erneuter Erfassung von Kollisionsobjekten kann die Berechnungseinheit auf diese Daten zugreifen und mit den Parametern und Merkmalen der neu erfassten Kollisionsobjekten vergleichen, um so das Vorhandensein und/oder die Art der Kollisionsobjekte zu bestimmen. Somit weist die Berechnungseinheit einen lernenden Algorithmus auf, der bevorzugt die erfassten und individuellen Beispiele verallgemeinert und in den erfassten Beispielen Gesetzmäßigkeiten erkennt, die dann beim zukünftigen Erfassen von Kollisionsobjekten verwendet werden können. Alternativ oder zusätzlich kann der Speicher mit vorgespeicherten Informationen, beispielsweise bereits bekannte Kollisionsobjektparameter und -merkmale, bereitgestellt werden, auf die die Berechnungseinheit beim Ermitteln der Kollisionsobjektparameter zugreifen kann.

[0027] In der vorliegenden Beschreibung beziehen sich (Kollisionsobjekt-)Parameter auf die spezielle Silhouette bzw. das spezielle Aussehen des Kollisionsobjekts auf dem Aufnahmebild. So sind beispielsweise ein von oben erkannter Kopf und Arme bzw. Schultern Kollisionsobjektparameter für einen Fußgänger. Ferner sind z. B. zwei dünnere Striche mit einem Menschenumriss dazwischen die Kollisionsobjektparameter für einen Fahrradfahrer und zwei dickere Striche mit einem Menschenumriss dazwischen die Kollisionsobjektparameter für einen Motorradfahrer.

[0028] Im Gegensatz zu den (Kollisionsobjekt-)Parametern sind (Kollisionsobjekt-)Merkmale dahingehend zu verstehen, dass diese z. B. die Geschwindigkeit des Kollisionsobjekts, das Richtungsänderungsvermögen des Kollisionsobjekts, die Größe des Kollisionsobjekts und/oder das Geschwindigkeitsänderungsvermögen des Kollisionsobjekts umfassen. So ist für einen Fußgänger eine andere Merkmalsgeschwindigkeit hinterlegt als für einen Motorradfahrer.

[0029] Erfindungsgemäß ist die Berechnungseinheit ferner dazu angepasst, die von der Aufnahmeeinheit erfassten Aufnahmebilder in zumindest zwei Bildbereiche zu unterteilen und das Vorhandensein und die Art des Kollisionsobjekts in Abhängigkeit davon, in welchem der zumindest zwei Bildbereiche sich das Kollisionsobjekt befindet, auf Basis unterschiedlicher Parameter zu bestimmen. In einer bevorzugten Ausgestaltung unterteilt die Berechnungseinheit die von der Aufnahmeeinheit erfassten Daten in drei Bildbereiche. Somit teilt die Berechnungseinheit den von der Aufnahmeeinheit erfassten Sichtbereich in zumindest zwei Bildbereiche auf, z. B. einen fahrzeugnahen Bereich und einen fahrzeugentfernten Bereich, so dass die Aufnahmeeinheit ein multiperspektivisches Aufnahmebild erfasst, das unterschiedliche Blickwinkel auf ein Objekt, abhängig von seiner Relativposition zum Aufnahmegerät der Aufnahmeeinheit, aufweist. Demzufolge ist die perspektivische Erfassung bzw. der Blickwinkel eines Kollisionsobjekts im fahrzeugnahen Bereich zu der perspektivischen Erfassung bzw. dem Blickwinkel des Kollisionsobjekts im fahrzeugentfernten Bereich unterschiedlich, so dass die Berechnungseinheit der Ermittlung des Kollisionsobjekts in den zumindest zwei Bildbereichen unterschiedliche Parameter zugrunde legt. Beispielsweise wird ein Fußgänger im fahrzeugnahen Bereich von oben aufgenommen und hat demnach auf dem Wiedergabebild eine andere Darstellung als ein Fußgänger im fahrzeugentfernten Bereich, der von oben nach schräg unten erfasst wird. Die Berechnungseinheit ist somit in dieser Ausgestaltung dazu angepasst, aus den beiden unterschiedlichen Abbildungen des Fußgängers überhaupt auf die Kollisionsobjektart "Fußgänger" zu schließen.

[0030] In einem weiteren Beispiel wird ein sich in unmittelbarer Fahrzeugumgebung befindlicher Fahrradfahrer, der beispielsweise von oben erfasst wird, auf dem Aufnahmebild als zwei Striche, die die Räder des Fahrrads als Draufsicht darstellen, und als Körper des Fahrradfahrers von oben dargestellt. Aus dieser Darstellung kann die Berechnungseinheit auf das Kollisionsobjekt "Fahrradfahrer" schließen.

[0031] Das Aufnahmegerät der Aufnahmeeinheit, das beispielsweise eine Kamera ist, weist ein Objektiv auf, das den Verlauf der optischen Achse festlegt. Durch Einstellen der Ausrichtung des Objektivs wird die optische Achse wie gewünscht eingestellt, so dass diese mit der Fahrbahn einen gewünschten Winkel einschließt, der im Bereich von ungefähr 5° bis 90° liegt. So ist es bevorzugt, dass die optische Achse die Fahrbahn schneidet und nicht parallel zu der Fahrbahn bzw. zur Längsrichtung des Fahrzeugs verläuft. Auf Grund dieses Verlaufs der optischen Achse ist das Aufnahmegerät in der Lage, multiperspektivische Bilder der Fahrzeugumgebung zu erfassen.

[0032] Vorteilhafterweise ist die Berechnungseinheit ferner dazu angepasst, aus den Kollisionsobjektparametern zu erkennen, ob es sich bei an zwei verschiedenen Zeitpunkten erkannten Kollisionsobjekten um ein und das selbe Kollisionsobjekt, beispielsweise einen sich entlang des Fahrzeugs bewegenden Fußgänger oder Fahrradfahrer, handelt. Die Berechnungseinheit kann dabei bevorzugt aus den von der Aufnahmeeinheit an verschiedenen Zeitpunkten erfassten Aufnahmebildern diesen Fußgänger bzw. Fahrradfahrer erkennen und somit "verfolgen". Sobald sich die Trajektorie des Fußgängers derart ändert, dass die Kollisionswahrscheinlichkeit mit diesem einen vorbestimmten Schwellenwert übersteigt, wird die oben erwähnte Warnung an den Fahrer ausgegeben bzw. der Eingriff in die Fahrzeugsteuerung vorgenommen, um eine Kollision mit dem erkannten Fußgänger bzw. Fahrradfahrer zu verhindern.

[0033] In einer weiteren Ausgestaltung ist die Berechnungseinheit ferner dazu ausgebildet, wenigstens ein Kollisionsobjekt anhand von den oben genannten Kollisionsobjektparametern zu erfassen. Als Kollisionsobjektparameter sind beispielsweise die Bewegungsgeschwindigkeit des Kollisionsobjekts, die Position des Kollisionsobjekts relativ zum Fahrzeug, die Position des Kollisionsobjekts relativ zum Aufnahmegerät und/oder die Größe des Kollisionsobjekts zu erwähnen.

[0034] Die Berechnungseinheit ist in einer weiteren Ausgestaltung dazu angepasst, die Trajektorie des Fahrzeugs und/oder die Trajektorie des Kollisionsobjekts zu bestimmen. Dabei zeichnet die Berechnungseinheit aus den von der Aufnahmeeinheit erfassten Daten die Trajektorie des Kollisionsobjekts auf und kann außerdem die zukünftige Trajektorie des Kollisionsobjekts abschätzen. Diese Abschätzung der Trajektorie wird beim kontinuierlichen Erfassen und Auswerten der von der Aufnahmeeinheit erfassten Daten aktualisiert.

[0035] Außerdem ermittelt die Berechnungseinheit vorzugsweise in einer weiteren Ausgestaltung die tatsächliche und die abgeschätzte Trajektorie des Fahrzeugs, das mit dem Fahrerassistenzsystem ausgestattet ist, beispielsweise aus der Fahrzeuggeschwindigkeit, der Lenkbewegungen des Fahrzeugs, dem Aktivierungszustand eines Blinkers des Fahrzeugs und/oder den globalen Positionsdaten (GPS-Daten) des Fahrzeugs. Sind die Trajektorien des Fahrzeugs und des Kollisionsobjekts ermittelt, kann die Berechnungseinheit die oben genannte Warnung und/oder den Eingriff in die Fahrzeugsteuerung vornehmen, wenn die Berechnungseinheit aus den ermittelten Trajektorien eine erwartete Kollision berechnet. Alternativ oder zusätzlich kann die Berechnungseinheit aus den Trajektorien eine Kollisionswahrscheinlichkeit des Fahrzeugs mit dem Kollisionsobjekt ermitteln und den Fahrer des Fahrzeugs warnen, wenn diese Wahrscheinlichkeit einen vorbestimmten Schwellenwert übersteigt, oder die Art der Warnung in Abhängigkeit von der Kollisionswahrscheinlichkeit ändern.

[0036] In einer weiteren Ausgestaltung weist das Fahrerassistenzsystem zusätzlich zur Aufnahmeeinheit zumindest einen Sensor, beispielsweise einen Radar- und/oder Ultraschallsensor, als Abstandssensor auf, der am Fahrzeug, insbesondere Nutzfahrzeug, angebracht ist. Der Sensor kann beispielsweise ein Kollisionsobjekt in der unmittelbaren Fahrzeugumgebung ermitteln und ein entsprechendes Signal an die Berechnungseinheit senden. Die Berechnungseinheit kann zusätzlich zu den von der Aufnahmeeinheit erfassten Aufnahmebildern die Daten des wenigstens einen Sensors beim Ermitteln der Kollisionsobjektparameter verwenden. Ferner kann die Berechnungseinheit die von dem wenigstens einen Sensor empfangenen Daten bei der Berechnung der Kollisionswahrscheinlichkeit berücksichtigen. Andere zusätzliche Sensoren können z. B. ein GPS Sensor für GPS Daten des Fahrzeugs sein, dessen Daten ebenfalls in die Bestimmung eingehen, ob ein erfasstes Objekt ein Kollisionsobjekt ist.

[0037] Die Berechnungseinheit gibt insbesondere eine Warnung an den Fahrer des Fahrzeugs aus und/oder nimmt einen Eingriff in die Fahrzeugsteuerung vor, wenn ausgewählte Kollisionsobjekte, wie z. B. sich bewegende Objekte oder sich mit einer größeren Geschwindigkeit als einer bestimmten Schwellengeschwindigkeit bewegende Objekte, ermittelt werden. Dabei wird beim Erfassen eines Kollisionsobjekts zusätzlich noch bestimmt, ob es sich um ein solches ausgewähltes Objekt handelt.

[0038] Das erfindungsgemäße Fahrerassistenzsystem bestimmt bevorzugt, wie weit entfernt sich ein erkanntes Kollisionsobjekt vom Fahrzeug befindet. Aus dem ermittelten Abstand und unter Berücksichtigung der Kollisionsobjektgeschwindigkeit und der Fahrzeuggeschwindigkeit kann die Berechnungseinheit die Kollisionswahrscheinlichkeit bestimmen und eine Warnung an den Fahrer ausgeben bzw. einen Eingriff in die Fahrzeugsteuerung vornehmen, wenn die berechnete Kollisionswahrscheinlichkeit einen vorbestimmten Wert überschreitet. Die Bestimmung des Abstandes des Objekts zum Fahrzeug kann entweder vor der Bestimmung, ob es ein Kollisionsobjekt ist, oder erst danach erfolgen. Kollisionsobjekte mit erhöhter Kollisionswahrscheinlichkeit erhalten eine erhöhte Priorität und führen zum Ausgeben einer Warnung als Kollisionsobjekte mit niedriger Kollisionswahrscheinlichkeit.

[0039] Vorteilhafterweise enthält der von der Aufnahmeeinheit erfasste Sichtbereich zumindest einen Teil eines gesetzlich vorgeschriebenen Sichtfelds. Das gesetzlich vorgeschriebene Sichtfeld kann einem der Sichtfelder entsprechen, die in der ECE-Richtlinie R 46 definiert sind. In einer bevorzugten Ausgestaltung ist die Aufnahmeeinheit dazu angepasst, zumindest einen Teil eines ersten gesetzlich vorgeschriebenen Sichtfelds und/oder einen Teil eines zweiten gesetzlich vorgeschriebenen Sichtfelds und/oder einen Teil eines dritten gesetzlich vorgeschriebenen Sichtfelds und/oder einen Teil eines vierten gesetzlich vorgeschriebenen Sichtfelds zu erfassen. Vorzugsweise entspricht das erste gesetzlich vorgeschriebene Sichtfeld dem Sichtfeld II gemäß der ECE Richtlinie R 46, das zweite gesetzlich vorgeschriebene Sichtfeld dem Sichtfeld IV gemäß der ECE Richtlinie R 46, das dritte gesetzlich vorgeschriebene Sichtfeld dem Sichtfeld V gemäß der ECE Richtlinie R 46 und das vierte gesetzlich vorgeschriebene Sichtfeld dem Sichtfeld VI gemäß der ECE Richtlinie R 46. Vorteilhafterweise erfasst eine erste Aufnahmeeinheit zumindest einen Teil des ersten und/oder zweiten Sichtfelds und eine zweite Aufnahmeeinheit zumindest einen Teil des dritten und/oder vierten Sichtfelds.

[0040] Bevorzugt umfasst das Ausgeben einer Warnung an den Fahrer des Fahrzeugs einen visuellen, akustischen und/oder haptischen Hinweis. Beispielsweise wird dem auf dem von der Wiedergabeeinheit dargestellten Wiedergabebild ein visueller Hinweis auf das Kollisionsobjekt gegeben, insbesondere über ein Blinken des Wiedergabebildes, ein Einfärben des Wiedergabebildes und/oder ein Ändern der Wiedergabequalität des Wiedergabebildes. Ein akustischer Hinweis kann beispielsweise ein kurzer Ton sein, der den Fahrer über einen Lautsprecher im Fahrzeug daraufhinweist, dass sich ein Kollisionsobjekt in der Fahrzeugumgebung befindet. Ferner kann ein haptischer Hinweis beispielsweise eine Vibration des Lenkrads des Fahrzeugs sein, das den Fahrer auf das sich in der Fahrzeugumgebung befindende Kollisionsobjekt hinweist.

[0041] Die Aufnahmeeinheit, die ein Aufnahmebild der Fahrzeugumgebung erstellt und dieses der Berechnungseinheit bereitstellt, ist mit der Berechnungseinheit über eine erste Verbindung verbunden, beispielsweise ein geeignetes Datenkabel zur digitalen oder analogen Übertragung der von der Aufnahmeeinheit erfassten Aufnahmebilder. Die Berechnungseinheit ist ferner mit der Wiedergabeeinheit über eine zweite Verbindung verbunden, beispielsweise ein geeignetes Datenkabel zur digitalen oder analogen Übertragung von Bildern. Alternativ kann eine oder beide der oben genannten Verbindungen auch drahtlos ausgeführt werden, beispielsweise über Bluetooth, WLAN oder eine Infrarot-Verbindung.

[0042] Ferner ist es bevorzugt, dass die Wiedergabeeinheit dazu ausgebildet ist, das empfangene Wiedergabebild dauerhaft und in Echtzeit darzustellen. Dabei ist auch die Aufnahmeeinheit vorzugsweise dazu ausgebildet, dauerhaft und in Echtzeit Aufnahmebilder zu erfassen, und die Berechnungseinheit dazu ausgebildet, diese Aufnahmebilder ebenfalls dauerhaft und in Echtzeit zu verarbeiten. Dauerhaft bedeutet hier, dass beispielsweise die Darstellung des Wiedergabebildes nicht durch andere Angaben (zeitlich) unterbrochen wird, so dass der Fahrer jederzeit bei einem Blick auf die Wiedergabeeinheit in die Umgebung des Fahrzeugs einsehen und auf relevante Hindernisse und Kollisionsobjekte hingewiesen werden kann. Dauerhaft bedeutet aber auch, dass die Darstellung der Sichtfelder wenigstens im Fahrbetrieb des Nutzfahrzeugs durchgängig vorhanden ist. Der Zustand, der mit "dauerhaft" beschrieben und davon umfasst werden soll, kann auch optional auf den Zündzustand des Fahrzeugs oder beispielsweise auf einen Zustand, in dem sich ein Fahrer im Fahrzeug befinden kann, z. B. abhängig vom Erfassen einer sich in der Nähe des Fahrzeugs oder im Fahrzeug befindenden Schlüsseleinrichtung, ausgeweitet werden.

[0043] Die Berechnungseinheit kann mit der Aufnahmeeinheit, der Wiedergabeeinheit oder dem Steuergerät des Fahrzeugs integral ausgeführt werden. Des Weiteren kann die Berechnungseinheit als separate Einheit im oder am Fahrzeug angebracht werden, z. B. integral mit einem Bordcomputer. Die Wiedergabeeinheit kann eine Einheit sein, die in geeigneter Weise das von der Berechnungseinheit bereitgestellte Wiedergabebild für den Fahrer des Fahrzeugs einsehbar darstellt. Beispielsweise kann die Wiedergabeeinheit ein separates Gerät, beispielsweise ein LCD, ein LED, ein Projektor oder ähnliches sein. Außerdem kann die Wiedergabeeinheit mit dem sogenannten Central Information Display, das sich bereits standardmäßig im Fahrzeug befinden kann, integral ausgeführt sein. Die Aufnahmeeinheit kann bevorzugt eine Kamera mit einem Objektiv sein, die sich am oder im Fahrzeug angebracht befinden kann.

[0044] Mit dem hierin offenbarten Fahrerassistenzsystem können gefährliche Kollisionsobjekte erkannt und der Fahrer frühzeitig vor diesen Kollisionsobjekten gewarnt werden und bei Bedarf sogar ein Eingriff in die Fahrzeugsteuerung erfolgen, so dass das Unfallrisiko reduziert werden kann. Insbesondere bei einem Spurwechsel auf der Autobahn, beim Auffahren auf Autobahnen oder Abbiegevorgängen inner- und außerorts kann das hierin offenbarte Fahrerassistenzsystem präventiv Unfälle vermeiden. Vorteilhafterweise wird das Fahrerassistenzsystem an Nutzfahrzeugen eingesetzt, da bei Nutzfahrzeugen, wie beispielsweise Lastkraftwägen, die direkte Sicht auf andere Verkehrsteilnehmer, wie beispielsweise Fußgänger und Fahrradfahrer, die sich parallel zum Fahrzeug bewegen, kaum möglich ist. Ferner kann der Fahrer besonders vor Kollisionsobjekten gewarnt werden, die der Fahrer zwar in den Vorrichtungen für indirekte Sicht, beispielsweise Spiegel, erkennt, jedoch fälschlicherweise als unkritisch einstuft. Zum Beispiel kann ein Fußgänger zunächst unkritisch sein, sich jedoch im nächsten Moment auf Kollisionskurs mit dem Fahrzeug befinden.

[0045] Nachfolgend wird die Erfindung beispielhaft anhand der beigefügten Figuren beschrieben, in denen:

Fig. 1

eine schematische Darstellung eines Fahrerassistenzsystems darstellt;

Fig. 2

ein an einem Nutzfahrzeug angebrachtes Fahrerassistenzsystem darstellt;

Fig. 3

schematisch die Untergliederung des Sichtbereichs in drei Bereiche darstellt;

Fig. 4

schematisch ein von der Aufnahmeeinheit multiperspektivisches Aufnahmebild darstellt;

Fig. 5

ein beispielhaftes Ablaufdiagramm der von dem Fahrerassistenzsystem durchgeführten Schritte darstellt und

Fig. 6

ein beispielhaftes Ablaufdiagramm für die Bestimmung der Art des Kollisionsobjekts und der Kollisionswahrscheinlichkeit darstellt.

[0046] Fig. 1 zeigt schematisch ein Fahrerassistenzsystem 10. Das Fahrerassistenzsystem 10, das an einem Nutzfahrzeug 50 (siehe Fig. 2), wie beispielsweise einem Lastkraftwagen, verwendet werden kann, umfasst wenigstens eine Bildaufnahmeeinheit 20, eine Berechnungseinheit 30 und eine Wiedergabeeinheit 40. Die in der Fig. 1 dargestellte Aufnahmeeinheit 20 weist ein erstes Aufnahmegerät, beispielsweise eine erste Kamera 22, und ein zweites Aufnahmegerät, beispielsweise eine zweite Kamera 24, auf, die an unterschiedlichen Positionen am Nutzfahrzeug angebracht werden können. Der von der ersten Kamera 22 erfasste Sichtbereich wird daraufhin der Berechnungseinheit 30 über eine erste Verbindung 21, beispielsweise ein geeignetes Datenkabel zur digitalen Übertragung der von der Bildaufnahmeeinheit erfassten Bilder, bereitgestellt, und der von der zweiten Kamera 24 erfasste Sichtbereich wird daraufhin der Berechnungseinheit 30 über eine zweite Verbindung 23, beispielsweise ein geeignetes Datenkabel zur digitalen Übertragung der von der Bildaufnahmeeinheit erfassten Bilder, bereitgestellt. In einer Ausgestaltung sind die erste und zweite Kamera 22, 24 hochdynamische und hochauflösende Kameras, die jeweils einen Seitenspiegel des Fahrzeugs ersetzen Alternativ ist das Fahrerassistenzsystem 10 ein zu einem Kamerasystem, das die Seitenspiegel ersetzende Kameras aufweist, zusätzliches System.

[0047] Die Berechnungseinheit 30 ist dazu ausgebildet, die erfassten Bilder zu einem Wiedergabebild in einer gewünschten Weise zu modifizieren. Beispielsweise kann die Berechnungseinheit 30 die von der Bildaufnahmeeinheit 20 erfassten Aufnahmebilder auswerten und bestimmte Kollisionsobjekte in dem Aufnahmebild erfassen, so dass eine Warnung an den Fahrer des Nutzfahrzeugs 50 ausgegeben wird. Das von der Berechnungseinheit 30 modifizierte Wiedergabebild wird dann der Wiedergabeeinheit 40 über eine dritte Verbindung 31, beispielsweise ein geeignetes Datenkabel zur digitalen Übertragung von Bildern, bereitgestellt. Die Wiedergabeeinheit 40 ist dazu angepasst, das Wiedergabebild einem Fahrer des Nutzfahrzeugs 50 einsehbar fotorealistisch darzustellen. Dabei kann die Wiedergabeeinheit 40 sowohl das von der ersten Kamera 22 erfasste Bild und das von der zweiten Kamera 24 erfasste Bild in einer Darstellung wiedergeben, beispielsweise im sogenannten Split-Screen-Verfahren.

[0048] Ferner ist in der Fig. 2 die optische Achse 28 des ersten Aufnahmegeräts 22 der Aufnahmeeinheit 20 gezeigt, die mit der Fahrbahn des Fahrzeugs einen Winkel α einschließt. Der Winkel α ist derart gewählt, dass die Aufnahmeeinheit ein Bild von oben nach schräg unten erfasst. Der Winkel α liegt bevorzugt in einem Bereich von ungefähr 5° bis ungefähr 90°.

[0049] Unter Bezugnahme auf die Fig. 2 ist das Fahrerassistenzsystem 10 dargestellt, das an dem Nutzfahrzeug 50 angebracht ist. Dabei ist zu beachten, dass die Berechnungseinheit 30 und die Wiedergabeeinheit 40 in der Fig. 2 nicht explizit dargestellt sind. Die Aufnahmeeinheit 20 ist beispielsweise an einer erhöhten Position auf der Fahrerseite des Nutzfahrzeugs 50 derart angebracht, dass im Wesentlichen ein Sichtbereich 60 von oben nach schräg unten erfasst wird. Beispielsweise ist die Aufnahmeeinheit 20 ungefähr 2 m über der Fahrbahn auf der Fahrerseite des Fahrzeugs 50 angebracht. Es ist zu beachten, dass der Sichtbereich 60 eine dreidimensionale Gestalt hat, jedoch in der Fig. 2 nur der auf die Fahrbahn projizierte und erfasste Bereich schraffiert dargestellt ist. Der von der Bildaufnahmeeinheit 20 erfasste Sichtbereich 60 umfasst zumindest einen Teil eines ersten gesetzlich vorgeschriebenen Sichtfelds 70 und zumindest einen Teil eines zweiten gesetzlich vorgeschriebenen Sichtfelds 72. Vorzugsweise entspricht das erste gesetzlich vorgeschriebene Sichtfeld 70 dem Sichtfeld II gemäß der ECE-Richtlinie R 46 und das zweite gesetzlich vorgeschriebene Sichtfeld 72 dem Sichtfeld IV gemäß der ECE Richtlinie R 46.

[0050] Die Fig. 3 zeigt schematisch die Relativposition eines Kollisionsobjekts 100 zu der Aufnahmeeinheit 20. In dem in der Fig. 2 gezeigten Beispiel ist das Kollisionsobjekt 100 ein Fußgänger 100. Der von der Aufnahmeeinheit 20 erfasste Sichtbereich 60 ist in einen ersten Bereich 62, einen zweiten Bereich 64 und einen dritten Bereich 66 unterteilt, die sich im Blickwinkel der Kollisionsobjekte und demnach in der Perspektive unterscheiden. So wird der Fußgänger 100 im ersten Bereich 62, der den fahrzeugnahen Bereich darstellt, in Draufsicht erfasst und demzufolge auf dem Wiedergabebild gemäß der Darstellung 101 dargestellt, in der man lediglich den Kopf und die Arme des Fußgängers 100 erkennt. Der Fußgänger 102 im zweiten Bereich 64 wird in einer Perspektive erfasst, die den Fußgänger 102 auf dem Wiedergabebild gemäß der Darstellung 103 gestaucht darstellt, und der Fußgänger 104 im dritten Bereich 66, der den fahrzeugentfernten Bereich darstellt, wird in einer Perspektive erfasst, die den Fußgänger 104 auf dem Wiedergabebild gemäß der Darstellung 104 nahezu realgetreu darstellt, da der Fußgänger 104 nahezu frontal erfasst wird.

[0051] Das Fahrerassistenzsystem 10, insbesondere die Berechnungseinheit 30, ist in der Lage, aus den Darstellungen 101, 103, 105 das Vorhandensein und/oder die Art eines Kollisionsobjekts 100 zu bestimmen und daraufhin zu veranlassen, dass dem Fahrer des Fahrzeugs 50 eine visuelle, akustische und/oder haptische Warnung ausgegeben wird und/oder in die Steuerung des Fahrzeugs 50 eingegriffen wird. Dabei kann die Berechnungseinheit 30 für die verschiedenen Bereiche 62, 64, 66 auf verschiedene Kollisionsobjektparameter zurückgreifen und somit in diesen Bereichen 62, 64 , 66 unterschiedliche Verfahren zur Kollisionsobjektbestimmung durchführen.

[0052] Insbesondere ist die Berechnungseinheit 30 dazu angepasst, aus den Darstellungen 101, 103, 105 und deren Parametern beispielsweise einen Fußgänger von einem Fahrzeug, einem Fahrradfahrer, einem Motorradfahrer und/oder einem stationären Kollisionsobjekt zu unterscheiden.

[0053] Die Berechnungseinheit 30 greift dabei auf die für das jeweilig erfasste Kollisionsobjekt typischen Merkmale zurück, wie beispielsweise die typische Geschwindigkeit oder Richtungswechselvermögen, um beispielsweise die zukünftige Trajektorie des Kollisionsobjekts abzuschätzen. Die unterschiedlichen Silhouetten sind z. B. in einem Speicher, auf den die Berechnungseinheit 30 zugreifen kann, hinterlegt bzw. werden als sogenannte Kollisionsobjektparameter gelernt, die von der Relativposition zum Aufnahmegerät abhängig sind. Durch Vergleich des erfassten Aufnahmebildes mit dem bezüglich der Perspektive relevanten Kollisionsobjektparameter kann die Berechnungseinheit 30 den Typ des Kollisionsobjekts 100 bestimmen und daraufhin die erkannten Kollisionsobjektparameter im Speicher ablegen und dazulernen.

[0054] Wird z. B. ein Fußgänger auf dem Aufnahmebild von der Berechnungseinheit 30 erkannt, so ist hinterlegt, dass sich dieser mit einer mittleren Geschwindigkeit bewegen kann, die geringer als die mittlere Geschwindigkeit eines erkannten Fahrradfahrers ist. Mit Hilfe solcher Kollisionsobjektmerkmale kann dann die zukünftige Trajektorie des Kollisionsobjekts abgeschätzt werden.

[0055] Die Fig. 4 zeigt beispielhaft ein von der Bildaufnahmeeinheit 20 erfasstes Bild, das zumindest einen Teil des Fahrzeugs 50, einen Fußgänger 100, 102, 104 und zumindest teilweise den Horizont 80 umfasst und in den ersten Bereich 62, den zweiten Bereich 64 und den dritten Bereich 66 unterteilt ist. Es ist zu beachten, dass der Fußgänger 100, 102, 104 ein und der gleiche Fußgänger ist, der zu verschiedenen Zeitpunkten erfasst wurde. Der Fußgänger 100 wird bei einem ersten Zeitpunkt in Draufsicht erfasst, wohingegen der Fußgänger 102 bzw. der Fußgänger 104 bei einem zweiten bzw. dritten Zeitpunkt erfasst werden, die beispielsweise später als der erste Zeitpunkt sind. In der Fig. 4 ist ebenfalls zu erkennen, dass der Fußgänger 100 auf dem Wiedergabebild eine unterschiedliche Darstellung aufweist als der Fußgänger 102 oder der Fußgänger 104.

[0056] Die Berechnungseinheit 30 kann aus der Erfassungszeit und den Erfassungspositionen des Fußgängers 100, 102, 104 relativ zur Aufnahmeeinheit 20 die Trajektorie dieses Fußgängers 100, 102, 104 ermitteln und eine Kollisionswahrscheinlichkeit mit dem Fahrzeug 50 berechnen. Übersteigt die Kollisionswahrscheinlichkeit einen vorbestimmten Schwellenwert, gibt die Berechnungseinheit 30 ein Signal an den Fahrer aus und nimmt unter Umständen präventive Maßnahmen in der Fahrzeugsteuerung vor, um eine Kollision mit dem Kollisionsobjekt zu verhindern.

[0057] In der Fig. 5 ist ein beispielhaftes Ablaufdiagramm der von dem Fahrerassistenzsystem 10 durchgeführten Schritte dargestellt. Das Verfahren beginnt beim Schritt 200, beispielsweise beim Anlassen des Fahrzeugs 50 oder bei der Aktivierung des Fahrerassistenzsystems 10. Die Aufnahmeeinheit 20 erfasst beim Schritt 202 kontinuierlich multiperspektivische Aufnahmebilder der Fahrzeugumgebung und sendet diese erfassten Aufnahmebilder beim Schritt 204 an die Berechnungseinheit 30. Die Berechnungseinheit 30 wertet bei der Abfrage 206 die empfangenen Aufnahmebilder hinsichtlich Objekten aus. Wird beim Schritt 206 kein Objekt im Aufnahmebild erkannt, kehrt das Verfahren zum Schritt 202 zurück. Wird jedoch beim Schritt 206 ein Objekt im Aufnahmebild, beispielsweise ein Fußgänger 100, im Aufnahmebild erkannt, schreitet das Verfahren zum Schritt 208 fort, bei dem ermittelt wird, ob das Objekt ein Kollisionsobjekt ist. Ferner wird beim Schritt 208 der Kollisionsobjekttyp und die Kollisionsobjektwahrscheinlichkeit ermittelt.

[0058] Der Schritt 208 der Fig. 5 stellt eine Unterroutine dar, die in der Fig. 6 genauer dargestellt ist. Die Unterroutine 208 beginnt beim Schritt 300. Beim darauffolgenden Schritt 302 bestimmt die Berechnungseinheit 30 aus dem von der Aufnahmeeinheit 20 empfangenen Aufnahmebild die Relativposition des Objekts 100 zum Aufnahmegerät. Dabei kann die Berechnungseinheit ferner Daten von z. B. einem am Fahrzeug 50 angebrachten Abstandssensor berücksichtigen. Ferner kann die Berechnungseinheit 30 in diesem Schritt weitere Objektparameter, wie beispielsweise die Größe des Kollisionsobjekts, bestimmen.

[0059] Beim Schritt 304 bestimmt die Berechnungseinheit 30 aus den im Schritt 302 ermittelten Objektparametern die Objektart, beispielsweise ob das Objekt ein Fußgänger, ein Fahrradfahrer, ein Fahrzeug oder ein statisches Objekt ist. Wird beispielsweise beim Schritt 304 ermittelt, dass das Objekt ein Fußgänger 100 ist, der sich weit entfernt vom Fahrzeug 50 befindet, kann die Unterroutine 208 an diesem Punkt wieder zum Verfahren der Fig. 5 zurückkehren, da das Objekt kein Kollisionsobjekt ist. Wird jedoch ein kritisches Objekt, beispielsweise ein Motorradfahrer in unmittelbarer Fahrzeugumgebung ermittelt, kann das Verfahren ebenfalls zum Verfahren der Fig. 5 zurückkehren, da bestimmt ist, dass das Objekt ein Kollisionsobjekt ist. Jedoch ist die Berechnungseinheit 30 in der Lage, die folgenden Schritte zusätzlich durchzuführen. Beim Schritt 306 kann die Berechnungseinheit 30 aus den ermittelten Objektparametern und/oder aus den zur ermittelten Objektart hinterlegten Kollisionsobjektparametern die Geschwindigkeit des Kollisionsobjekts ermitteln. Dabei kann die Berechnungseinheit 30 ferner auf die zeitlich zuvor ermittelte Position des Kollisionsobjekts und die damit verbundenen Kollisionsobjektparameter zurückgreifen. Außerdem erfasst die Berechnungseinheit 30 bein Schritt 306 die Geschwindigkeit des Fahrzeugs 50.

[0060] Aus den im Schritt 306 ermittelten Geschwindigkeiten schätzt bzw. berechnet die Berechnungseinheit 30 beim Schritt 310 die zukünftige Trajektorie des Kollisionsobjekts und des Fahrzeugs 50, aus denen die Berechnungseinheit 30 im Schritt 312 die Kollisionswahrscheinlichkeit berechnet, bevor es beim Schritt 314 zum Verfahren 200 der Fig. 5 zurückkehrt.

[0061] Bei der Abfrage 210 der Fig. 5 wird abgefragt, ob das Objekt ein Kollisionsobjekt ist. Ist das Objekt kein Kollisionsobjekt, kehrt das Verfahren zum Schritt 202 zurück. Hat jedoch die Unterroutine 208 ergeben, dass das Objekt ein Kollisionsobjekt ist, und wurde die Kollisionswahrscheinlichkeit berechnet, die einen Schwellenwert übersteigt, wird beim Schritt 212 eine Warnung an den Fahrer ausgegeben bzw. es erfolgt ein Eingriff in die Fahrzeugsteuerung und das Verfahren endet beim Schritt 214 und kann erneut starten.

[0062] Die in den Fig. 5 und 6 gezeigten Schritte sind nicht zwangsläufig von der Berechnungseinheit 30 durchzuführen. Beispielsweise kann die Berechnungseinheit 30 den in der Fig. 6 gezeigten Schritt 304 zum Bestimmen der Objektart auslassen und direkt mit der Berechnung der Kollisionswahrscheinlichkeit fortfahren. Auch können die einzelnen Schritte in einer geeigneten anderen Reihenfolge ausgeführt werden, um die Kollisionswahrscheinlichkeit angemessen zu berechnen.

Bezugszeichenliste

[0063] 

10

Fahrerassistenzsystem

20

Aufnahmeeinheit

21

erste Verbindung

22

erste Kamera

23

zweite Verbindung

24

zweite Kamera

28

optische Achse

30

Berechnungseinheit

31

dritte Verbindung

40

Wiedergabeeinheit

50

Nutzfahrzeug

60

Sichtbereich

62

erster Bereich

64

zweiter Bereich

66

dritter Bereich

70

erstes gesetzlich vorgeschriebenes Sichtfeld

72

zweites gesetzlich vorgeschriebenes Sichtfeld

80

Horizont

100

Fußgänger

101

Darstellung

102

Fußgänger

103

Darstellung

104

Fußgänger

105

Darstellung

200

Start

202

Schritt

204

Schritt

206

Abfrage

208

Schritt

210

Abfrage

212

Schritt

214

Ende

300

Start

302

Schritt

304

Schritt

306

Schritt

308

Schritt

310

Schritt

312

Schritt

313

Ende

α

Winkel zur Fahrbahn

Ansprüche

1. Fahrerassistenzsystem (10) für ein Fahrzeug (50), insbesondere Nutzfahrzeug, mit einer Aufnahmeeinheit (20) und einer Berechnungseinheit (30), wobei die Aufnahmeeinheit (20) ein Aufnahmegerät enthält, das eine optische Achse (28) hat, die unter einem Winkel (α) zur Fahrbahn des Fahrzeugs (50) verläuft, und ein multiperspektivisches Aufnahmebild erfasst, das unterschiedliche Blickwinkel auf ein Kollisionsobjekt (100, 102, 104), abhängig von seiner Relativposition zum Aufnahmegerät der Auf nahmeeinheit (20), aufweist, wobei die Berechnungseinheit (30) dazu angepasst ist, die von der Aufnahmeeinheit (20) erfassten Daten in zumindest zwei Bildbereiche (62, 64, 66) zu unterteilen, die von der Aufnahmeeinheit (20) erfassten multiperspektivischen Aufnahmebilder im Hinblick auf Kollisionsobjekte (100, 102, 104) auszuwerten und beim Erfassen eines Kollisionsobjekts (100, 102, 104) das Ausgeben einer Warnung an den Fahrer des Fahrzeugs (50) zu veranlassen und/oder einen Eingriff in die Steuerung des Fahrzeugs (50) vorzunehmen, wobei die Berechnungseinheit (30) zur Erkennung von Kollisionsobjekten (100, 102, 104) das Vorhandensein und die Art eines Kollisionsobjekts (100, 102, 104) in den zumindest zwei Bildbereichen (62, 64, 66) anhand der Relativposition des Kollisionsobjekts (100, 102, 104) zum Aufnahmegerät der Aufnahmeeinheit (20) und anhand von Kollisionsobjektparametern, abhängig davon bestimmt, in welchem der zumindest zwei Bildbereiche (60, 62, 64) sich das Kollisionsobjekt (100, 102, 104), befindet, wobei die Kollisionsobjektparameter in Abhängigkeit von der Relativposition des Kollisionsobjekts (100, 102, 104) zum Aufnahmegerät der Auf nahmeeinheit variieren.

2. Fahrerassistenzsystem (10) nach Anspruch 1, wobei die Berechnungseinheit (30) ferner dazu angepasst ist, das Vorhandensein und/oder die Art eines Kollisionsobjekts (100, 102, 104) auf Basis gespeicherter Daten bezüglich bereits zuvor erkannter Kollisionsobjekte (100, 102, 104) zu bestimmen.

3. Fahrerassistenzsystem (10) nach einem der vorhergehenden Ansprüche, wobei es sich bei den Kollisionsobjekten (100, 102, 104) um Fußgänger und/oder Fahrradfahrer und/oder andere Fahrzeuge und/oder stationäre Objekte handelt.

4. Fahrerassistenzsystem (10) nach einem der vorhergehenden Ansprüche, wobei die Berechnungseinheit (30) ferner dazu angepasst ist, die tatsächliche Trajektorie des Kollisionsobjekts (100, 102, 104) aus den von der Aufnahmeeinheit (20) erfassten Daten zu bestimmen.

5. Fahrerassistenzsystem (10) nach einem der vorhergehenden Ansprüche, wobei die Berechnungseinheit (30) ferner dazu angepasst ist, die zukünftige Trajektorie des Kollisionsobjekts (100, 102, 104) aus den von der Aufnahmeeinheit (20) erfassten Daten abzuschätzen.

6. Fahrerassistenzsystem (10) nach Anspruch 5, wobei die Berechnungseinheit (30) ferner dazu angepasst ist, die zukünftige Trajektorie des Fahrzeugs (50) auf Basis der Geschwindigkeit des Fahrzeugs (50), der Lenkbewegungen des Fahrzeugs (50) und/oder dem Aktivierungszustand eines Blinkers des Fahrzeugs (50) abzuschätzen.

7. Fahrerassistenzsystem (10) nach einem der vorhergehenden Ansprüche, ferner mit zumindest einem am Fahrzeug (50) angebrachten Abstandssensor, wobei die Berechnungseinheit (30) dazu angepasst ist, die Erkennung des Kollisionsobjekts (100, 102, 104) und/oder die Bestimmung der Trajektorie des Kollisionsobjekts (100, 102, 104) auf Basis der von dem zumindest einen Abstandssensor empfangenen Daten durchzuführen.

8. Fahrerassistenzsystem (10) nach einem der vorhergehenden Ansprüche, wobei die Berechnungseinheit (30) ferner dazu ausgebildet ist, eine Kollisionswahrscheinlichkeit aus der Trajektorie des Fahrzeugs (50) und der Trajektorie des Kollisionsobjekts (100, 102, 104) zu bestimmen.

9. Fahrerassistenzsystem (10) nach einem der vorhergehenden Ansprüche, wobei die Aufnahmeeinheit (20) zumindest eine Kamera (22, 24) umfasst, die alternativ oder zusätzlich zu einem Seitenspiegel am Fahrzeug (50) angebracht ist.

10. Fahrerassistenzsystem (10) nach einem der vorhergehenden Ansprüche, wobei die Aufnahmeeinheit (20) ferner dazu angepasst ist, zumindest einen Teil eines ersten gesetzlich vorgeschriebenen Sichtfelds (70) und/oder zumindest einen Teil eines zweiten gesetzlich vorgeschriebenen Sichtfelds (72) zu erfassen.

11. Fahrerassistenzsystem (10) nach Anspruch 10 wobei die Aufnahmeeinheit (20) ferner dazu angepasst ist, zumindest einen Teil eines dritten gesetzlich vorgeschriebenen Sichtfelds und/oder zumindest einen Teil eines vierten gesetzlich vorgeschriebenen Sichtfelds zu erfassen.

12. Fahrerassistenzsystem (10) nach einem der vorhergehenden Ansprüche, wobei die an den Fahrer des Fahrzeugs (50) ausgegebene Warnung eine visuelle Warnung auf einer Wiedergabeeinheit (40) und/oder akustische und/oder haptische Warnung ist.

13. Fahrerassistenzsystem (10) nach einem der vorhergehenden Ansprüche, wobei der Eingriff in die Steuerung des Fahrzeugs (50) ein Bremsen des Fahrzeugs (50) und/oder ein Beschleunigen des Fahrzeugs (50) und/oder eine Änderung der Lenkbewegung des Fahrzeugs (50) umfasst.

14. Fahrerassistenzsystem (10) nach einem der vorhergehenden Ansprüche, wobei die Berechnungseinheit (30) ferner dazu angepasst ist, die Art des Kollisionsobjekts (100, 102, 104) auf Basis von erfassten globalen Positionsdaten des Kollisionsobjekts (100, 102, 104) und /oder der Geschwindigkeit des Kollisionsobjekts (100, 102, 104) zu bestimmen.

Claims

1. Driver assistance system (10) for a vehicle (50), in particular a commercial vehicle, comprising a capturing unit (20) and a calculating unit (30), wherein the capturing unit (20) comprises a capturing device having an optical axis (28), which is under an angle (α) with respect to the road surface for the vehicle (50), and which captures a multiperspective image having different angles of view on a collision object (100, 102, 104) depending on the relative position with respect to the capturing device of the capturing unit (20), wherein the calculating unit (30) is adapted to allocate the data captured by the capturing unit (20) into at least two image portions (62, 64, 66), to analyse the multiperspective images captured by the capturing unit (20) with respect to collision objects (100, 102, 104) and to trigger issuing a warning to the driver of the vehicle (50) when detecting a collision object (100, 102, 104) and/or to intervene in the control of the vehicle (50), wherein the calculating unit (30) determines the presence and the type of a collision object (100, 102, 104) in the at least two image portions (62, 64, 66) for identification of collision objects (100, 102, 104) based on the relative position of the collision object (100, 102, 104) with respect to the capturing device of the capturing unit (20) and based on collision object parameters, depending on in which of the at least two image portions (60, 62, 64) the collision object (100, 102, 104) is located, wherein the collision object parameters vary depending on the relative position of the collision object (100, 102, 104) with respect to the capturing device of the capturing unit.

2. Driver assistance system (10) according to claim 1, wherein the calculating unit (30) is further adapted to determine the presence and/or the type of a collision object (100, 102, 104) on the basis of stored data regarding already previously identified collision objects (100, 102, 104).

3. Driver assistance system (10) according to anyone of the preceding claims, wherein the collision objects (100, 102, 104) are pedestrians and/or cycles and/or other vehicles and/or stationary objects.

4. Driver assistance system (10) according to anyone of the preceding claims, wherein the calculating unit (30) is further adapted to determine the actual trajectory of the collision object (100, 102, 104) based on the data captured by the capturing unit (20).

5. Driver assistance system (10) according to anyone of the preceding claims, wherein the calculating unit (30) is further adapted to estimate the future trajectory of the collision object (100, 102, 104) based on data captured by the capturing unit (20).

6. Driver assistance system (10) according to claim 5, wherein the calculating unit (30) is further adapted to estimate the future trajectory of the vehicle (50) based on the speed of the vehicle (50), steering movements of the vehicle (50) and/or the activation condition of an indicator of the vehicle (50).

7. Driver assistance system (10) according to anyone of the preceding claims, further comprising at least one distance sensor attached to the vehicle (50), wherein the calculating unit (30) is adapted to carry out the identification of the collision object (100, 102, 104) and/or the determination of the trajectory of the collision object (100, 102, 104) on the basis of the data received from the at least one distance sensor.

8. Driver assistance system (10) according to anyone of the preceding claims, wherein the calculating unit (30) is further adapted to determine a collision probability based on the trajectory of the vehicle (50) and the trajectory of the collision object (100, 102, 104).

9. Driver assistance system (10) according to anyone of the preceding claims, wherein the capturing unit (20) comprises at least one camera device (22, 24) which is provided alternatively or additionally to a side mirror on the vehicle (50).

10. Driver assistance system (10) according to anyone of the preceding claims, wherein the capturing unit (20) is further adapted to detect at least a part of a first legally prescribed field of view (70) and/or at least a part of a second legally prescribed field of view (72).

11. Driver assistance system (10) according to claim 10, wherein the capturing unit (20) is further adapted to detect at least a part of a third legally prescribed field of view and/or at least a part of a fourth legally prescribed field of view.

12. Driver assistance system (10) according to anyone of the preceding claims, wherein the warning issued to the driver of the vehicle (50) is a visual warning on a reproduction unit (40) and/or an acoustic and/or haptic warning.

13. Driver assistance system (10) according to anyone of the preceding claims, wherein the intervention into the control of the vehicle (50) comprises braking the vehicle (50) and/or accelerating the vehicle (50) and/or a change of the steering movement of the vehicle (50).

14. Driver assistance system (10) according to anyone of the preceding claims, wherein the calculating unit (30) is further adapted to determine the type of the collision object (100, 102, 104) on the basis of detected global positioning data of the collision object (100, 102, 104) and/or the velocity of the collision object (100, 102, 104).

Revendications

1. Système d'assistance au conducteur (10) pour un véhicule (50), en particulier un véhicule utilitaire, avec une unité d'enregistrement (20) et une unité de calcul (30), l'unité d'enregistrement (20) contenant un appareil d'enregistrement qui a un axe optique (28) qui s'étend selon un angle (α) par rapport à la chaussée du véhicule (50), et enregistre une image d'enregistrement à perspectives multiples qui présente différents angles d'observation sur un objet de collision (100, 102, 104) en fonction de sa position relative par rapport à l'appareil d'enregistrement de l'unité d'enregistrement (20), l'unité de calcul (30) étant adaptée afin de diviser les données enregistrées par l'unité d'enregistrement (20) en au moins deux zones d'image (62, 64, 66), d'évaluer les images d'enregistrement à perspectives multiples enregistrées par l'unité d'enregistrement (20) en ce qui concerne des objets de collision (100, 102, 104) et de déclencher lors de l'enregistrement d'un objet de collision (100, 102, 104) l'envoi d'un avertissement au conducteur du véhicule (50) et/ou d'entreprendre une intervention dans la commande du véhicule (50), l'unité de calcul (30) déterminant pour la détection d'objets de collision (100, 102, 104) la présence et le type d'un objet de collision (100, 102, 104) dans les au moins deux zones d'image (62, 64, 66) à l'aide de la position relative de l'objet de collision (100, 102, 104) par rapport à l'appareil d'enregistrement de l'unité d'enregistrement (20) et à l'aide de paramètres d'objet de collision selon dans laquelle des au moins deux zones d'image (60, 62, 64) se trouve l'objet de collision (100, 102, 104), les paramètres d'objet de collision variant en fonction de la position relative de l'objet de collision (100, 102, 104) par rapport à l'appareil d'enregistrement de l'unité d'enregistrement.

2. Système d'assistance au conducteur (10) selon la revendication 1, l'unité de calcul (30) étant de plus adaptée afin de déterminer la présence et/ou le type d'un objet de collision (100, 102, 104) sur la base de données enregistrées par rapport aux objets de collision (100, 102, 104) déjà détectés précédemment.

3. Système d'assistance au conducteur (10) selon l'urne quelconque des revendications précédentes, s'agissant pour les objets de collision (100, 102, 104) de piétons et/ou de cyclistes et/ou d'autres véhicules et/ou d'objets stationnaires.

4. Système d'assistance au conducteur (10) selon l'une quelconque des revendications précédentes, l'unité de calcul (30) étant de plus adaptée afin de déterminer les trajectoires réelles de l'objet de collision (100, 102, 104) à partir des données enregistrées par l'unité d'enregistrement (20).

5. Système d'assistance au conducteur (10) selon l'une quelconque des revendications précédentes, l'unité de calcul (30) étant de plus adaptée afin d'estimer les trajectoires futures de l'objet de collision (100, 102, 104) à partir des données enregistrées par l'unité d'enregistrement (20).

6. Système d'assistance au conducteur (10) selon la revendication 5, l'unité de calcul (30) étant de plus adaptée afin d'estimer les trajectoires futures du véhicule (50) sur la base de la vitesse du véhicule (50), des mouvements de direction du véhicule (50) et/ou de l'état d'activation d'un clignotant du véhicule (50).

7. Système d'assistance au conducteur (10) selon l'une quelconque des revendications précédentes, de plus avec au moins un capteur de distance monté sur le véhicule (50), l'unité de calcul (30) étant adaptée afin de réaliser la détection de l'objet de collision (100, 102, 104) et/ou la détermination de la trajectoire de l'objet de collision (100, 102, 104) sur la base des données reçues par l'au moins un capteur de distance.

8. Système d'assistance au conducteur (10) selon l'une quelconque des revendications précédentes, l'unité de calcul (30) étant de plus réalisée afin de déterminer une vraisemblance de collision à partir de la trajectoire du véhicule (50) et de la trajectoire de l'objet de collision (100, 102, 104).

9. Système d'assistance au conducteur (10) selon l'une quelconque des revendications précédentes, l'unité d'enregistrement (20) comportant au moins une caméra (22, 24) qui est montée en variante ou en outre d'un rétroviseur latéral sur le véhicule (50).

10. Système d'assistance au conducteur (10) selon l'une quelconque des revendications précédentes, l'unité d'enregistrement (20) étant de plus adaptée afin de détecter au moins une partie d'un premier champ de vision (70) prescrit par la loi et/ou au moins une partie d'un second champ de vision (72) prescrit par la loi.

11. Système d'assistance au conducteur (10) selon la revendication 10, l'unité d'enregistrement (20) étant de plus adaptée afin de détecter au moins une partie d'un troisième champ de vision prescrit par la loi et/ou au moins une partie d'un quatrième champ de vision prescrit par la loi.

12. Système d'assistance au conducteur (10) selon l'une quelconque des revendications précédentes, l'avertissement émis au conducteur du véhicule (50) étant un avertissement visuel sur une unité de reproduction (40) et/ou un avertissement acoustique et/ou haptique.

13. Système d'assistance au conducteur (10) selon l'une quelconque des revendications précédentes, l'intervention dans la commande du véhicule (50) comportant un freinage du véhicule (50) et/ou une accélération du véhicule (50) et/ou une modification du mouvement de direction du véhicule (50).

14. Système d'assistance au conducteur (10) selon l'une quelconque des revendications précédentes, l'unité de calcul (30) étant de plus adaptée afin de déterminer le type de l'objet de collision (100, 102, 104) sur la base de données de position globales enregistrées de l'objet de collision (100, 102, 104) et/ou de la vitesse de l'objet de collision (100, 102, 104).

Zeichnung