(19)
(11) EP 3 843 419 A1

(12) EUROPÄISCHE PATENTANMELDUNG

(43) Veröffentlichungstag:
30.06.2021  Patentblatt  2021/26

(21) Anmeldenummer: 20209487.6

(22) Anmeldetag:  24.11.2020
(51) Internationale Patentklassifikation (IPC): 
H04R 1/00(2006.01)
H04R 1/32(2006.01)
H04R 3/00(2006.01)
H04R 1/40(2006.01)
(84) Benannte Vertragsstaaten:
AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR
Benannte Erstreckungsstaaten:
BA ME
Benannte Validierungsstaaten:
KH MA MD TN

(30) Priorität: 16.12.2019 DE 102019134541

(71) Anmelder: Sennheiser electronic GmbH & Co. KG
30900 Wedemark (DE)

(72) Erfinder:
  • Krüger, Alexander
    31303 Burgdorf (DE)
  • Pellegrini, Renato
    8155 Niederhasli (CH)

(74) Vertreter: Eisenführ Speiser 
Patentanwälte Rechtsanwälte PartGmbB Postfach 10 60 78
28060 Bremen
28060 Bremen (DE)

   


(54) VERFAHREN ZUR STEUERUNG EINES MIKROFONARRAYS UND VORRICHTUNG ZUR STEUERUNG EINES MIKROFONARRAYS


(57) Um durch ein Mikrofonarray (40) Schall zu erfassen, der von einem beweglichen Objekt (10) ausgeht, dessen genaue Position bei Eintreffen des Schallsignals am Mikrofonarray unbekannt ist, enthält ein Verfahren (100) zur Steuerung des Mikrofonarrays (40) die Schritte Empfangen (110) von Positionsinformation, die eine Position (pTR) und eine Geschwindigkeit eines beweglichen Objekts (10) enthält, von einem Trackingsystem, Empfangen (120) mehrerer Mikrofonsignale, die Schall eines von dem beweglichen Objekt (10) ausgehenden Schallereignisses enthalten, von mehreren Mikrofonkapseln, Berechnen (130) einer Richtcharakteristik aus den mehreren Mikrofonsignalen, wobei die Richtcharakteristik auf Strahlformung (beamforming) entsprechend der Positionsinformation aufweist und wobei ein Audio-Ausgangssignal entsteht, das den Schall aus der bevorzugten Richtung hoher Empfindlichkeit enthält, und Ausgeben (160) des Ausgabe-Audiosignals. Dabei ist eine Breite oder ein Öffnungswinkel (a) der Richtcharakteristik zeitlich variabel und von der Geschwindigkeit des beweglichen Objekts abhängig, wobei eine höhere Geschwindigkeit des beweglichen Objekts zu einer größeren Breite oder einem größeren Öffnungswinkel der Richtcharakteristik führt.




Beschreibung


[0001] Die Erfindung betrifft ein Verfahren zur Steuerung eines Mikrofonarrays. Die Erfindung betrifft ebenfalls eine Vorrichtung zur Steuerung eines Mikrofonarrays.

Hintergrund



[0002] Für die Erfassung einzelner akustischer Ereignisse in einem großen planaren Erfassungsbereich bei gleichzeitigem hohen Störgeräuschpegel wird in WO2019/211487A1 eine Mikrofonanordnung vorgeschlagen, die aus einer kreisförmigen Anordnung von Richtrohrmikrofonen besteht, die radial nach außen weisen. Weil für ebene akustische Erfassungsbereiche keine zeitvariable Steuerung des Schallstrahls (beam) entlang der zur Erfassungsebene senkrechten Dimension erforderlich ist, wird dort als feste Richtwirkung in Bezug auf diese Dimension direkt die Richtwirkung der Mikrofone genutzt. In Bezug auf die Dimension der Ebene allerdings ermöglicht ein solches Array eine zeitvariante akustische Strahllenkung (beam steering) mit nahezu unveränderlicher Strahlcharakteristik (beam pattern) in alle Richtungen.

[0003] Ein typisches Beispiel für einen solchen großen planaren Erfassungsbereich bei gleichzeitigem hohen Störgeräuschpegel ist die Tonaufnahme einzelner Balltrittgeräusche oder der Schiedsrichterpfiff während eines Fußballspiels. Für eine solche Aufgabe ist der mögliche Erfassungsbereich das Fußballfeld. Außerdem ist in einem Fußballstadion während eines Spiels typischerweise ein hoher Störgeräuschpegel vorhanden, der hauptsächlich von den Zuschauertribünen rund um das Spielfeld ausgeht. Eine Besonderheit von Ballsportarten im Allgemeinen ist die Tatsache, dass sich sowohl der Ball als auch die Spieler in der Regel sehr schnell bewegen und daher eine hohe Geschwindigkeit für die Strahllenkung benötigt wird, um die Balltrittgeräusche erfassen zu können. Das Mikrofonarray soll nicht auf dem Spielfeld positioniert sein, sondern kann sich z. B. am Spielfeldrand befinden.

[0004] Wenn die Position des akustischen Ziels relativ zur Position des Arrays automatisch verfolgt werden kann (z. B. visuell unter Verwendung von Videokameras), kann die Strahllenkung vollautomatisch durchgeführt werden, wobei ein menschlicher Bediener nicht notwendig ist. Ein automatisches Verfolgungssystem (Trackingsystem, Tracker) liefert hierbei Positions- und Geschwindigkeitsdaten verschiedener Zielobjekte, die als Trackingdaten bezeichnet werden. Das wichtigste Zielobjekt in diesem Zusammenhang ist der Ball. Es treten jedoch folgende Probleme auf.

[0005] Erstens weisen die Trackingdaten eine Verzögerung (Latenz) und eine Unsicherheit dieser Verzögerung auf. Die Trackingdaten zur Steuerung der Strahlrichtung sind üblicherweise mit einer gewissen Latenz versehen, die beispielsweise durch im Rahmen des visuellen Trackings angewendete Bildverarbeitungsalgorithmen oder durch die Übertragung der Trackingdaten selbst vom Trackingsystem zum Mikrofonarray verursacht wird. Für die Erfassung sich bewegender Schallobjekte mit dem Mikrofonarray bedeutet dies, dass sich das Objekt zu dem Zeitpunkt, zu dem die Informationen über die Objektposition am Mikrofonarray ankommen, üblicherweise bereits an einer anderen Position befindet, was zu einer fehlangepassten Strahllenkung führt. In der Regel ist die Latenz der Trackingdaten zeitinvariant und, was noch wichtiger ist, normalerweise nicht genau bekannt.

[0006] Zweitens gibt es eine Unsicherheit der Genauigkeit der Trackingdaten: Trackingsysteme können in der Regel nicht die genaue Position der verfolgten Objekte angeben, sondern sie können die Position nur mit einer bestimmten Positionsgenauigkeit angeben, beispielsweise in Form eines Konfidenzintervalls.

[0007] Drittens ist die Schallausbreitung mit einer Verzögerung verbunden. Der Schall benötigt eine bestimmte Zeit, um sich von dem Objekt, das das Schallereignis auslöst, zur Mikrofonanordnung auszubreiten. Unter der Annahme, dass sich die zu erfassenden Schallobjekte in einem bestimmten Maximalabstand von der Anordnung (z. B. bis zu 50 m) bewegen, kann dieser Effekt als eine Art "negative Latenz" in Bezug auf die Trackingdatenverarbeitung angesehen werden, für die die Strahlsteuerung warten muss, bis der einer bestimmten Position entsprechende Schall am Mikrofonarray angekommen ist. Im Gegensatz zur Latenz der Trackingdaten ist die "negative Latenz" aufgrund der Schallausbreitung zeitlich variabel, weil sie dem Abstand zwischen dem Schallobjekt und dem Mikrofonarray entspricht.

[0008] Beide Effekte führen zu einer schlechten Aufnahmequalität des Schallobjekts, da die Strahlrichtung zeitlich nicht korrekt ausgerichtet ist (z.B. wird der Strahl zu spät oder zu früh in die entsprechende Richtung gerichtet).

[0009] Gegenwärtig gibt es für das Problem der Latenz der Trackingdaten in einem Echtzeiterfassungssystem nur eine suboptimale Lösung. Dabei wird das Audiosignal einfach um die erwartete mittlere Latenz verzögert, bevor Strahlformung (beamforming) angewendet wird. Diese Lösung berücksichtigt jedoch weder Unsicherheiten bei der Latenz der Trackingdaten noch zeitvariable Abstände zwischen Objekt und Array. Diese Effekte führen häufig zu einer zeitlichen Fehlausrichtung, d.h. zu einer Differenz zwischen der eingestellten Richtung und der tatsächlichen Richtung des zu erfassenden Schallobjekts zu diesem Zeitpunkt.

[0010] In der prioritätsbegründenden deutschen Patentanmeldung hat das Deutsche Patent- und Markenamt die folgenden Dokumente recherchiert: US 6 914 854 B1 und EP 2 942 975 A1.

Zusammenfassung der Erfindung



[0011] Die Erfindung löst dieses Problem. Ein erfindungsgemäßes Verfahren ist in Anspruch 1 angegeben. Eine entsprechende Vorrichtung ist in Anspruch 9 angegeben. Anspruch 8 betrifft einen computer-lesbaren Datenträger mit darauf gespeicherten Instruktionen, die geeignet sind, einen Computer oder Prozessor derart zu programmieren, dass dieser die Schritte des Verfahrens ausführt. Weitere vorteilhafte Ausführungsformen werden in den Ansprüchen 2-7 und 10-12 beschrieben.

[0012] Erfindungsgemäß werden die Latenz (einschließlich der Latenzunsicherheit) der Trackingdaten und die Schallausbreitung berücksichtigt, indem die Breite des gelenkten Audiostrahls (beam) zeitlich geändert wird, so dass der Strahl zwar noch so eng wie möglich, aber so breit wie erforderlich ist, um den gewünschten Objektschall sicher vollständig zu erfassen. Somit entsteht eine zeitvariante Strahlbreitenregelung für das Mikrofonarray. Dabei ist die Strahlbreite abhängig von folgenden Parametern: den Trackingdaten, d.h. der Geschwindigkeit des beweglichen Objekts und seiner Entfernung zum Mikrofonarray, sowie von der zeitlichen Dauer bis zum Eintreffen der Trackingdaten (Trackinglatenz). Dadurch kann der gleichzeitig eintreffende Schall eines Schallereignisses, das durch das bewegliche Objekt ausgelöst wird, sicher erfasst werden.

Kurze Beschreibung der Zeichnungen



[0013] Weitere Einzelheiten und vorteilhafte Ausführungsformen sind in den Zeichnungen dargestellt. Darin zeigt
Fig. 1
einen skizzierten Ablauf von Positionsmessung, Schallereignis und Eintreffen des Schalls und der Positionsdaten am Mikrofonarray;
Fig. 2
eine Draufsicht auf ein Spielfeld in einer ersten Situation;
Fig. 3
eine Draufsicht auf ein Spielfeld in einer zweiten Situation;
Fig. 4
ein Blockdiagramm einer erfindungsgemäßen Vorrichtung; und
Fig. 5
ein Flussdiagramm eines erfindungsgemäßen Verfahrens.

Detaillierte Beschreibung der Erfindung



[0014] Fig. 1 zeigt einen skizzierten Ablauf von Positionsmessung, Schallereignis und Eintreffen des Schalls am Mikrofonarray am Beispiel eines Fußballspiels. In Fig. 1 a) wird zu einem ersten Zeitpunkt tTR die Position eines Balls 10 auf einem Spielfeld sowie seine Geschwindigkeit entlang der Trajektorie Tr0, auf der sich der Ball bewegt, durch ein automatisches Video-Trackingsystem festgestellt. Dessen Trackingdaten stehen jedoch zu diesem Zeitpunkt noch nicht zur Verfügung. Außerhalb des Spielfelds, z. B. hinter einem Tor 30, befindet sich ein Mikrofonarray 40. Optional kann das Video-Trackingsystem außerdem Positionen und Geschwindigkeiten von Spielern 20 oder dem Schiedsrichter messen.

[0015] In Fig. 1 b) trifft zu einem zweiten, zunächst unbekannten Zeitpunkt tE der Spieler 20 den Ball 10, wobei ein Schallereignis entsteht, dessen Schallwellen 50 vom Mikrofonarray 40 aufgenommen werden sollen. Der Ball ändert seine Bewegung und folgt z. B. der neuen Trajektorie Tr1. Die Schallwellen benötigen einige Zeit, um am Mikrofonarray einzutreffen. Zum Zeitpunkt t0 empfängt das Mikrofonarray die Trackingdaten, wie in Fig. 1 c) dargestellt. Dies wird in diesem Beispiel zunächst auch als der Zeitpunkt angenommen, an dem bereits die Schallwellen 50 des Schallereignisses zum Zeitpunkt tE am Mikrofonarray 40 (oder an einem daran angeschlossenen Computer oder Prozessor) eintreffen, d.h. tTR = tE. Daher richtet das Mikrofonarray 40 seine Richtcharakteristik entsprechend aus, um gezielt die Schallwellen 50 des Schallereignisses aufzunehmen. Der Strahl kann praktisch ohne Verzögerung gesteuert werden. In einem äquivalenten Fall kann alternativ die Strahlformung in einem externen Computer oder Prozessor erfolgen. Dieser empfängt dann die Trackingdaten vom Tracker und die Audiodaten vom Mikrofonarray.

[0016] Allerdings beziehen sich die Trackingdaten auf eine Position des Balls zum Zeitpunkt tTR, während die Schallwellen vom Schallereignis zum Zeitpunkt tE stammen. Wenn die Zeit der Schallausbreitung der Trackinglatenz entspricht, wie im oben beschriebenen Fall, passen die Trackingdaten und der Schall zusammen. Anderenfalls wird das Schallereignis zu einem früheren oder späteren Zeitpunkt und damit an einer anderen Position erzeugt. Da die Position, die Trajektorie Tr0 (d.h. die Bewegungsrichtung) und die Geschwindigkeit des Balls zum Zeitpunkt tTR aus den Trackingdaten bekannt sind, und auch die Trackinglatenz und die Tracking-Genauigkeit bekannt ist oder zumindest abgeschätzt werden kann, kann aber die Ballposition zum Zeitpunkt tE berechnet bzw. abgeschätzt werden. Der Strahl kann dann so breit gemacht werden, dass der Ort des Schallereignisses zum Zeitpunkt tE mit erfasst wird.

[0017] Wenn der Abstand zwischen der vom Trackingsystem bereitgestellten Position und dem Mikrofonarray größer ist als ein Maximalwert rMAX, kann der Schall diese Entfernung nicht innerhalb der Latenz des Trackingsystems zurücklegen. Daher liegen die (zum Schallereignis gehörenden) Trackingdaten in diesem Fall bereits am Mikrofonarray 40 vor, wenn die Schallwellen 50 eintreffen. Diese Entfernung ergibt sich aus rMAX = vS * dTRACK (mit der Schallgeschwindigkeit vS und der Trackinglatenz dTRACK). In Fig. 1 c) ist also der Grenzfall dargestellt, wenn die Trackingdaten des Schallereignisses und die Schallwellen 50 gleichzeitig am Mikrofonarray eintreffen, d.h. tTR = tE. Wenn die Entfernung größer ist, treffen jedoch die Trackingdaten vor den Schallwellen am Mikrofonarray ein. Das Objekt 10 hatte im Fall r > rMAX die vom Trackingsystem zum Zeitpunkt to bereitgestellte Position pTR tatsächlich zum Zeitpunkt tTR = t0 - dTRACK angenommen, und der Schall wird erst zu einem späteren Zeitpunkt als die Trackingdaten tS = t0 - dTRACK + r / vS > t0 am Mikrofonarray eintreffen. Das Array erhält daher bereits zum Zeitpunkt t0 die Information, wohin es sich zum späteren Zeitpunkt ts sinnvollerweise ausrichten soll, um ggf. den Schall des Schallereignisses bzw. des akustischen Objekts einzufangen. Diese Information wird daher zwischen den Zeitpunkten t0 und ts geeignet zwischengespeichert. Da in diesem Fall die Position jedes möglichen akustischen Ereignissen bereits im Voraus bekannt ist, kann unter der Annahme der genauen Kenntnis der Latenz des Trackers sowie der Annahme einer fehlerfreien Positionsbestimmung durch das Trackingsystem der akustische Strahl für gemeldete Positionen mit einer Entfernung von rMAX oder größer möglichst schmal gemacht werden, und insbesondere schmaler als mit konventionellen Mikrofonarrays.

[0018] Darüber hinaus kann es auch Fälle geben, in denen die Latenz des Trackingsystems nicht genau bekannt ist oder die vom Trackingsystem kommenden Positionsdaten fehlerbehaftet sind. In diesen Fällen kann aber als obere Schranke eine maximal mögliche Latenz angegeben werden. Daher lässt sich in diesen Fällen ebenfalls die Breite des akustische Strahls adaptiv steuern, um diesen Unsicherheiten Rechnung zu tragen. Allgemein ist es dann sinnvoll, die Strahlbreite umso mehr zu vergrößern, je schneller sich das Objekt bewegt, das den Schall erzeugt, und je kleiner der Abstand des Objektes vom Array ist.

[0019] Kritisch ist jedoch der Fall, in dem der Abstand zwischen der vom Trackingsystem bereitgestellten Position und dem Mikrofonarray kleiner ist als der Maximalwert rMAX. Dieser Fall wird im Folgenden betrachtet.

[0020] Fig. 2 zeigt eine Draufsicht auf ein Spielfeld in einer ersten Situation. Das Ziel besteht darin, ein Ballstoßgeräusch durch eine Mikrofonanordnung zu erfassen, die an einem Punkt PAr z.B. 3 m hinter dem Tor 30 liegt. Zu einem bestimmten Zeitpunkt to liefert ein Trackingsystem zur Ballverfolgung eine Abschätzung pTR der Ballposition z. B. in einer Entfernung von r = 6 m zum Array und eine Abschätzung vBALL der Ballgeschwindigkeit, die zu diesem Zeitpunkt z. B. bei 30 m/s liegt. Die Richtung, in die sich der Ball bewegt, ist jedoch nicht notwendigerweise bekannt. Es ist ferner bekannt, dass das Trackingsystem eine Latenz dTRACK aufweist, die z. B. 0.1s beträgt. Nach dem Trackingzeitpunkt tTR wird der Ball zum Ereigniszeitpunkt tE von einem Spieler getroffen, wobei als aufzunehmendes Schallereignis das Balltritt-Geräusch entsteht, und dabei umgelenkt. In Fig. 2 sind drei verschiedene mögliche Flugbahnen des Balls durch verschiedene Trajektorien Tr1,Tr2, Tr3 dargestellt, bei denen das Balltritt-Geräusch an verschiedenen Stellen stattfindet und der Schall des Balltritt-Geräuschs, unter Berücksichtigung der Schallausbreitung durch die Luft, zum Zeitpunkt to am Array ankommt. Hierbei wird angenommen, dass der Ball auf allen drei möglichen Flugbahnen die gleiche Geschwindigkeit vBALL hat. Die entsprechenden Positionen, an denen der Balltritt stattfinden kann, sind mit p1,K, p2,K und p3,K bezeichnet. Eine Herausforderung für die Strahlbreitensteuerung besteht daher darin, den Schall des Balltritt-Geräuschs vollständig zu erfassen und gleichzeitig den engstmöglichen Strahl beizubehalten, um den Umgebungsschall, z. B. das diffuse Rauschen der Zuschauerränge, so gut wie möglich zu unterdrücken.

[0021] Dazu wird, zum Zeitpunkt to des Eintreffens der Trackingdaten, zunächst der Bereich BTr der möglichen wahren Ballposition im Tracking-Zeitpunkt tTR konstruiert, der in Fig. 2 durch einen gestrichelten Kreis dargestellt ist. Sein Radius rTr von z. B. 3 m ergibt sich aus der Ballbewegung, ausgehend von der Trackingposition pTR, für die Dauer der Trackinglatenz dTRACK mit einer Geschwindigkeit von vBALL. Ohne Berücksichtigung der Schallausbreitung von der Balltritt-Position p1,K,p2,K,p3,K, d. h. dem tatsächlichen Ort des Schallereignisses, zum Array könnte eine einfache Wahl der Strahlbreite so eng wie möglich sein, um den gestrichelten Kreis zu erfassen. Dieses Verfahren würde jedoch die tatsächlich erforderliche Strahlbreite überschätzen und damit unnötig ungenau sein.

[0022] Wenn jedoch die Schallausbreitung von der Balltritt-Position zum Array berücksichtigt wird, kann eine engere geeignete Strahlbreite errechnet werden. Insbesondere gibt es für alle möglichen Balltritt-Positionen p1,K,p2,K,p3,K eine Mindestzeitdauer dAIR,min, die der Balltritt-Schall benötigt, um sich durch die Luft zum Mikrofonarray auszubreiten. Dementsprechend gibt es eine maximale Zeitdauer dBALL,max, in der sich der Ball bewegt haben kann, bevor er dann getreten wurde, so dass der dabei entstandene Schall zum Zeitpunkt to am Array ankommt. Beide Fälle treten gemeinsam auf, wenn sich der Ball von der Trackingposition pTR entlang der Trajektorie Tr3 direkt in Richtung des Arrays bewegt und auf diesem Weg in einem Abstand rreal, max von der Trackingposition pTR getreten wird. Die Distanz rreal,max kann aus der Tatsache abgeleitet werden, dass sich beide Zeiten dBALL,max (= tE-tTR) und dAIR,min (= t0-tE) zur Tracker-Latenz addieren müssen, damit der Schall des Balltritts zum Zeitpunkt to am Array ankommt, d.h.



[0023] Wenn die Zeitangaben durch die entsprechenden Entfernungen und Geschwindigkeiten angegeben werden mit



wobei vs die Schallgeschwindigkeit und r die Entfernung des Mikrofonarrays zur Trackingposition ist, und auflöst nach rreal,max, ergibt sich

wobei mit den oben genannten Zahlenbeispielen rreal,max ≈ 2.71 m gilt. Das ist der Radius eines kreisrunden Bereichs Breal um pTR, der den tatsächlichen Unsicherheitsbereich der Position des Balltritts darstellt und dessen Größe kleiner ist als der gestrichelte Kreis BTr. Somit wird das Geräusch des Balltritts sicher erfasst, wenn der Strahlformer im Zeitpunkt to so eng wie möglich gesteuert wird, um noch den kleineren Kreis Breal zu enthalten. In der beschriebenen und in Fig.2 gezeigten Situation ergibt sich eine Strahlbreite mit einem Winkel von α = sin-1 (rreal,max / r) ≈ 54°.

[0024] Allgemein wird der Bereich Breal der möglichen Ballposition kleiner, wenn die Entfernung von der Trackingposition pTR zum Array größer wird, wenn die Ballgeschwindigkeit vBALL kleiner wird, oder wenn die maximale Latenz des Trackers kleiner wird. Außerdem kann auch die Tracking-Genauigkeit in die Steuerung der Strahlbreite einbezogen werden, wobei die Strahlbreite umso mehr zu erhöhen ist, je ungenauer das Tracking ist. Je kleiner der errechnete Bereich Breal der möglichen Ballposition ist, umso geringer ist die Strahlbreite und umso weniger Umgebungsgeräusche werden ungewollt erfasst. Die erfindungsgemäß erhöhte Fokussierung führt daher zu einer verbesserten Audiosignalqualität.

[0025] Fig. 3 zeigt eine Draufsicht auf ein Spielfeld in einer zweiten Situation. Im Gegensatz zu Fig. 2 ist hier die Entfernung r' von der Trackingposition p'TR zum Array PAr größer. Die Trackinglatenz dTRACK ist jedoch dieselbe, so dass der Bereich B'real der möglichen Ballposition kleiner ist als in Fig. 2, während der herkömmlich (ohne Berücksichtigung der Schallausbreitung) berechnete Bereich B'Tr der möglichen Ballposition unverändert bleibt. Dadurch wird auch die Strahlbreite bzw. der Winkel kleiner, z. B. ergibt sich für r' = 15 m bei ansonsten gleichen Werten α' ≈ 14°. Bei herkömmlicher Berechnung (ohne Berücksichtigung der Schallausbreitung) ergibt sich dagegen ein Winkel von α' ≈ 23°.

[0026] Ein Grundgedanke der vorgeschlagenen Strahlbreitenregelung ist, dass vom Eintreten des Schallereignisses an der Schallquelle bis zu dem Zeitpunkt, an dem der Schall das Mikrofonarray erreicht, bereits eine gewisse Zeit vergangen ist, in der sich die Schallquelle bereits weiterbewegt hat.

[0027] Fig. 4 zeigt in einer Ausführungsform der Erfindung ein Blockdiagramm einer erfindungsgemäßen Vorrichtung. Die Vorrichtung 200 enthält eine erste Eingangsschnittstelle 210 für Positionsinformation, die mindestens die Position pTR und die Geschwindigkeit eines beweglichen Objekts 10 enthält und von einem Trackingsystem kommen kann, sowie eine zweite Eingangsschnittstelle 220 mit mehreren Eingängen für Mikrofonsignale ASin,1,..., ASin,N, die von mehreren Mikrofonkapseln kommen. Außerdem enthält die Vorrichtung 200 eine Berechnungseinheit 230 zum Berechnen einer Richtcharakteristik aus den mehreren Mikrofonsignalen mittels Strahlformung (beamforming), wobei die Richtcharakteristik mindestens eine bevorzugte Richtung hoher Empfindlichkeit entsprechend der Positionsinformation aufweist. Somit kann die Richtcharakteristik bzw. der Beam auf die vom Trackingsystem erhaltene Position ausgerichtet werden, um den aus dieser Richtung eintreffenden Schall aufzunehmen. Dabei entsteht ein Audio-Ausgangssignal ASOut, das den Schall aus der bevorzugten Richtung hoher Empfindlichkeit enthält, und das über eine Ausgabe-Schnittstelle 240 ausgegeben werden kann. Die Berechnungseinheit 230 berechnet die Richtcharakteristik mindestens für jede neu eintreffende Positionsinformation neu. Z. B. kann in regelmäßigen Abständen von beispielsweise 40 ms bis maximal 100 ms aktualisierte Positionsinformation vom Trackingsystem empfangen werden. Für die Berechnung wird der Abstand r zwischen der Trackingposition und der Position des Mikrofonarrays berücksichtigt, indem für große Abstände r > rMAX ein möglichst schmaler Strahl geformt wird, wie oben beschrieben. Dazu werden bekannte Verfahren benutzt, z. B. Verzögerung, Überlagerung und Filterung der Mikrofonsignale.

[0028] Für kleinere Abstände r< rMAX jedoch ist die Breite bzw. der Öffnungswinkel (Azimutwinkel) der Richtcharakteristik variabel und von der Geschwindigkeit des beweglichen Objekts 10 abhängig. Dabei führt eine höhere Geschwindigkeit des beweglichen Objekts 10 zu einer größeren Breite bzw. einem größeren Öffnungswinkel der Richtcharakteristik. Für r=rMAX wird die minimale Breite bzw. der minimale Öffnungswinkel der Richtcharakteristik erreicht, der dann auch nicht unterschritten wird (z.B. 5°-10°). Die variable Richtcharakteristik lässt sich erreichen, indem z. B. in einem Filter-and-Sum Beamformer die Filter modifiziert werden. Dazu können geänderte Filterkoeffizienten eingesetzt werden, die aus einem Speicher 235 abgerufen werden können, in dem sie gespeichert sind. Um die Ausrichtung zu ändern, können die Verzögerungswerte für die einzelnen Mikrofonsignale modifiziert werden. Dazu können in einer Ausführungsform entsprechend der Richtung passende Verzögerungswerte ebenfalls aus dem Speicher 235 abgerufen werden. Für andere Beamformer können andere Werte geändert werden, die die Strahlbreite bzw. den Öffnungswinkel bestimmen, z. B. Gewichtungsfaktoren für Ambisonicssignale in einem Modal-Beamformer.

[0029] Fig. 5 zeigt in einer Ausführungsform der Erfindung ein Flussdiagramm eines erfindungsgemäßen Verfahrens. Es ist ein automatisch ausgeführtes Verfahren 100 zur Steuerung eines Mikrofonarrays 40. Das Verfahren 100 umfasst die Schritte Empfangen 110 von Positionsinformation, die eine Position pTR und eine Geschwindigkeit eines beweglichen Objekts 10 enthält, von einem Trackingsystem, sowie Empfangen 120 mehrerer Mikrofonsignale ASin,1,...,ASin,N von mehreren Mikrofonkapseln. Die Mikrofonsignale enthalten Schall eines von dem beweglichen Objekt 10 ausgehenden Schallereignisses. Im nächsten Schritt 130 wird eine Richtcharakteristik aus den mehreren Mikrofonsignalen berechnet, wobei die Richtcharakteristik auf Strahlformung (beamforming) beruht und mindestens eine bevorzugte Richtung hoher Empfindlichkeit entsprechend der Positionsinformation aufweist. Dabei entsteht ein Audio-Ausgangssignal ASOut, das den Schall aus der bevorzugten Richtung hoher Empfindlichkeit enthält und das dann ausgegeben wird 160. Wie oben beschrieben, ist die Breite oder der Öffnungswinkel α der Richtcharakteristik zeitlich variabel und hängt von der Geschwindigkeit des beweglichen Objekts 10 ab, wobei eine höhere Geschwindigkeit des beweglichen Objekts zu einer größeren Breite oder einem größeren Öffnungswinkel der Richtcharakteristik führt.

[0030] In einer Ausführungsform wird die Breite bzw. der Öffnungswinkel der Richtcharakteristik auch in Abhängigkeit von der Trackinglatenz geändert 140, wobei eine größere Trackinglatenz zu einer größeren Breite oder einem größeren Öffnungswinkel der Richtcharakteristik führt. In einer weiteren Ausführungsform wird die Breite bzw. der Öffnungswinkel der Richtcharakteristik auch in Abhängigkeit von der Entfernung des beweglichen Objekts 10 von dem Mikrofonarray geändert 150, wobei eine größere Entfernung zu einer kleineren Breite bzw. einem kleineren Öffnungswinkel der Richtcharakteristik führt, und wobei die Breite bzw. der Öffnungswinkel der Richtcharakteristik einen Mindestwert nicht unterschreiten.

[0031] In einer Ausführungsform der Erfindung befinden sich verschiedene der Mikrofonkapseln in verschiedenen Mikrofonen mit jeweils einer Richtwirkung, wobei der Winkel der Richtcharakteristik nur in einer Dimension berechnet wird und in einer anderen Dimension der Winkel der Richtcharakteristik durch die Richtwirkung der Mikrofone bestimmt wird.

[0032] In einer Ausführungsform wird in regelmäßigen Abständen von maximal 100 ms aktualisierte Positionsinformation vom Trackingsystem empfangen 110, das z. B. videobasiert sein kann, und die Breite bzw. der Öffnungswinkel α des Strahls der Richtcharakteristik wird an die aktualisierte Positionsinformation angepasst.

[0033] Die Erfindung kann mit einem konfigurierbaren Computer oder Prozessor implementiert werden. Die Konfiguration erfolgt durch einen computerlesbaren Datenträger mit darauf gespeicherten Instruktionen, die geeignet sind, den Computer oder Prozessor so zu programmieren, dass dieser die Schritte des oben beschriebenen Verfahrens ausführt.


Ansprüche

1. Verfahren (100) zur Steuerung eines Mikrofonarrays (40) mit den Schritten

- Empfangen (110) von Positionsinformation, die eine Position (pTR) und eine Geschwindigkeit eines beweglichen Objekts (10) enthält, von einem Trackingsystem;

- Empfangen (120) mehrerer Mikrofonsignale von mehreren Mikrofonkapseln, wobei die Mikrofonsignale Schall eines von dem beweglichen Objekt (10) ausgehenden Schallereignisses enthalten;

- Berechnen (130) einer Richtcharakteristik aus den mehreren Mikrofonsignalen, wobei die Richtcharakteristik auf Strahlformung (beamforming) beruht und mindestens eine bevorzugte Richtung hoher Empfindlichkeit entsprechend der Positionsinformation aufweist, und wobei ein Audio-Ausgangssignal entsteht, das den Schall aus der bevorzugten Richtung hoher Empfindlichkeit enthält; und

- Ausgeben (160) des Ausgabe-Audiosignals;

- wobei eine Breite oder ein Öffnungswinkel (a) der Richtcharakteristik zeitlich variabel ist und von der Geschwindigkeit des beweglichen Objekts (10) abhängt, wobei eine höhere Geschwindigkeit des beweglichen Objekts (10) zu einer größeren Breite oder einem größeren Öffnungswinkel der Richtcharakteristik führt.


 
2. Verfahren nach Anspruch 1, wobei das Trackingsystem eine Trackinglatenz aufweist, die einer Zeit zwischen dem Messen der Positionsinformation und dem Empfangen der Positionsinformation am Mikrofonarray entspricht, und die Breite oder der Öffnungswinkel (a) der Richtcharakteristik auch von der Trackinglatenz abhängt, wobei eine größere Trackinglatenz zu einer größeren Breite oder einem größeren Öffnungswinkel der Richtcharakteristik führt.
 
3. Verfahren nach Anspruch 1 oder 2, wobei die Breite oder der Öffnungswinkel (a) der Richtcharakteristik auch von der Entfernung des beweglichen Objekts (10) von dem Mikrofonarray abhängt, wobei eine größere Entfernung zu einer kleineren Breite oder einem kleineren Öffnungswinkel der Richtcharakteristik führt, und wobei die Breite oder der Öffnungswinkel der Richtcharakteristik einen Mindestwert nicht unterschreiten.
 
4. Verfahren nach einem der Ansprüche 1 - 3, wobei sich verschiedene der Mikrofonkapseln in verschiedenen Mikrofonen mit jeweils einer Richtwirkung befinden, und wobei der Winkel der Richtcharakteristik nur in einer Dimension berechnet wird und in einer anderen Dimension der Winkel der Richtcharakteristik durch die Richtwirkung der Mikrofone bestimmt wird.
 
5. Verfahren nach einem der Ansprüche 1 - 4, wobei in regelmäßigen Abständen von maximal 100 ms aktualisierte Positionsinformation vom Trackingsystem empfangen wird (110) und die Breite oder der Öffnungswinkel (a) des Strahls der Richtcharakteristik an die aktualisierte Positionsinformation angepasst wird.
 
6. Verfahren nach einem der Ansprüche 1 - 5, wobei das Trackingsystem videobasiert ist.
 
7. Verfahren nach einem der Ansprüche 1 - 6, wobei das bewegliche Objekt (10) ein Ball oder ein anderes bewegliches Spiel- oder Sportgerät ist.
 
8. Computer-lesbarer Datenträger mit darauf gespeicherten Instruktionen, die geeignet sind, einen Computer oder Prozessor derart zu programmieren, dass dieser die Schritte des Verfahrens nach einem der Ansprüche 1-7 ausführt.
 
9. Vorrichtung (200) zur Steuerung eines Mikrofonarrays (40) mit

- einer ersten Eingangsschnittstelle (210) für Positionsinformation, die eine Position (pTR) und eine Geschwindigkeit eines beweglichen Objekts (10) enthält;

- eine zweiten Eingangsschnittstelle (220) mit mehreren Eingängen für Mikrofonsignale, die von mehreren Mikrofonkapseln kommen;

- einer Berechnungseinheit (230) zum Berechnen (130) einer Richtcharakteristik aus den mehreren Mikrofonsignalen, wobei die Richtcharakteristik auf Strahlformung (beamforming) beruht und mindestens eine bevorzugte Richtung hoher Empfindlichkeit entsprechend der Positionsinformation aufweist, und wobei ein Audio-Ausgangssignal entsteht, das den Schall aus der bevorzugten Richtung hoher Empfindlichkeit enthält; und

- einer Ausgabe-Schnittstelle (240) zur Ausgabe des Ausgabe-Audiosignals;

- wobei eine Breite oder ein Öffnungswinkel (a) der Richtcharakteristik variabel ist und von der Geschwindigkeit des beweglichen Objekts (10) abhängt, wobei eine höhere Geschwindigkeit des beweglichen Objekts (10) zu einer größeren Breite oder einem größeren Öffnungswinkel der Richtcharakteristik führt.


 
10. Vorrichtung nach Anspruch 9, wobei, sich die Positionsinformation auf einen ersten Zeitpunkt (tTR) bezieht, an dem sie gemessen wurde, und wobei der Schall aus der bevorzugten Richtung hoher Empfindlichkeit von einem Schallereignis stammt, das zu einem anderen zweiten Zeitpunkt (tE) stattfand.
 
11. Vorrichtung nach Anspruch 9 oder 10, wobei die Breite oder der Öffnungswinkel (a) der Richtcharakteristik auch von der Entfernung des beweglichen Objekts (10) von dem Mikrofonarray abhängt, wobei eine größere Entfernung zu einer kleineren Breite oder einem kleineren Öffnungswinkel der Richtcharakteristik führt, und wobei die Breite oder der Öffnungswinkel der Richtcharakteristik einen Mindestwert nicht unterschreiten.
 
12. Vorrichtung nach einem der Ansprüche 9 - 11, wobei sich verschiedene der Mikrofonkapseln in verschiedenen Mikrofonen mit jeweils einer Richtwirkung befinden, und wobei der Öffnungswinkel der Richtcharakteristik nur in einer Dimension berechnet wird und in einer anderen Dimension der Öffnungswinkel der Richtcharakteristik durch die Richtwirkung der Mikrofone bestimmt wird.
 




Zeichnung













Recherchenbericht









Recherchenbericht




Angeführte Verweise

IN DER BESCHREIBUNG AUFGEFÜHRTE DOKUMENTE



Diese Liste der vom Anmelder aufgeführten Dokumente wurde ausschließlich zur Information des Lesers aufgenommen und ist nicht Bestandteil des europäischen Patentdokumentes. Sie wurde mit größter Sorgfalt zusammengestellt; das EPA übernimmt jedoch keinerlei Haftung für etwaige Fehler oder Auslassungen.

In der Beschreibung aufgeführte Patentdokumente