Vorrichtung und Verfahren zum Liefern von Daten in einem Multi-Renderer-System

Beschreibung

Beschreibung

[0001] Die vorliegende Erfindung bezieht sich auf Wellenfeldsynthese-Konzepte und insbesondere auf effiziente Wellenfeldsynthese-Konzept in Verbindung mit einem Multi-Renderer-System.

[0002] Es besteht ein steigender Bedarf an neuen Technologien und innovativen Produkten im Bereich der Unterhaltungselektronik. Dabei ist es eine wichtige Voraussetzung für den Erfolg neuer multimedialer Systeme, optimale Funktionalitäten bzw. Fähigkeiten anzubieten. Erreicht wird das durch den Einsatz digitaler Technologien und insbesondere der Computertechnik. Beispiele hierfür sind die Applikationen, die einen verbesserten realitätsnahen audiovisuellen Eindruck bieten. Bei bisherigen Audiosystemen liegt ein wesentlicher Schwachpunkt in der Qualität der räumlichen Schallwiedergabe von natürlichen, aber auch von virtuellen Umgebungen.

[0003] Verfahren zur mehrkanaligen Lautsprecherwiedergabe von Audiosignalen sind seit vielen Jahren bekannt und standardisiert. Alle üblichen Techniken besitzen den Nachteil, dass sowohl der Aufstellungsort der Lautsprecher als auch die Position des Hörers dem Übertragungsformat bereits eingeprägt sind. Bei falscher Anordnung der Lautsprecher im Bezug auf den Hörer leidet die Audioqualität deutlich. Ein optimaler Klang ist nur in einem kleinen Bereich des Wiedergaberaums, dem so genannten Sweet Spot, möglich.

[0004] Ein besserer natürlicher Raumeindruck sowie eine stärkere Einhüllung bei der Audiowiedergabe kann mit Hilfe einer neuen Technologie erreicht werden. Die Grundlagen dieser Technologie, die so genannte Wellenfeldsynthese (WFS; WFS = Wave-Field Synthesis), wurden an der TU Delft erforscht und erstmals in den späten 80er-Jahren vorgestellt (Berkhout, A.J.; de Vries, D.; Vogel, P.: Acoustic control by Wave-field Synthesis. JASA 93, 1993).

[0005] Infolge der enormen Anforderungen dieser Methode an Rechnerleistung und Übertragungsraten wurde die Wellenfeldsynthese bis jetzt nur selten in der Praxis angewendet. Erst die Fortschritte in den Bereichen der Mikroprozessortechnik und der Audiocodierung gestatten heute den Einsatz dieser Technologie in konkreten Anwendungen. Erste Produkte im professionellen Bereich werden nächstes Jahr erwartet. In wenigen Jahren sollen auch erste Wellenfeldsynthese-Anwendungen für den Konsumerbereich auf den Markt kommen.

[0006] Die Grundidee von WFS basiert auf der Anwendung des Huygens' schen Prinzips der Wellentheorie:

Jeder Punkt, der von einer Welle erfasst wird, ist Ausgangspunkt einer Elementarwelle, die sich kugelförmig bzw. kreisförmig ausbreitet.

[0007] Angewandt auf die Akustik kann durch eine große Anzahl von Lautsprechern, die nebeneinander angeordnet sind (einem so genannten Lautsprecherarray), jede beliebige Form einer einlaufenden Wellenfront nachgebildet werden. Im einfachsten Fall, einer einzelnen wiederzugebenden Punktquelle und einer linearen Anordnung der Lautsprecher, müssen die Audiosignale eines jeden Lautsprechers mit einer Zeitverzögerung und Amplitudenskalierung so gespeist werden, dass sich die abgestrahlten Klangfelder der einzelnen Lautsprecher richtig überlagern. Bei mehreren Schallquellen wird für jede Quelle der Beitrag zu jedem Lautsprecher getrennt berechnet und die resultierenden Signale addiert. Befinden sich die wiederzugebenden Quellen in einem Raum mit reflektierenden Wänden, dann müssen auch Reflexionen als zusätzliche Quellen über das Lautsprecherarray wiedergegeben werden. Der Aufwand bei der Berechnung hängt daher stark von der Anzahl der Schallquellen, den Reflexionseigenschaften des Aufnahmeraums und der Anzahl der Lautsprecher ab.

[0008] Der Vorteil dieser Technik liegt im Besonderen darin, dass ein natürlicher räumlicher Klangeindruck über einen großen Bereich des Wiedergaberaums möglich ist. Im Gegensatz zu den bekannten Techniken werden Richtung und Entfernung von Schallquellen sehr exakt wiedergegeben. In beschränktem Maβe können virtuelle Schallquellen sogar zwischen dem realen Lautsprecherarray und dem Hörer positioniert werden.

[0009] Obgleich die Wellenfeldsynthese für Umgebungen gut funktioniert, deren Beschaffenheiten bekannt sind, treten doch Unregelmäßigkeiten auf, wenn sich die Beschaffenheit ändert bzw. wenn die Wellenfeldsynthese auf der Basis einer Umgebungsbeschaffenheit ausgeführt wird, die nicht mit der tatsächlichen Beschaffenheit der Umgebung übereinstimmt.

[0010] Eine Umgebungsbeschaffenheit kann durch die Impulsantwort der Umgebung beschrieben werden.

[0011] Dies wird anhand des nachfolgenden Beispiels näher dargelegt. Es wird davon ausgegangen, dass ein Lautsprecher ein Schallsignal gegen eine Wand aussendet, deren Reflexion unerwünscht ist. Für dieses einfache Beispiel würde die Raumkompensation unter Verwendung der Wellenfeldsynthese darin bestehen, dass zunächst die Reflexion dieser Wand bestimmt wird, um zu ermitteln, wann ein Schallsignal, das von der Wand reflektiert worden ist, wieder beim Lautsprecher ankommt, und welche Amplitude dieses reflektierte Schallsignal hat. Wenn die Reflexion von dieser Wand unerwünscht ist, so besteht mit der Wellenfeldsynthese die Möglichkeit, die Reflexion von dieser Wand zu eliminieren, indem dem Lautsprecher ein zu dem Reflexionssignal gegenphasiges Signal mit entsprechender Amplitude zusätzlich zum ursprünglichen Audiosignal eingeprägt wird, so dass die hinlaufende Kompensationswelle die Reflexionswelle auslöscht, derart, dass die Reflexion von dieser Wand in der Umgebung, die betrachtet wird, eliminiert ist. Dies kann dadurch geschehen, dass zunächst die Impulsantwort der Umgebung berechnet wird und auf der Basis der Impulsantwort dieser Umgebung die Beschaffenheit und Position der Wand bestimmt wird, wobei die Wand als Spiegelquelle interpretiert wird, also als Schallquelle, die einen einfallenden Schall reflektiert.

[0012] Wird zunächst die Impulsantwort dieser Umgebung gemessen und wird dann das Kompensationssignal berechnet, das dem Audiosignal überlagert dem Lautsprecher eingeprägt werden muss, so wird eine Aufhebung der Reflexion von dieser Wand stattfinden, derart, dass ein Hörer in dieser Umgebung schallmäßig den Eindruck hat, dass diese Wand überhaupt nicht existiert.

[0013] Entscheidend für eine optimale Kompensation der reflektierten Welle ist jedoch, dass die Impulsantwort des Raums genau bestimmt wird, damit keine Über- oder Unterkompensation auftritt.

[0014] Die Wellenfeldsynthese ermöglicht somit eine korrekte Abbildung von virtuellen Schallquellen über einen großen Wiedergabebereich. Gleichzeitig bietet sie dem Tonmeister und Toningenieur neues technisches und kreatives Potential bei der Erstellung auch komplexer Klanglandschaften. Die Wellenfeldsynthese (WFS oder auch Schallfeldsynthese), wie sie Ende der 80-er Jahre an der TU Delft entwickelt wurde, stellt einen holographischen Ansatz der Schallwiedergabe dar. Als Grundlage hierfür dient das Kirchhoff-Helmholtz-Integral. Dieses besagt, dass beliebige Schallfelder innerhalb eines geschlossenen Volumens mittels einer Verteilung von Monopol- und Dipolschallquellen (Lautsprecherarrays) auf der Oberfläche dieses Volumens erzeugt werden können.

[0015] Bei der Wellenfeldsynthese wird aus einem Audiosignal, das eine virtuelle Quelle an einer virtuellen Position aussendet, eine Synthesesignal für jeden Lautsprecher des Lautsprecherarrays berechnet, wobei die Synthesesignale derart hinsichtlich Amplitude und Phase gestaltet sind, dass eine Welle, die sich aus der Überlagerung der einzelnen durch die im Lautsprecherarray vorhandenen Lautsprecher ausgegebenen Schallwelle ergibt, der Welle entspricht, die von der virtuellen Quelle an der virtuellen Position herrühren würde, wenn diese virtuelle Quelle an der virtuellen Position eine reale Quelle mit einer realen Position wäre.

[0016] Typischerweise sind mehrere virtuelle Quellen an verschiedenen virtuellen Positionen vorhanden. Die Berechnung der Synthesesignale wird für jede virtuelle Quelle an jeder virtuellen Position durchgeführt, so dass typischerweise eine virtuelle Quelle in Synthesesignalen für mehrere Lautsprecher resultiert. Von einem Lautsprecher aus betrachtet empfängt dieser Lautsprecher somit mehrere Synthesesignale, die auf verschiedene virtuelle Quellen zurückgehen. Eine Überlagerung dieser Quellen, die aufgrund des linearen Superpositionsprinzips möglich ist, ergibt dann das von dem Lautsprecher tatsächlich ausgesendete Wiedergabesignal.

[0017] Die Möglichkeiten der Wellenfeldsynthese können um so besser ausgeschöpft werden, je größer die Lautsprecherarrays sind, d. h. um so mehr einzelne Lautsprecher bereitgestellt werden. Damit steigt jedoch auch die Rechenleistung, die eine Wellenfeldsyntheseeinheit vollbringen muss, da typischerweise auch Kanalinformationen berücksichtigt werden müssen. Dies bedeutet im einzelnen, dass von jeder virtuellen Quelle zu jedem Lautsprecher prinzipiell ein eigener Übertragungskanal vorhanden ist, und dass prinzipiell der Fall vorhanden sein kann, dass jede virtuelle Quelle zu einem Synthesesignal für jeden Lautsprecher führt, bzw. dass jeder Lautsprecher eine Anzahl von Synthesesignalen erhält, die gleich der Anzahl von virtuellen Quellen ist.

[0018] Wenn insbesondere bei Kinoanwendungen die Möglichkeiten der Wellenfeldsynthese dahingehend ausgeschöpft werden sollen, dass die virtuellen Quellen auch beweglich sein können, so ist zu erkennen, dass aufgrund der Berechnung der Synthese-signale, der Berechnung der Kanalinformationen und der Erzeugung der Wiedergabesignale durch Kombination der Kanalinformationen und der Synthesesignale ganz erhebliche Rechenleistungen zu bewältigen sind.

[0019] Darüber hinaus sei an dieser Stelle angemerkt, dass die Qualität der Audiowiedergabe mit der Anzahl der zur Verfügung gestellten Lautsprecher steigt. Dies bedeutet, dass die Audiowiedergabequalität um so besser und realistischer wird, um so mehr Lautsprecher in dem bzw. den Lautsprecherarrays vorhanden sind.

[0020] Im obigen Szenario könnten die fertig gerenderten und analog-digital-gewandelten Wiedergabesignale für die einzelnen Lautsprecher beispielsweise über Zweidrahtleitungen von der Wellenfeldsynthese-Zentraleinheit zu den einzelnen Lautsprechern übertragen werden. Dies hätte zwar den Vorteil, dass nahezu sichergestellt ist, dass alle Lautsprecher synchron arbeiten, so dass hier zu Synchronisationszwecken keine weiteren Maßnahmen erforderlich wären. Andererseits könnte die Wellenfeldsynthese-Zentraleinheit immer nur für einen speziellen Wiedergaberaum bzw. für eine Wiedergabe mit einer festgelegten Anzahl von Lautsprechern hergestellt werden. Dies bedeutet, dass für jeden Wiedergaberaum eine eigene Wellenfeldsynthese-Zentraleinheit gefertigt werden müsste, die ein erhebliches Maß an Rechenleistung zu vollbringen hat, da die Berechnung der Audiowiedergabesignale insbesondere im Hinblick auf viele Lautsprecher bzw. viele virtuelle Quellen zumindest teilweise parallel und in Echtzeit erfolgen muss.

[0021] Das Deutsche Patent DE 10254404 B4 offenbart ein System, wie es in Fig. 7 dargestellt ist. Ein Teil ist das zentrale Wellenfeldsynthesemodul 10. Der andere Teil setzt sich aus einzelnen Lautsprechermodulen 12a, 12b, 12c, 12d, 12e zusammen, die mit tatsächlichen physikalischen Lautsprechern 14a, 14b, 14c, 14d, 14e derart verbunden sind, wie es in Fig. 1 gezeigt ist. Es sei darauf hingewiesen, dass die Anzahl der Lautsprecher 14a-14e bei typischen Anwendungen im Bereich über 50 und typischerweise sogar deutlich über 100 liegt. Wird jedem Lautsprecher ein eigenes Lautsprechermodul zugeordnet, so wird auch die entsprechende Anzahl von Lautsprecher-Modulen benötigt. Je nach Anwendung wird es jedoch bevorzugt, von einem Lautsprecher-Modul aus eine kleine Gruppe von nebeneinander liegenden Lautsprechern anzusprechen. In diesem Zusammenhang ist es beliebig, ob ein Lautsprecher-Modul, das mit vier Lautsprechern beispielsweise verbunden ist, die vier Lautsprecher mit demselben Wiedergabesignal speist, oder ob für die vier Lautsprecher entsprechende unterschiedliche Synthesesignale berechnet werden, so dass ein solches Lautsprecher-Modul eigentlich aus mehreren einzelnen Lautsprecher-Modulen besteht, die jedoch physikalisch in einer Einheit zusammengefasst sind.

[0022] Zwischen dem Wellenfeldsynthesemodul 10 und jedem einzelnen Lautsprecher-Modul 12a-12e befindet sich eine eigene Übertragungsstrecke 16a-16e, wobei jede Übertragungsstrecke mit dem zentralen Wellenfeldsynthesemodul und einem eigenen Lautsprecher-Modul gekoppelt ist.

[0023] Als Datenübertragungsmodus zum Übertragen von Daten von dem Wellenfeldsynthesemodul zu einem Lautsprecher-Modul wird ein serielles Übertragungsformat bevorzugt, das eine hohe Datenrate liefert, wie beispielsweise ein sogenanntes Firewire-Übertragungsformat oder ein USB-Datenformat. Datenübertragungsraten von über 100 Megabit pro Sekunde sind vorteilhaft.

[0024] Der Datenstrom, der von dem Wellenfeldsynthesemodul 10 zu einem Lautsprecher-Modul übertragen wird, wird somit je nach gewähltem Datenformat in dem Wellenfeldsynthesemodul entsprechend formatiert und mit einer Synchronisationsinformation versehen, die in üblichen seriellen Datenformaten vorgesehen ist. Diese Synchronisationsinformation wird von den einzelnen Lautsprecher-Modulen aus dem Datenstrom extrahiert und verwendet, um die einzelnen Lautsprecher-Module im Hinblick auf ihre Wiedergabe, also letztendlich auf die Analog-Digital-Wandlung zum Erhalten des analogen Lautsprechersignals und die dafür vorgesehene Abtastung (resampling) zu synchronisieren. Das zentrale Wellenfeldsynthesemodul arbeite als Master, und alle Lautsprecher-Module arbeiten als Clients, wobei die einzelnen Datenströme über die verschiedenen Übertragungsstrecken 16a-16e alle dieselben Synchronisationsinformationen von dem Zentralmodul 10 erhalten. Dies stellt sicher, dass alle Lautsprecher-Module synchron, und zwar synchronisiert von dem Master 10, arbeiten, was für das Audiowiedergabesystem wichtig ist, um keinen Verlust an Audioqualität zu erleiden, damit die vom Wellenfeldsynthesemodul berechneten Synthesesignale nicht zeitversetzt von den einzelnen Lautsprechern nach entsprechendem Audio-Rendering abgestrahlt werden.

[0025] Das beschriebene Konzept liefert zwar bereits eine deutliche Flexibilität im Hinblick auf ein Wellenfeldsynthese-System, das für verschiedene Anwendungsmöglichkeiten skalierbar ist. Es leidet jedoch nach wie vor an der Problematik, dass das zentrale Wellenfeldsynthese-Modul, das das eigentliche Haupt-Rendering durchführt, das also abhängig von den Positionen der virtuellen Quellen und abhängig von den Lautsprecherpositionen die einzelnen Synthese-Signale für die Lautsprecher berechnet, einen "Flaschenhals" für das gesamte System darstellt. Obgleich bei diesem System das "Nach-Rendering", also die Beaufschlagung der Synthese-signale mit Kanalübertragungsfunktionen, etc. bereits dezentral ausgeführt wird und somit bereits die notwendige Datenübertragungskapazität zwischen dem zentralen Renderer-Modul und den einzelnen Lautsprecher-Modulen durch Selektion von Synthesesignalen mit einer kleineren Energie als einer bestimmten Schwellenenergie reduziert worden ist, müssen jedoch dennoch alle virtuellen Quellen gewissermaßen für alle Lautsprechermodule gerendert werden, also in Synthesesignale umgerechnet werden, wobei die Ausselektion erst nach dem Rendering stattfindet.

[0026] Dies bedeutet, dass das Rendering nach wie vor die Gesamtkapazität des Systems bestimmt. Ist die zentrale Rendering-Einheit daher z. B. in der Lage, 32 virtuelle Quellen gleichzeitig zu rendern, also für diese 32 virtuellen Quellen die Synthesesignale gleichzeitig zu berechnen, so treten ernsthafte Kapazitätsengpässe auf, wenn mehr als 32 Quellen zu einem Zeitpunkt in einer Audioszene aktiv sind. Für einfache Szenen ist dies ausreichend. Für komplexere Szenen, insbesondere mit immersiven Klangeindrücken, also wenn es beispielsweise regnet und viele Regentropfen einzelne Quellen darstellen, ist es ummittelbar einsichtig, dass die Kapazität mit maximal 32 Quellen nicht mehr ausreicht. Eine entsprechende Situation findet auch dann statt, wenn man ein großes Orchester hat und tatsächlich jeden Orchesterspieler oder wenigstens jede Instrumentengruppe als eigene Quelle an ihrer eigenen Position verarbeiten möchte. Hier können 32 virtuelle Quellen sehr schnell zu wenig werden.

[0027] Eine Möglichkeit, mit diesem Problem fertig zu werden, besteht natürlich darin, die Kapazität des Renderers auf mehr als 32 Quellen zu erhöhen. Es hat sich jedoch herausgestellt, dass dies zu einer erheblichen Verteuerung des Gesamtsystems führen kann, da sehr viel in diese zusätzliche Kapazität gesteckt werden muss, und diese zusätzliche Kapazität dennoch innerhalb einer Audioszene normalerweise nicht dauernd, sondern nur zu bestimmten "Spitzenzeiten" benötigt wird. Eine solche Erhöhung der Kapazität führt daher zu einem höheren Preis, der jedoch einem Kunden nur schwer erklärbar ist, da der Kunde nur sehr selten von der erhöhten Kapazität Gebrauch macht.

[0028] Die Aufgabe der vorliegenden Erfindung besteht darin, ein effizienteres Wellenfeldsynthese-Konzept zu schaffen.

[0029] Diese Aufgabe wird durch eine Vorrichtung zum Liefern von Daten nach Patentanspruch 1, ein Verfahren zum Liefern von Daten nach Patentanspruch 14 oder ein Computer-Programm nach Patentanspruch 15 gelöst.

[0030] Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass ein effizientes Datenverarbeitungskonzept für die Wellenfeldsynthese dadurch erreicht wird, dass von dem zentralen Renderer-Ansatz weggegangen wird und stattdessen mehrere Rendering-Einheiten eingesetzt werden, die im Gegensatz zu einer zentralen Rendering-Einheit nunmehr nicht jeweils die volle Verarbeitungslast tragen müssen, sondern intelligent angesteuert werden. In anderen Worten ausgedrückt hat jedes Renderer-Modul in einem Multi-Renderer-System nur eine begrenzte zugeordnete Anzahl von Lautsprechern, die versorgt werden müssen. Erfindungsgemäß wird von einer zentralen Datenausgabeeinrichtung bereits vor dem Rendern bestimmt, ob die Lautsprecher, die einem Renderer-Modul zugeordnet sind, für diese virtuelle Quelle überhaupt aktiv sind. Erst wenn bestimmt wird, dass die Lautsprecher für einen Renderer aktiv sind, wenn eine virtuelle Quelle aufbereitet wird, werden die Audiodaten für die virtuelle Quelle samt gegebenenfalls nötiger Zusatzinformationen zu diesem Renderer übertragen, während die Audiodaten zu einem anderen Renderer nicht übertragen werden, dessen Lautsprecher zum Aufbreiten dieser virtuellen Quelle nicht aktiv sind.

[0031] So hat sich herausgestellt, dass es sehr wenig virtuelle Quellen gibt, bei denen sämtliche Lautsprecher in einem einen Wiedergaberaum umspannenden Lautsprecherarraysystem aktiv sind, um eine virtuelle Quelle abzuspielen. So sind typischerweise für eine virtuelle Quelle, z. B. bei einem Vier-Array-System immer nur zwei benachbarte Lautsprecherarrays oder sogar nur ein einziges Lautsprecherarray aktiv, um diese virtuelle Quelle im Wiedergaberaum darzustellen.

[0032] Erfindungsgemäß wird dies bereits vor dem Rendering erkannt, und es werden nur Daten zu den Renderern geschickt, die sie tatsächlich auch brauchen, also die ausgangsseitig Lautsprecher haben, die die virtuelle Quelle darstellen sollen.

[0033] Damit wird die Menge der Datenübertragung im Vergleich zum Stand der Technik reduziert, da nicht mehr Synthesesignale zu Lautsprechermodulen übertragen werden müssen, sondern nur eine Datei für ein Audioobjekt, von der dann erst dezentral die Synthesesignale für die einzelnen (vielen) Lautsprecher abgeleitet werden.

[0034] Andererseits kann ohne Probleme die Kapazität eines Systems dahingehend erhöht werden, dass mehrere Renderer-Module intelligent eingesetzt werden, wobei sich herausgestellt hat, dass die Bereitstellung von z. B. zwei 32-Quellen-Renderer-Modulen wesentlich preisgünstiger und verzögerungsärmer implementiert werden kann, als wenn ein 64-Renderer-Modul an zentraler Stelle entwickelt werden würde.

[0035] Des weiteren hat sich herausgestellt, dass sich die effektive Kapazität des Systems durch Bereitstellung von z. B. zwei 32-Renderer-Modulen bereits um nahezu das Doppelte steigern lässt, da im Mittel virtuelle Quellen z. B. in einem vier-seitigen Arraysystem normalerweise nur die Hälfte der Lautsprecher beschäftigen, während die anderen Lautsprecher in diesem Fall mit jeweils anderen virtuellen Quellen ausgelastet werden können.

[0036] Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung kann die Renderer-Ansteuerung adaptiv gemacht werden, um noch größere Übertragungsspitzen abfangen zu können. Hier wird ein Renderer-Modul nicht automatisch angesteuert, wenn wenigstens ein diesem Renderer-Modul zugeordneter Lautsprecher aktiv ist. Stattdessen wird eine Minimalschwelle von aktiven Lautsprechern für einen Renderer vorgegeben, ab der ein Renderer erst mit der Audiodatei einer virtuellen Quelle versorgt wird. Diese Minimalzahl hängt von der Auslastung dieses Renderers ab. Stellt sich heraus, dass die Auslastung dieses Renderers bereits an der kritischen Grenze ist oder sehr wahrscheinlich bald an der kritischen Grenze sein wird, was anhand eines Look-Ahead-Konzepts zur Analyse in der Szenenbeschreibung erreicht werden kann, wird die erfindungsgemäße Datenausgabeeinrichtung den ohnehin bereits stark belasteten Renderer erst dann mit einer weiteren virtuellen Quelle ansteuern, wenn für diese weitere virtuelle Quelle eine Anzahl von Lautsprechern aktiv sein soll, die oberhalb der variablen Minimal-Schwelle ist. Diese Vorgehensweise basiert darauf, dass zwar durch Weglassen des Rendering einer virtuellen Quelle durch einen Renderer Fehler eingeführt werden, dass jedoch aufgrund der Tatsache, dass diese virtuelle Quelle nur einige Lautsprecher des Renderers beschäftigt, dieser eingeführte Fehler nicht so problematisch ist, und zwar im Vergleich zu einer Situation, bei der dann, wenn der Renderer mit einer relativ unwichtigen Quelle ausgelastet ist, eine später kommende wichtige Quelle komplett abgelehnt werden müsste.

[0037] Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen detailliert erläutert. Es zeigen:

Fig. 1

ein Blockschaltbild einer erfindungsgemäßen Vor- richtung zum Liefern von Daten für die Wellen- feldsynthese-Aufbereitung;

Fig. 2

ein Blockschaltbild eines erfindungsgemäßen Aus- führungsbeispiels mit vier Lautsprecherarrays und vier Renderer-Modulen;

Fig. 3a und 3b

eine schematische Darstellung eines Wieder- gaberaums mit einem Bezugspunkt und verschiedenen Quellenpositionen und aktiven bzw. nicht aktiven Lautsprecherarrays;

Fig. 4

ein schematisches Bild zur Ermittlung von aktiven Lautsprechern auf der Basis der Hauptemissions- richtung der Lautsprecher;

Fig. 5

eine Einbettung des erfindungsgemäßen Konzepts in ein Wellenfeldsynthese-Gesamtsystem;

Fig. 6

eine schematische Darstellung eines bekannten Wellenfeldsynthese-Konzepts; und

Fig. 7

eine weitere Darstellung eines bekannten Wellen- feldsynthese-Konzepts.

[0038] Fig. 1 zeigt eine Vorrichtung zum Liefern von Daten für die Wellenfeldsynthese-Aufbereitung in einem Wellenfeldsynthesesystem mit einer Mehrzahl von Renderer-Modulen, die an Ausgängen 20a, 20b, 20c anschließbar sind. Jedem Renderer-Modul ist wenigstens ein Lautsprecher zugeordnet. Vorzugsweise werden jedoch Systeme mit typischerweise mehr als 100 Lautsprechern insgesamt verwendet, sodass einem Renderer-Modul wenigstens 50 einzelne Lautsprecher zugeordnet sein dürften, die an unterschiedlichen Positionen in einem Wiedergaberaum als Lautsprecherarray für das Renderer-Modul anbringbar sind.

[0039] Die erfindungsgemäße Vorrichtung umfasst ferner eine Einrichtung zum Liefern einer Mehrzahl von Audiodateien, die mit 22 in Fig. 1 bezeichnet ist. Vorzugsweise ist die Einrichtung 22 als Datenbank zum Liefern der Audiodateien für virtuelle Quellen an unterschiedlichen Quellenpositionen ausgebildet. Ferner umfasst die erfindungsgemäße Vorrichtung eine Datenausgabeeinrichtung 24 zum selektiven Liefern der Audiodateien zu den Renderern. Insbesondere ist die Datenausgabeeinrichtung 24 ausgebildet, um die Audiodateien zu einem Renderer höchstens nur dann zu liefern, wenn dem Renderer ein Lautsprecher zugeordnet ist, der für eine Wiedergabe einer virtuellen Position aktiv sein soll, während die Datenausgabeeinrichtung ferner ausgebildet ist, um einem anderen Renderer die Audiodaten nicht zu liefern, wenn alle dem Renderer zugeordnete Lautsprecher zur Wiedergabe der Quelle nicht aktiv sein sollen. Wie später noch ausgeführt werden wird, kann je nach Implementierung und insbesondere im Hinblick auf eine dynamische Auslastungs-Begrenzung ein Renderer sogar dann eine Audiodatei nicht erhalten, wenn er zwar einige wenige aktive Lautsprecher hat, die Anzahl der aktiven Lautsprecher jedoch im Vergleich zur Gesamtanzahl der Lautsprecher für diesen Renderer unterhalb einer Minimalschwelle liegt.

[0040] Die erfindungsgemäße Vorrichtung umfasst ferner vorzugsweise einen Datenmanager 26, der ausgebildet ist, um zu bestimmen, ob zur Wiedergabe einer virtuellen Quelle der wenigstens eine Lautsprecher, der einem Renderer zugeordnet ist, aktiv sein soll oder nicht. Abhängig davon steuert der Datenmanager 26 die Datenausgabeeinrichtung 24 an, um die Audiodateien zu den einzelnen Renderern zu verteilen oder nicht. Bei einem Ausführungsbeispiel wird der Datenmanager 26 gewissermaßen das Steuersignal für einen Multiplexer in der Datenausgabeeinrichtung 24 liefern, sodass die Audiodatei an einen oder mehrere Ausgänge, jedoch typischerweise nicht alle Ausgänge 20a-20c durchgeschaltet wird.

[0041] Je nach Implementierung können der Datenmanager 26 bzw., wenn diese Funktionalität in der Datenausgabeeinrichtung 24 integriert ist, die Datenausgabeeinrichtung 24 aktiv sein, um auf der Basis der Lautsprecherpositionen oder, wenn die Lautsprecherpositionen bereits aus einer Rendereridentifikation heraus eindeutig sind, auf der Basis einer Rendereridentifikation aktive Renderer bzw. nicht-aktive Renderer herausfinden.

[0042] Die vorliegende Erfindung basiert somit auf einem objektorientierten Ansatz, dass also die einzelnen virtuellen Quellen als Objekte aufgefasst werden, die sich durch eine Audiodatei und eine virtuelle Position im Raum und möglicherweise durch die Art und Weise der Quelle auszeichnen, also ob sie eine Punktquelle für Schallwellen oder eine Quelle für ebene Wellen oder eine Quelle für anders geformte Quellen sein soll.

[0043] Wie es ausgeführt worden ist, ist die Berechnung der Wellenfelder sehr rechenzeitintensiv und an die Kapazitäten der verwendeten Hardware, wie beispielsweise Soundkarten und Rechner, im Zusammenspiel mit der Effizienz der Berechnungsalgorithmen gebunden. Auch die beste ausgestattete PCbasierte Lösung stößt somit bei der Berechnung der Wellenfeldsynthese schnell an ihre Grenzen, wenn viele anspruchsvolle Klangereignisse gleichzeitig dargestellt werden sollen. So gibt die Kapazitätsgrenze der verwendeten Soft- und Hardware die Beschränkung hinsichtlich der Anzahl der virtuellen Quellen bei der Abmischung und Wiedergabe vor.

[0044] Fig. 6 zeigt ein solches in seiner Kapazität begrenztes bekanntes Wellenfeldsynthese-Konzept, das ein Authoring-Werkzeug 60, ein Steuer-Renderer-Modul 62 und einen Audioserver 64 umfasst, wobei das Steuer-Renderer-Modul ausgebildet ist, um ein Lautsprecherarray 66 mit Daten zu versorgen, damit das Lautsprecher-Array 66 eine gewünschte Wellenfront 68 durch Überlagerung der Einzelwellen der einzelnen Lautsprecher 70 erzeugt. Das Authoring-Werkzeug 60 erlaubt es dem Nutzer, Szenen zu erstellen, zu editieren und das Wellenfeldsynthese-basierte System zu steuern. Eine Szene besteht sowohl aus Informationen zu den einzelnen virtuellen Audioquellen als auch aus den Audiodaten. Die Eigenschaften der Audioquellen und der Referenzen auf die Audiodaten werden in einer XML-Szenendatei gespeichert. Die Audiodaten selbst werden auf dem Audioserver 64 abgelegt und von dort aus an das Renderer-Modul übertragen. Gleichzeitig erhält das Renderer-Modul die Steuerdaten vom Authoring-Werkzeug, damit das Steuer-Renderer-Modul 62, das zentral ausgeführt ist, die Synthesesignale für die einzelnen Lautsprecher erzeugen kann. Das in Fig. 6 gezeigte Konzept ist in "Authoring System for Wave Field Synthesis", F. Melchior, T. Röder, S. Brix, S. Wabnik und C. Riegel, AES Convention Paper, 115. AES-Versammlung, 10. Oktober 2003, New York, beschrieben.

[0045] Wird dieses Wellenfeldsynthese-System mit mehreren Renderer-Modulen betrieben, so wird dabei jeder Renderer mit denselben Audiodaten versorgt, egal, ob der Renderer aufgrund der ihm zugeordneten begrenzten Zahl von Lautsprechern diese Daten für die Wiedergabe benötigt oder nicht. Da jeder der aktuellen Rechner in der Lage ist, 32 Audioquellen zu berechnen, stellt dies die Grenze für das System dar. Andererseits soll die Anzahl der im Gesamtsystem renderbaren Quellen effizient deutlich erhöht werden. Dies ist eine der wesentlichen Voraussetzungen für komplexe Anwendungen, wie beispielsweise Kinofilme, Szenen mit immersiven Atmosphären, wie beispielsweise Regen oder Applaus oder andere komplexe Audioszenen.

[0046] Erfindungsgemäß wird eine Reduktion redundanter Datenübertragungsvorgänge und Datenverarbeitungsvorgänge in einem Wellenfeldsynthese-Mehr-Renderer-System erreicht, was zu einer Erhöhung der Rechenkapazität bzw. der Anzahl von gleichzeitig berechenbaren Audioquellen erreicht.

[0047] Zur Reduktion der redundanten Übertragung und Verarbeitung von Audio- und Metadaten zum einzelnen Renderer des Mehr-Renderer-Systems wird der Audioserver um die Datenausgabeeinrichtung erweitert, welche in der Lage ist, zu ermitteln, welcher Renderer welche Audio- und Metadaten benötigt. Die Datenausgabeeinrichtung, gegebenenfalls unterstützt durch den Datenmanager benötigt bei einem bevorzugten Ausführungsbeispiel mehrere Informationen. Diese Informationen sind zunächst die Audiodaten, dann Zeit- und Positionsdaten der Quellen und schließlich die Konfiguration der Renderer, also Informationen über die verbundenen Lautsprecher und ihre Positionen sowie deren Kapazität. Mit Hilfe von Datenmanagementtechniken und der Definition von Ausgabebedingungen wird ein Ausgabe-Schedul durch die Datenausgabeeinrichtung mit einer zeitlichen und räumlichen Anordnung der Audioobjekte erzeugt. Aus der räumlichen Anordnung, dem zeitlichen Schedule und der Rendererkonfiguration berechnet das Datenmanagementmodul dann, welche Quelle für welche Renderer zu einem bestimmten Zeitpunkt von Relevanz sind.

[0048] Ein bevorzugtes Gesamtkonzept ist in Fig. 5 dargestellt. Die Datenbank 22 ist ausgangsseitig um die Datenausgabeeinrichtung 24 ergänzt, wobei die Datenausgabeeinrichtung auch als Scheduler bezeichnet wird. Dieser Scheduler erzeugt dann an seinen Ausgängen 20a, 20b, 20c für die verschiedenen Renderer 50 die Renderer-Eingangssignale, damit die entsprechenden Lautsprecher der Lautsprecherarrays versorgt werden.

[0049] Vorzugsweise wird der Scheduler 24 noch durch einen Storage-Manager 52 unterstützt, um mittels eines RAID-Systems und entsprechender Datenorganisationsvorgaben die Datenbank 22 zu konfigurieren.

[0050] Auf der Eingangsseite steht ein Daten-Erzeuger 54, welcher beispielsweise ein Tonmeister oder ein Audioingenieur sein kann, der eine Audioszene objektorientiert modellieren bzw. beschreiben soll. Hierbei gibt er eine Szenenbeschreibung vor, die entsprechende Ausgabebedingungen 56 umfasst, die dann gegebenenfalls nach einer Transformation 58 zusammen mit Audiodaten in der Datenbank 22 gespeichert werden. Die Audiodaten können mittels eines Insert/Update-Werkzeugs 59 manipuliert und aktualisiert werden.

[0051] Nachfolgend wird Bezug nehmend auf die Fig. 2 bis 4 auf bevorzugte Ausführungsformen der Datenausgabeeinrichtung 24 bzw. des Datenmanagers 26 eingegangen, um die erfindungsgemäße Selektion durchzuführen, dass also verschiedene Renderer nur die Audiodateien erhalten, die dann am Ende tatsächlich von den Lautsprecherarrays, welche den Renderern zugeordnet sind, ausgegeben werden. Fig. 2 zeigt hierzu einen beispielhaften Wiedergaberaum 50 mit einem Bezugspunkt 52, der bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung in der Mitte des Wiedergaberaums 50 liegt. Selbstverständlich kann der Bezugspunkt jedoch auch an jeder anderen beliebigen Stelle des Wiedergaberaums angeordnet werden, also z. B. im vorderen Drittel oder im hinteren Drittel. Hierbei kann beispielsweise darauf Rücksicht genommen werden, dass Zuschauer im vorderen Drittel des Wiedergaberaums einen höheren Eintrittspreis entrichtet haben, als Zuschauer im hinteren Drittel des Wiedergaberaums. In diesem Fall ist es sinnvoll, den Bezugspunkt im vorderen Drittel zu legen, da der Audioeindruck am Bezugspunkt am qualitativ hochwertigsten sein wird. Bei dem in Fig. 2 gezeigten bevorzugten Ausführungsbeispiel sind um den Wiedergaberaum 50 herum vier Lautsprecherarrays LSA1 (53a), LSA2 (53b), LSA3 (53c) und LSA4 (53d) angeordnet. Jedes Lautsprecherarray ist mit einem eigenen Renderer R1 54a, R2 54b, R3 54c und R4 54d gekoppelt. Jeder Renderer ist mit seinem Lautsprecherarray über eine Renderer-Lautsprecherarray-Verbindungsleitung 55a, 55b, 55c bzw. 55d verbunden.

[0052] Ferner ist jeder Renderer mit einem Ausgang 20a, 20b, 20c bzw. 20d der Datenausgabeeinrichtung 24 verbunden. Die Datenausgabeeinrichtung empfängt eingangsseitig, also über ihren Eingang IN, die entsprechenden Audiodateien sowie Steuersignale von einem vorzugsweise vorgesehenen Datenmanager 26 (Fig. 1), welche angeben, ob ein Renderer eine Audiodatei erhalten soll oder nicht, also ob für einen Renderer zugeordnete Lautsprecher aktiv sein sollen oder nicht. Im Einzelnen sind die Lautsprecher des Lautsprecherarrays 53a beispielsweise dem Renderer 54a zugeordnet, jedoch nicht dem Renderer 54d. Der Renderer 54d hat als zugeordnete Lautsprecher die Lautsprecher des Lautsprecherarrays 53d, wie es auf Fig. 2 ersichtlich ist.

[0053] Es sei darauf hingewiesen, dass die einzelnen Renderer über die Renderer/Lautsprecher-Verbindungsleitungen 55a, 55b, 55c und 55d Synthesesignale für die einzelnen Lautsprecher übermitteln. Da es sich hier um große Datenmengen handelt, wenn eine große Anzahl von Lautsprechern in einem Lautsprecherarray vorhanden ist, wird es bevorzugt, die Renderer und die Lautsprecher in enger räumlicher Nähe anzuordnen.

[0054] Dagegen ist diese Voraussetzung für die Anordnung der Datenausgabeeinrichtung 24 und der Renderer 54a, 54b, 54c, 54d zueinander nicht kritisch, da über die Ausgänge 20a, 20b, 20c, 20d und die diesen Ausgängen zugeordneten Datenausgabeeinrichtung/Renderer-Leitungen der Datenverkehr begrenzt ist. Im Einzelnen werden hier lediglich Audiodateien und Informationen über die virtuellen Quellen, die den Audiodateien zugeordnet sind, übertragen. Die Informationen über die virtuellen Quellen umfassen wenigstens die Quellenposition und zeitliche Angaben über die Quelle, also wann die Quelle beginnt, wie lange sie dauert und/oder wann sie wieder zu Ende ist. Vorzugsweise werden ferner weitere Informationen übertragen, die sich auf die Art der virtuellen Quelle beziehen, also ob die virtuelle Quelle eine Punktquelle sein soll oder eine Quelle für ebene Wellen oder eine Quelle für andersartig "geformte" Schallwellen.

[0055] Je nach Implementierung können den Renderern auch Informationen über eine Akustik des Wiedergaberaums 50 sowohl Informationen über tatsächliche Eigenschaften der Lautsprecher in den Lautsprecherarrays etc. zugeführt werden. Diese Informationen müssen nicht unbedingt über die Leitungen 20a-20d übertragen werden, sondern können auch auf andere Art und Weise den Renderern R1-R4 zugeführt werden, damit diese auf den Wiedergaberaum zugeschnittene Synthesesignale berechnen können, die dann den einzelnen Lautsprechern zugeführt werden. Ferner sei darauf hingewiesen, dass die Synthesesignale, die von den Renderern für die einzelnen Lautsprecher berechnet werden, bereits überlagerte Synthesesignale sind, wenn mehrere virtuelle Quellen gleichzeitig von einem Renderer aufbereitet worden sind, da jede virtuelle Quelle zu einem Synthesesignal für einen Lautsprecher eines Arrays führen wird, wobei das endgültige Lautsprechersignal dann nach der Überlagerung der Synthesesignale der einzelnen virtuellen Quellen durch Addition der einzelnen Synthesesignale gewonnen wird.

[0056] Das in Fig. 2 gezeigte bevorzugte Ausführungsbeispiel umfasst ferner eine Auslastungsermittlungseinrichtung 56, um abhängig von einer aktuellen tatsächlichen Renderer-Auslastung oder einer geschätzten bzw. vorhergesagten zukünftigen Renderer-Auslastung die Ansteuerung eines Renderers mit einer Audiodatei nachzubearbeiten.

[0057] So ist natürlich die Kapazität jedes Renderers 54a, 54b, 54c und 54d begrenzt. Ist jeder dieser Renderer beispielsweise in der Lage, maximal 32 Audioquellen zu verarbeiten, und stellt die Auslastungsermittlungseinrichtung 56 fest, dass z. B. der Renderer R1 bereits z. B. 30 Quellen rendert, so existiert ein Problem dahingehend, dass dann, wenn noch zwei weitere virtuelle Quellen zusätzlich zu den anderen 30 Quellen gerendert werden sollen, die Kapazitätsgrenze des Renderers 54a erreicht ist.

[0058] So lautet die Grundvorschrift eigentlich dahingehend, dass der Renderer 54a dann immer eine Audiodatei erhält, wenn festgestellt worden ist, dass wenigstens ein Lautsprecher zum Wiedergeben einer virtuellen Quelle aktiv sein soll. So könnte jedoch der Fall auftreten, dass bestimmt wird, dass lediglich ein kleiner Anteil der Lautsprecher in dem Lautsprecherarray 53a für eine virtuelle Quelle aktiv ist, wie beispielsweise nur 10% aller zu dem Lautsprecherarray gehörigen Lautsprecher. In diesem Fall würde die Auslastungsermittlungseinrichtung 56 entscheiden, dass dieser Renderer nicht mit der für diese virtuelle Quelle bestimmten Audiodatei versorgt wird. Damit wird zwar ein Fehler eingeführt. Allerdings ist der Fehler aufgrund der geringen Anzahl der Lautsprecher des Arrays 53a nicht besonders gravierend, da davon ausgegangen wird, dass diese virtuelle Quelle von benachbarten Arrays zusätzlich gerendert wird, und zwar wahrscheinlich mit einer für diese Arrays wesentlich größeren Anzahl von Lautsprechern. Die Unterdrückung der Aufbereitung bzw. Abstrahlung dieser virtuellen Quelle durch das Lautsprecherarray 53a wird somit zu einer Positionsverschiebung führen, die jedoch aufgrund der geringen Anzahl der Lautsprecher nicht so stark ins Gewicht fällt und auf jeden Fall wesentlich weniger bedeutsam ist, als wenn der Renderer 54a aufgrund einer Überlastung komplett gesperrt werden müsste, obgleich er eine Quelle rendern würde, die z. B. sämtliche Lautsprecher des Lautsprecherarrays 53a beschäftigt.

[0059] Nachfolgend wird Bezug nehmend auf Fig. 3a eine bevorzugte Ausführungsform des Datenmanagers 26 von Fig. 1 dargestellt, der ausgebildet ist, um zu bestimmen, ob einem Array zugeordnete Lautsprecher abhängig von einer bestimmten virtuellen Position aktiv sein sollen oder nicht. Vorzugsweise arbeitet der Datenmanager ohne eine komplette Aufbereitung, sondern bestimmt die aktiven/nicht-aktiven Lautsprecher und damit die aktiven bzw. nicht-aktiven Renderer ohne Berechnung von Synthesesignalen sondern allein aufgrund der Quellenpositionen der virtuellen Quellen und der Position der Lautsprecher bzw., da die Position der Lautsprecher bei einer arraymäßigen Gestaltung bereits durch die Renderer-Identifikation festgelegt sind, aufgrund der Renderer-Identifikation.

[0060] So sind in Fig. 3a verschiedene Quellenpositionen Q1-Q9 eingezeichnet, während in Fig. 3b tabellarisch angegeben wird, welcher Renderer A1-A4 für eine bestimmte Quellenposition Q1-Q9 aktiv ist (A) oder nicht-aktiv ist (NA) oder z. B. abhängig von der aktuellen Auslastung aktiv oder nicht-aktiv ist.

[0061] Wenn beispielsweise die Quellenposition Q1 betrachtet wird, so ist zu sehen dass diese Quellenposition bezüglich des Beobachtungspunkts BP hinter dem vorderen Lautsprecherarray 53a ist. Der Hörer am Beobachtungspunkt möchte die Quelle an der Quellenposition Q1 also derart erleben, dass der Schall gewissermaßen "von vorne" kommt. Daher müssen die Lautsprecherarrays A2, A3 und A4 aufgrund der virtuellen Quelle an der Quellenposition Q1 keine Schallsignale emittieren, sodass sie nicht-aktiv (NA) sind, wie es in der entsprechenden Spalte in Fig. 3b eingezeichnet ist. Entsprechend ist die Situation, jedoch für die anderen Arrays, für die Quellen Q2, Q3 und Q4.

[0062] Die Quelle Q5 ist jedoch bezüglich des Beobachtungspunkts sowohl in x-Richtung und y-Richtung versetzt. Aus diesem Grund werden zur ortsgenauen Wiedergabe der Quelle an der Quellenposition Q5 sowohl das Array 53a als auch das Array 53b benötigt, nicht jedoch die Arrays 53c und 53d.

[0063] Entsprechend ist die Situation für die Quelle Q6, die Quel-1e Q8 und, wenn keine Auslastungsprobleme existieren, die Quelle Q9. Hierbei ist es unerheblich, ob, wie es beispielsweise durch einen Vergleich der Quellen Q6 und Q5 ersichtlich ist, eine Quelle hinter einem Array ist (Q6) oder vor dem Array ist (Q5).

[0064] Fällt eine Quellenposition mit dem Bezugspunkt zusammen, wie es beispielsweise für die Quelle Q7 gezeichnet worden ist, so wird es bevorzugt, dass sämtliche Lautsprecherarrays aktiv sind. Für eine solche Quelle wird daher erfindungsgemäß im Vergleich zum Stand der Technik, bei dem alle Renderer mit allen Audiodateien angesteuert worden sind, kein Vorteil erhalten. Es stellt sich jedoch heraus, dass für alle anderen Quellenpositionen ein erheblicher Vorteil erreicht wird. So werden für die Quellen Q1, Q2, Q3 Rechenkapazitäts- und Datenübertragungseinsparungen von 75% erreicht, während für die innerhalb eines Quadranten angeordneten Quellen, wie beispielsweise Q5, Q6 und Q8 noch Einsparungen von 50% erhalten werden.

[0065] Aus Fig. 3a ist ferner zu sehen, dass die Quelle Q9 nur knapp von der direkten Verbindungslinie zwischen dem Bezugspunkt und dem ersten Array 53a angeordnet ist. Würde die Quelle Q9 nur durch das Array 53a wiedergegeben werden, so würde der Beobachter am Bezugspunkt die Quelle Q9 auf der Verbindungslinie erleben und nicht knapp versetzt. Diese nur "knappe Versetzung" führt dazu, dass im Lautsprecherarray 53b nur wenige Lautsprecher aktiv sein sollen, oder die Lautsprecher nur Signale mit einer sehr geringen Energie emittieren. Um den Renderer, der dem Array A2 zugeordnet ist, wenn er bereits stark ausgelastet ist, zu schonen bzw. dort noch Kapazitäten bereitzuhalten, falls eine Quelle kommt, wie beispielsweise die Quelle Q2 oder Q6, die auf jeden Fall vom Array A2 aufbereitet werden muss, wird es daher bevorzugt, wie es in der letzten Spalte von Fig. 3b dargestellt ist, das Array A2 nicht-aktiv zu schalten.

[0066] Erfindungsgemäß wird der Datenmanager 26 bei einem bevorzugten Ausführungsbeispiel somit ausgebildet sein, um einen Lautsprecher in einem Array als aktiv zu bestimmen, wenn die Quellenposition zwischen dem Bezugspunkt und dem Lautsprecher ist oder der Lautsprecher zwischen der Quellenposition und dem Bezugspunkt ist. Die erste Situation ist für die Quelle Q5 dargestellt, während die zweite Situation für die Quelle Q1 beispielsweise dargestellt ist.

[0067] Fig. 4 zeigt eine weitere bevorzugte Ausführungsform zur Bestimmung von aktiven bzw. nicht-aktiven Lautsprechern. Betrachtet werden zwei Quellenpositionen 70 und 71, wobei die Quellenposition 70 die erste Quellenposition ist und die Quellenposition 71 die zweite Quellenposition (Q2) ist. Ferner wird ein Lautsprecherarray A1 betrachtet, das Lautsprecher hat, die eine Hauptemissionsrichtung (HER) haben, welche bei dem in Fig. 4 gezeigten Ausführungsbeispiel senkrecht von einer länglichen Erstreckung des Arrays weg gerichtet ist, wie es durch Emissionsrichtungspfeile 72 angedeutet ist.

[0068] Um zu bestimmen, ob das Lautsprecherarray für Quellenpositionen aktiv sein soll oder nicht, wird nunmehr eine Strecke von der Quellenposition Q1 zum Bezugspunkt, die mit 73 bezeichnet ist, einer orthogonalen Zerlegung unterzogen, um eine zur Hauptemissionsrichtung 72 parallele Komponente 74a und eine zur Hauptemissionsrichtung orthogonale Komponente 74b der Strecke 73 zu finden. Aus Fig. 4 ist ersichtlich, dass für die Quellenposition Q1 eine solche zur Hauptemissionsrichtung parallele Komponente 74a existiert, während eine entsprechende in y-Richtung gerichtete Komponente der Quellenposition Q2, die mit 75a bezeichnet ist, nicht zur Hauptemissionsrichtung parallel sondern entgegengesetzt gerichtet ist. Das Array A1 wird somit für eine virtuelle Quelle an der Quellenposition 1 aktiv sein, während für eine Quelle an der Quellenposition Q2 das Array A1 nicht aktiv zu sein braucht und daher auch nicht mit einer Audiodatei versorgt werden muss.

[0069] Aus den beiden Ausführungsbeispielen in Fig. 3a und Fig. 4 ist ersichtlich, dass die einzigen Parameter, die variabel sind, die Quellenpositionen sind, während typischerweise der Bezugspunkt und die Hauptemissionsrichtung der Array-Lautsprecher bzw. die Positionierung der Arrays und damit die Positionierung der Lautsprecher in den Arrays fest sein werden. Es wird daher bevorzugt, nicht für jede Quellenposition eine komplette Berechnung gemäß Fig. 3 oder Fig. 4 durchzuführen. Stattdessen wird erfindungsgemäß eine Tabelle bereitgestellt, die eingangsseitig eine Quellenposition in einem auf den Bezugspunkt bezogenen Koordinatensystem bekommt und ausgangsseitig für jedes Lautsprecherarray eine Anzeige liefert, ob dieses Lautsprecherarray für die aktuelle Quellenposition aktiv sein soll oder nicht. Damit kann durch einen einfachen und schnellen Tabellennachschlag eine sehr effiziente und aufwandsarme Implementierung des Datenmanagers 26 bzw. der Datenausgabeeinrichtung 24 erreicht werden.

[0070] An dieser Stelle sei darauf hingewiesen, dass selbstverständlich auch andere Arraykonfigurationen vorhanden sein können. So wird das erfindungsgemäße Konzept bereits dann zu einer wesentlichen Verbesserung führen, wenn in einem Wiedergaberaum z. B. nur zwei Lautsprecherarrays vorhanden sind, wie beispielsweise die beiden Lautsprecherarrays 53b und 53d von Fig. 2. Das erfindungsgemäße Konzept ist ferner auch für anders geformte Arrays anwendbar, wie beispielsweise für sechseckig angeordnete Arrays, oder für Arrays, die nicht linear oder flächig sind, sondern die z. b. gekrümmt sind.

[0071] Ferner sei darauf hingewiesen, dass das erfindungsgemäße Konzept auch dann einsetzbar ist, wenn in einem Wiedergaberaum nur ein einziges lineares z. B. Frontarray existiert, wenn dieses Frontarray jedoch von verschiedenen Renderern angesteuert wird, wobei ein Renderer immer einen bestimmten Abschnitt des Arrays bedient. Auch in diesem Fall wird eine Situation eintreten, bei der beispielsweise eine Quelle mit einer virtuellen Position ganz links bezüglich des breiten Frontarrays es nicht erforderlich macht, dass die Lautsprecher ganz rechts des Frontarrays spielen.

[0072] Abhängig von den Gegebenheiten kann das erfindungsgemäße Verfahren in Hardware oder in Software implementiert werden. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD, mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computer-Programm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des Verfahrens, wenn das Computer-Programm-Produkt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computer-Programm auf einem Computer abläuft.

Ansprüche

1. Vorrichtung zum Liefern von Daten für die Wellenfeldsynthese-Aufbereitung in einem Wellenfeldsynthese-System mit einer Mehrzahl von Renderer-Modulen (53a-53d), wobei jedem Renderer-Modul wenigstens ein Lautsprecher (70) zugeordnet ist, und wobei die den Renderern zugewiesenen Lautsprecher an unterschiedlichen Positionen in einem Wiedergaberaum (50) anbringbar sind, mit folgenden Merkmalen:

einer Einrichtung (22) zum Liefern einer Mehrzahl von Audiodateien, wobei einer Audiodatei eine virtuelle Quelle an einer Quellenposition (Q1) zugeordnet ist;

gekennzeichnet durch

eine Datenausgabeeinrichtung (24) zum Liefern der Audiodatei zu einem Renderer, dem ein Lautsprecher zugeordnet ist, der zur Wiedergabe der virtuellen Quelle aktiv sein soll, wobei die Datenausgabeeinrichtung (24) ferner ausgebildet ist, um einem anderen Renderer-Modul die Audiodatei nicht zu liefern, wenn dem anderen Renderer zugeordnete Lautsprecher zur Wiedergabe der Quelle nicht aktiv sein sollen.

2. Vorrichtung nach Anspruch 1, die ferner folgendes Merkmal aufweist:

einen Datenmanager (26) zum Bestimmen, ob zur Wiedergabe der virtuellen Quelle der wenigstens eine Lautsprecher, der einem Renderer-Modul zugeordnet ist, aktiv sein soll oder nicht, wobei der Datenmanager (26) ausgebildet ist, um die Bestimmung basierend auf der Quellenposition (Q1) und einer Lautsprecher-Position oder einer Renderer-Identifikation durchzuführen.

3. Vorrichtung nach Anspruch 2, bei der der Wiedergaberaum (50) einen Bezugspunkt (52) aufweist, wobei der Datenmanager (26) ausgebildet ist,
um einen Lautsprecher als aktiv zu bestimmen, wenn die Quellenposition (Q5) zwischen dem Bezugspunkt (52) und dem Lautsprecher (53a) ist, oder wenn der Lautsprecher (53a) zwischen der Quellenposition (Q1) und dem Bezugspunkt (52) ist.

4. Vorrichtung nach Anspruch 2, bei der der Datenmanager (26) ausgebildet ist, um einen Lautsprecher als aktiv zu bestimmen, wenn ein Winkel zwischen einer ersten Linie (73) von der Quellenposition (Q1) zu dem Bezugspunkt (52) und einer zweiten Linie von dem Lautsprecher zu dem Bezugspunkt (52) zwischen 0° und 90° liegt.

5. Vorrichtung nach einem der Ansprüche 2 bis 4, bei der der Datenmanager (26) ausgebildet ist, um einen Lautsprecher als nicht-aktiv zu bestimmen, wenn eine Verbindungslinie von der Quellenposition zu dem Bezugspunkt keine Richtungskomponente hat, die zu einer Hauptschallemissionsrichtung (72) des Lautsprechers parallel ist.

6. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der einem Renderer-Modul (53a-53d) mehrere Lautsprecher zugeordnet sind, und bei der die Datenausgabeeinrichtung (24) ausgebildet ist, um den Renderer nur dann mit der Audiodatei zu beliefern, wenn mehr als 10% der Lautsprecher, die dem Renderer-Modul zugeordnet sind, als aktiv bestimmt worden sind, oder wenn die Lautsprecher, die dem Renderer-Modul zugeordnet sind, für eine virtuelle Quelle ein Synthesesignal liefern würden, das eine Amplitude hat, die höher als eine Minimalschwelle ist.

7. Vorrichtung nach einem der Ansprüche 1-5, bei der einem Renderer-Modul mehrere Lautsprecher zugeordnet sind, und bei dem dem Renderer-Modul nur dann die Audiodatei geliefert wird, wenn wenigsten ein Lautsprecher, der dem Renderer zugeordnet ist, als aktiv bestimmt worden ist.

8. Vorrichtung nach einem der Ansprüche 1-5, bei der jedes Renderer-Modul eine bestimmte maximale Verarbeitungskapazität hat, und bei der die Datenausgabeeinrichtung (24) ausgebildet ist, um einem Renderer-Modul eine Audiodatei erst dann zu liefern, wenn ein Minimalanteil der Lautsprecher, die dem Renderer-Modul zugeordnet sind, als aktiv bestimmt worden ist, wobei der Minimalanteil variabel ist und von einer Auslastung des Renderer-Moduls, die durch eine Auslastungsermittlungseinrichtung (56) bestimmbar ist, abhängt.

9. Vorrichtung nach Anspruch 8, bei der die Datenausgabeeinrichtung (24) ausgebildet ist, um einen Minimalanteil zu erhöhen, wenn die durch die Auslastungsermittlungseinrichtung (56) bestimmte Auslastung zunimmt.

10. Vorrichtung nach Anspruch 8 oder 9, bei der die Auslastungsermittlungseinrichtung (56) ausgebildet ist, um eine aktuelle oder eine geschätzte zukünftige Auslastung zu ermitteln.

11. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Datenausgabeeinrichtung (24) eine Nachschlagtabelle aufweist, die ausgebildet ist, um als Eingangsgröße eine Quellenposition zu erhalten, und die ausgebildet ist, um als Ausgangsgröße für die Renderer-Module eine Information zu liefern, ob ein Renderer-Modul für die eingangsseitig eingegebene Quellenposition aktiv sein soll oder nicht.

12. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Datenausgabeeinrichtung (24) ausgebildet ist, um einem Renderer-Modul, dem ein aktiver Lautsprecher zugeordnet ist, die Audiodatei für eine virtuelle Quelle, eine Quellenposition für die virtuelle Quelle und Informationen über Beginn, Ende und/oder Dauer der virtuellen Quelle in einer Audioszene zu liefern.

13. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Datenausgabeeinrichtung (24) ausgebildet ist, um einem Renderer-Modul ferner Informationen über eine Art der virtuellen Quelle, d. h. ob die virtuelle Quelle eine Punktquelle, eine Quelle für ebene Wellen oder eine Quelle für Wellen einer anderen Form ist, zu liefern.

14. Verfahren zum Liefern von Daten für die Wellenfeldsynthese-Aufbereitung in einem Wellenfeldsynthese-System mit einer Mehrzahl von Renderer-Modulen (53a-53d), wobei jedem Renderer-Modul wenigstens ein Lautsprecher (70) zugeordnet ist, und wobei die den Renderern zugewiesenen Lautsprecher an unterschiedlichen Positionen in einem Wiedergaberaum (50) anbringbar sind, mit folgenden Schritten:

Liefern (22) einer Mehrzahl von Audiodateien, wobei einer Audiodatei eine virtuelle Quelle an einer Quellenposition (Q1) zugeordnet ist;
gekennzeichnet durch
Liefern (24) der Audiodatei zu einem Renderer, dem ein Lautsprecher zugeordnet ist, der zur Wiedergabe der virtuellen Quelle aktiv sein soll, wobei einem anderen Renderer-Modul die Audiodatei nicht geliefert wird, wenn dem anderen Renderer zugeordnete Lautsprecher zur Wiedergabe der Quelle nicht aktiv sein sollen.

15. Computer-Programm mit einem Programmcode zum Ausführen des Verfahrens gemäß Patentanspruch 14, wenn das Computer-Programm auf einem Rechner abläuft.

Claims

1. Apparatus for providing data for the wave field synthesis rendering in a wave field synthesis system with a plurality of renderer modules (53a-53d), wherein at least one loudspeaker (70) is associated with each renderer module, and wherein the loudspeakers associated with the renderers are attachable at different positions in a reproduction room (50), comprising:

a means (22) for providing a plurality of audio files, wherein a virtual source at a source position (Q1) is associated with an audio file;

characterized by

a data output means (24) for providing the audio file to a renderer with which a loudspeaker is associated that is to be active for the reproduction of the virtual source, wherein the data output means (24) is further formed to not provide the audio file to another renderer module if loudspeakers associated with the other renderer are not to be active for the reproduction of the source.

2. Apparatus according to claim 1, further comprising:

a data manager (26) for determining whether the at least one loudspeaker associated with a renderer module is to be active for the reproduction of the virtual source or not, wherein the data manager (26) is formed to perform the determination based on the source position (Q1) and a loudspeaker position or a renderer identification.

3. Apparatus according to claim 2, wherein the reproduction room (50) comprises a reference point (52), wherein the data manager (26) is formed to
determine a loudspeaker to be active if the source position (Q5) is between the reference point (52) and the loudspeaker (53a), or if the loudspeaker (53a) is between the source position (Q1) and the reference point (52).

4. Apparatus according to claim 2, wherein the data manager (26) is formed to determine a loudspeaker to be active if an angle between a first line (73) from the source position (Q1) to the reference point (52) and a second line from the loudspeaker to the reference point (52) lies between 0° and 90°.

5. Apparatus according to one of claims 2 to 4, wherein the data manager (26) is formed to determine a loudspeaker to be non-active if a connection line from the source position to the reference point does not have any directional components parallel to a main sound emission direction (72) of the loudspeaker.

6. Apparatus according to one of the preceding claims, wherein several loudspeakers are associated with a renderer module (53a-53d), and wherein the data output means (24) is formed to supply the renderer with the audio file only if more than 10 % of the loudspeakers associated with the renderer module have been determined to be active, or if the loudspeakers associated with the renderer module would provide, for a virtual source, a synthesis signal with an amplitude higher than a minimum threshold.

7. Apparatus according to one of claim 1 to 5, wherein several loudspeakers are associated with a renderer module, and wherein the renderer module is supplied with an audio file only if at least one loudspeaker associated with the renderer has been determined to be active.

8. Apparatus according to one of claim 1 to 5, wherein each renderer module comprises a certain maximum processing capacity, and wherein the data output means (24) is formed to provide an audio file to a renderer only when a minimum proportion of the loudspeakers associated with the renderer module has been determined to be active, wherein the minimum proportion is variable and depends on a utilization of the renderer module, which can be determined by a utilization determination means (56).

9. Apparatus according to claim 8, wherein the data output means (24) is formed to increase a minimum proportion if the utilization determined by the utilization determination means (56) increases.

10. Apparatus according to claim 8 or 9, wherein the utilization determination means (56) is formed to determine a current or estimated future utilization.

11. Apparatus according to one of the preceding claims, wherein the data output means (24) comprises a lookup table, which is formed to obtain a source position as input quantity, and which is formed to provide, as output quantity for the renderer modules, information as to whether a renderer module for the source position input on the input side is to be active or not.

12. Apparatus according to one of the preceding claims, wherein the data output means (24) is formed to provide the audio file for a virtual source, a source position for the virtual source, and information on beginning, end and/or duration of the virtual source in an audio scene to a renderer module with which an active loudspeaker is associated.

13. Apparatus according to one of the preceding claims, wherein the data output means (24) is formed to further provide information on a type of the virtual source, i.e. whether the virtual source is a point source, a source for plane waves or a source for waves of another shape, to a renderer module.

14. Method for providing data for the wave field synthesis rendering in a wave field synthesis system with a plurality of renderer modules (53a-53d), wherein at least one loudspeaker (70) is associated with each renderer module, and wherein the loudspeakers associated with the renderers are attachable at different positions in a reproduction room (50), comprising:

providing (22) a plurality of audio files, wherein a virtual source at a source position (Q1) is associated with an audio file;

characterized by

providing (24) the audio file to a renderer with which a loudspeaker is associated that is to be active for the reproduction of the virtual source, wherein the audio file is not provided to another renderer module if loudspeakers associated with the other renderer are not to be active for the reproduction of the source.

15. Computer program with a program code for executing the method according to claim 14, when the program is executed on a computer.

Revendications

1. Dispositif pour fournir des données pour la préparation de synthèse de champ d'onde dans un système de synthèse de champ d'onde avec une pluralité de modules de rendu (53a à 53d), à chaque module de rendu étant associé un haut-parleur (70) et les haut-parleurs attribués aux modules de rendu pouvant être placés à des positions différentes dans une salle de reproduction (50), aux caractéristiques suivantes:

un moyen (22) pour fournir une pluralité de fichiers audio, à chaque fichier audio étant associée une source virtuelle en une position de la source (Q1),

caractérisé par un moyen de sortie de données (24) pour fournir le fichier audio à un dispositif de rendu auquel est associé un haut-parleur qui doit être actif pour la reproduction de la source virtuelle, le moyen de sortie de données (24) étant par ailleurs réalisé pour ne pas fournir le fichier audio à un autre module de rendu lorsque les haut-parleurs associés à l'autre dispositif de rendu ne doivent pas être actifs pour la reproduction de la source.

2. Dispositif selon la revendication 1, présentant par ailleurs la caractéristique suivante:

un gestionnaire de données (26) pour déterminer si l'au moins un haut-parleur associé à un module de rendu doit être actif ou non pour la reproduction de la source virtuelle, le gestionnaire de données (26) étant réalisé pour effectuer la détermination sur base de la position de source (Q1) et d'une position de haut-parleur ou d'une identification de dispositif de rendu.

3. Dispositif selon la revendication 2, dans lequel la salle de reproduction (50) présente un point de référence (52), le gestionnaire de données (26) étant réalisé
pour déterminer qu'un haut-parleur est actif lorsque la position de source (Q5) se trouve entre le point de référence (52) et haut-parleur (53a) ou lorsque le haut-parleur (53a) se trouve entre la position de source (Q1) et le point de référence (52).

4. Dispositif selon la revendication 2, dans lequel le gestionnaire de données (26) est réalisé pour déterminer qu'un haut-parleur est actif lorsqu'un angle entre une première ligne (73) de la position de source (Q1) au point de référence (52) et une deuxième ligne du haut-parleur au point de référence (52) est compris entre 0° et 90°.

5. Dispositif selon l'une des revendication 2 à 4, dans lequel le gestionnaire de données (26) est réalisé pour déterminer qu'un haut-parleur est non actif lorsqu'une ligne de connexion de la position de source au point de référence ne présente pas de composante de direction parallèle à la direction d'émission de son principale (72) du haut-parleur.

6. Dispositif selon l'une des revendications précédentes, dans lequel plusieurs haut-parleurs sont associés à un module de rendu (53a à 53d) et dans lequel le moyen de sortie de données (24) est réalisé pour ne fournir des fichiers audio au dispositif de rendu que lorsqu'il est déterminé que plus de 10% des haut-parleurs associés au module de rendu sont actifs ou que les haut-parleurs associés au module de rendu fourniraient pour une source virtuelle un signal de synthèse qui est supérieur à un seuil minimum.

7. Dispositif selon l'une des revendications 1 à 5, dans lequel plusieurs haut-parleurs sont associés à un module de rendu et dans lequel le fichier audio n'est fourni au module de rendu que lorsqu'il est déterminé qu'au moins un haut-parleur associé au dispositif de rendu est actif.

8. Dispositif selon l'une des revendications 1 à 5, dans lequel chaque module de rendu a une capacité de traitement maximale et dans lequel le moyen de sortie de données (24) est réalisé pour ne fournir un fichier audio à un module de rendu que lorsqu'il est déterminé qu'une part minimale des haut-parleurs associés au module de rendu sont actifs, la part minimale étant variable et étant fonction de la charge du module de rendu pouvant être déterminée par un moyen de détermination de charge (56).

9. Dispositif selon la revendication 8, dans lequel le moyen de sortie de données (24) est réalisé pour augmenter une part minimale lorsque la charge déterminée par le moyen de détermination de charge (56) augmente.

10. Dispositif selon la revendication 8 ou 9, dans lequel le moyen de détermination de charge (56) est réalisé pour déterminer une charge actuelle ou future estimée.

11. Dispositif selon l'une des revendications précédentes, dans lequel le moyen de sortie de données (24) présente un tableau de consultation qui est réalisé pour recevoir comme grandeur d'entrée une position de source, et qui est réalisé pour fournir comme grandeur de sortie pour les modules de rendu une information de si un module de rendu doit être actif ou non pour la position de source entrée du côté de l'entrée.

12. Dispositif selon l'une des revendications précédentes, dans lequel le moyen de sortie de données (24) est réalisé pour fournir à un module de rendu auquel est associé un haut-parleur actif le fichier audio pour une source virtuelle, une position de source pour la source virtuelle et les informations sur le début, la fin et/ou la durée de la source virtuelle dans une scène audio.

13. Dispositif selon l'une des revendications précédentes, dans lequel le moyen de sortie de données (24) est réalisé pour fournir à un module de rendu par ailleurs des informations sur un type de la source virtuelle, c'est-à-dire si la source virtuelle est une source ponctuelle, une source pour des ondes planes ou une source pour des ondes d'une autre forme.

14. Procédé pour fournir des données pour la préparation de synthèse de champ d'onde dans un système de synthèse de champ d'onde avec une pluralité de modules de rendu (53a à 53d), dans lequel au moins un haut-parleur (70) est associé à chaque module de rendu et dans lequel les haut-parleurs attribués aux dispositifs de rendu peuvent être placés à des positions différentes dans une salle de reproduction (50), aux étapes suivantes consistant à:

fournir (22) une pluralité de fichiers audio, à un fichier audio étant associée une source virtuelle à une position de source (Q1);

caractérisé par

fournir (24) le fichier audio à un dispositif de rendu associé à un haut-parleur devant être actif pour la reproduction de la source virtuelle, le fichier audio n'étant pas fourni à un autre module de rendu lorsque les haut-parleurs associés à l'autre dispositif de rendu ne doivent pas être actifs pour la reproduction de la source.

15. Programme d'ordinateur avec un code de programme pour réaliser le procédé selon la revendication 14 lorsque le programme d'ordinateur est exécuté sur un ordinateur.

Zeichnung