Virtuelles Musikinstrument

Abstract

 Ein virtuelles Musikinstrument wird gebildet aus
- einer Mehrzahl von an einem Kleidungsstück (4) angebrachten Sensoren (1, 2) zur Aufnahme von Körperbewegungen einer Person;
- einer Sende-Einheit zur Übertragung der aufgenommenen Körperbewegungen;
- einem Rechner der mit einer Empfangseinheit gekoppelt ist, der die empfangenen Körperbewegungen in Töne transformiert.
Die am Kleidungsstück (4) angebrachten Sensoren (1, 2) sind miteinander verbunden (3) und registrieren die Körperbewegungen relativ zu einem Bezugspunkt (1, 10), der einem starr anzunehmenden Körperteil entspricht. Die so registrierten Körperbewegungen werden mit einem Algorithmus in Töne transformiert.

Beschreibung

[0001] Die vorliegende Erfindung betrifft ein virtuelles Musikinstrument gemäss dem Oberbegriff des Patentanspruchs 1.

[0002] In FR 2 803 714 Al [1] ist eine Musikjacke offenbart, bei der die betreffende Person einen Kopfhörer trägt. Diese Musikjacke erlaubt das Erleben von Musik wie an einem Konzert ohne dass die Nachbarn insbesondere durch die tiefen Töne (Bässe) gestört werden.

[0003] Gemäss der Lehre von EP 0 773 699 A1 [2] erlaubt ein körperakustisches Gerät die Transformation von elektroakustischen Signalen in mechanische Schwingungen, um einem Benutzer ein wahres Umgebungsgefühl zu vermitteln.

[0004] Die vorstehenden genannten Dokumente haben den Hintergrund, dass sich ein Individuum dem passiven Konsumieren von Inhalten wie z.B. Musik hingeben kann. Der aktuelle gesellschaftliche Trend geht jedoch in eine andere Richtung, nämlich zu mehr Eigenaktivität bei sehr hoher Mobilität. Eigenaktivität bedeutet dabei, dass eine Person Inhalte, wie z.B. Musik selber spielen oder erzeugen will. Grössere Musikinstrumente wie z.B. Schlagzeug oder Perkussion erfordern eine erheblichen Transport- und Aufstellungsaufwand. Im Sinne dieser Schrift ist unter dem Begriff «Musik» auch das Erzeugen eines Rhythmus mit einem Schlaginstrument oder mit einem Schlagzeug subsummiert.

[0005] Es stellt sich daher die Aufgabe, ein virtuelles Musikinstrument anzugeben, mit dem eine Person Musik spielen kann ohne dabei ein Musikinstrument physisch mitführen zu müssen oder physisch darauf Zugriff zu haben.

[0006] Diese Aufgabe wird durch ein virtuelles Musikinstrument gemäss den im Patentanspruch 1 angegebenen Merkmalen gelöst.

[0007] Das virtuelle Musikinstrument, wonach für die Transformation von Bewegungen in Töne
die Sensoren am Kleidungsstück miteinander verbunden sind und die Körperbewegung relativ zu einem Bezugspunkt registrieren, der einem starr anzunehmenden Körperteil entspricht;
ermöglicht ein virtuelles Musizieren, ohne dass ein Musikinstrument physisch vorhanden sein muss und dass dank der Integration von Sensoren in ein Kleidungsstück keine personenspezifische Anpassung erfordert.

[0008] Mit dem erfindungsgemässen virtuellen Musikinstrument erfasst das betreffende Kleidungsstück die von der Person ausgeführten Bewegungen und Körperpositionen relativ zu einem vorgegebenen als starr anzunehmenden Körperteil in einem Körperkoordinatensystem. Je nach ausgewähltem Instrument oder Klangbild werden entsprechende Töne generiert. Der Träger eines solchen Kleidungsstücks zusammen mit dem virtuellen Musikinstrument ist damit in der Lage, unabhängig von seinem Aufenthaltsort auf ein Instrument zu spielen.

[0009] Vorteilhafte Ausführungsformen der vorliegenden Erfindung sind in den abhängigen Ansprüchen aufgeführt.

[0010] Ausführungsbeispiele der Erfindung werden nachfolgend anhand der Zeichnung näher erläutert. Dabei zeigen:

Figur 1

Erdkoordinatensystem (xe, ye, ze) und zugehöriges Körperkoordinatensystem (xk, yk, zk);

Figur 2

Anordnung der Sensoren in einer Schlagzeug-Jacke und

Figur 3

schematische Spiegel-Ansicht einer Sensoren tragenden Person.

[0011] Die Transformation von Körperbewegungen auf Töne eines virtuellen Musikinstrumentes basiert auf der Grundidee, die virtuellen Musikinstrumente relativ zum Körper zu positionieren, sodass die Musikinstrumente für den Träger von ihm aus gesehen immer an der gleichen Stelle zu finden sind. Ein Musikinstrument, welches zu seiner rechten angeordnet ist, soll auch bei jeglicher Drehung um seine eigene senkrechte Körperachse zu seiner rechten verweilen und verbleiben. Dazu ist ein entsprechendes Körperkoordinatensystem (xk, yk, zk) einzuführen. Der Ursprung und die Ausrichtung der Achsen xk, yk, zk kann im wesentlichen beliebig gewählt werden, die einzige Bedingung ist, dass sie relativ zum Körper konstant bleiben. Eine Möglichkeit wäre, den Ursprung in den Körperschwerpunkt zu legen und die Achsen an den entsprechenden Körperachsen (longitudinal: senkrecht zur ebenen Bodenfläche von unten nach oben, transversal: waagerecht (parallel) zur ebenen Bodenfläche von links nach rechts, saggital: waagerecht (parallel) zur ebenen Bodenfläche von vorne nach hinten) auszurichten.

[0012] Für die Erkennung von Körperbewegungen müssen die Positionen der für die Bewegung relevanten Körperteile relativ zum Körperkoordinatensystem (xk, yk, zk) zu jedem Zeitpunkt erfasst werden. Die zeitliche Änderung der Körperpositionen entspricht den Körperbewegungen. Die Körperpositionen können mit Sensoren gemessen werden, die in die Kleidung integriert sind. Die Sensoren sind dadurch nah genug am Körper, um Rückschlüsse auf Körperbewegungen ziehen zu können, behindern aber den Nutzer nicht (so wie zum Beispiel direkt am Körper befestigte Sensoren). Ausserdem ermöglicht diese Messmethode, dass der Nutzer sich frei bewegen kann und nicht auf stationäre Messtechnik angewiesen ist. Durch die Integration der Sensoren in ein Kleidungsstück 4 ist das System einfach und komfortabel zu nutzen. Die Art und Weise, wie ein Kleidungsstück 4 angelegt werden muss, ist selbsterklärend und nicht fehleranfällig, d.h. die Sensoren sitzen automatisch an der richtigen Stelle nach dem Anziehen.

[0013] Eine Möglichkeit, die Körperpositionen zu messen, besteht in der Verwendung von Inertial-Sensoren 2, die sich aufgrund ihrer geringen Grösse auch für die Integration in Kleidungsstücke 4 eignen. Mittels solcher Sensoren und geeigneter Signalverarbeitungsalgorithmen wie z.B. ein Kalmanfilter kann man die Orientierung eines Objektes, welches starr mit dem Sensor verbunden ist relativ zu einem Erdkoordinatensystem bestimmen. Bringt man nun die Inertial-Sensoren an den entsprechenden Körperteilen an, kann man deren Position beispielsweise mit Hilfe eines einfachen Körpermodels bestimmen. In diesem Körpermodel werden einzelne Körperteile, beispielsweise

• Unterarme,
• Oberarme,
• oberkörper,
• Kopf,
• Oberschenkel,
• Unterschenkel

als starre Körpersegmente angenommen, die definierte Abmasse haben, Die Position eines Körpersegments relativ zu dem gegebenen Körperkoordinatensystem kann dann über die gegebenen Orientierungen der Körperteile relativ zu einem Erdkoordinatensystem unter Berücksichtigung der Abmasse der starren Körpersegmente durch rein geometrische Überlegungen bestimmt werden.

[0014] In der Figur 1 ist beispielhaft ein Erdkoordinatensystem (xe, ye, ze), ein Körperkoordinatensystem (xk, yk, zk) sowie die gemessene Orientierung eines Sensors 2 gezeigt. Die Orientierung und Lage eines Sensors 2 wird in Bezug auf das Erdkoordinatensystem (xe, ye, ze) gemessen und dann auf das Körperkoordinatensystem (xk, yk, zk) mittels einer Koordinatentransformation umgerechnet.

[0015] Um Töne zu erzeugen - eine Sequenz von Tönen wird oder soll als Musik empfunden werden-, werden bestimmten Körperpositionen oder Bewegungen mit einem Mapping-Algoritbmus Töne zugeordnet, dazu wird auf die Erläuterungen zur Figur 3 weiter unten verweisen.

[0016] Der Mapping-Algorithmus kann auf einem tragbaren oder in die Kleidung integrierten Gerät implementiert sein. Es ist aber auch möglich, die Sensordaten an ein externes Gerät zu senden und dort auszuwerten.

[0017] Die Klänge können mit tragbaren Geräten wiedergegeben werden (z.B. über Kopfhörer oder kleine Lautsprecher). Es ist aber auch möglich, die Klänge auf externen Musikanlagen wiederzugeben.

[0018] Ein entsprechendes Musik-Kleidungsstück muss die Bewegungen eines Schlagzeugers umsetzen. Für diese Anwendung ist die Erkennung von Armbewegungen relevant, deswegen wird als Kleidungsstück eine Jacke 4 gewählt. Für die weiteren Erläuterungen wird nun auf die Figur 2 Bezug genommen. Im unteren und oberen Teil der Ärmel DER Jacke 4 sind jeweils Inertial-Sensoren 2 integriert. Der Torso dient als Bezugspunkt 1; über ihn wird das Körperkoordinatensystem definiert. Daher ist ein Sensor 1 im Vorderteil der Jacke auf Brusthöhe eingebaut. Alle Sensoren 2 sind miteinander vernetzt, z.B. mit einem textilen Kabel 3. Die Daten werden in einem tragbaren Gerät gesammelt und von dort an einen externen Rechner zur Auswertung gesendet. Daher ist eine Sende-Einheit zur Übertragung der aufgenommenen Körperbewegungen und ein mit einer Empfangseinheit gekoppelter Rechner vorgesehen, der die empfangenen Körperbewegungen in Töne transformiert.

[0019] Auf dem externen Rechner ist der Mapping-Algorithmus installiert. Der Rechner braucht jedoch nicht extern als Personalcomputer oder ähnlich ausgebildet zu sein. Der Mapping-Algorithmus ist konfigurierbar, das heisst, es können mehrere, disjunkte quaderförmige Bereiche definiert und unterschiedlichen Schlagzeugarten zugeordnet werden.

[0020] Definierten Bereichen können unterschiedliche Tontimbre oder Instrumente zugeordnet werden. Die Zuordnung von solchen Bereichen ist ansatzweise in Figur 3 gezeigt. Der eine Person umgebende Raum ist in Quader aufgeteilt und abgebildet. Diese Quader werden als Bereiche definiert. Es sind auch andere Einheiten für diese Abbildung denkbar wie z.B. Kugeln. Quader sind deshalb bevorzugt, weil sie keine lückenhafte und trotzdem disjunkte Abbildung des vorgenannten Raumes erlauben, Befindet sich ein bestimmter Sensor in einem dieser Bereiche wird die Erzeugung des entsprechenden Klanges getriggert. Die Erzeugung des Klanges kann auch noch von weiteren Faktoren abhängig gemacht werden, wie zum Beispiel von einem Geschwindigkeitsprofil. Das heisst der erzeugte Klang unterscheidet sich je nach der Geschwindigkeit, mit der sich der betreffende Sensor 2 durch den definierten Bereich bewegt. In der Figur 3 sind nun diesen Bereichen bestimmte Musikinstrumente einer Schlagzeuganordnung durch die Angabe des Instrumentes zugeordnet:

• BassDrum Bass Drum;
• CRI Cymbalrides;
• Cym Cymbals;
• HH HiHats.

[0021] Durch die Implementierung eines konfigurierbaren Mapping-Algorithmus besteht die Möglichkeit, die Anzahl, die Lage und die Form der Bereiche zu verändern, denen ein Klang zugeordnet ist. Ausserdem können die zugeordneten Töne und Instrumente verändert und die weiteren Faktoren (wie das Geschwindigkeitsprofil) konfiguriert werden.

[0022] So sind gemäss der Figur 3 mehrere hintereinander, also in der Tiefe angeordnete Quaderreihen möglich, dies ist in der Figur 3 aus Übersichtlichkeitsgründen nicht dargestellt. Die Lage, Grösse und Anzahl der Bereiche ist frei wählbar. Ein Klang wird erzeugt, wenn sich eine Hand in einem der definierten Bereiche befindet und eine schlag-typische Bewegung macht (d.h. aus einer erdgerichteten Beschleunigung wieder abbremst). Die Töne werden über Lautsprecher, die an den externen Rechner angeschlossen sind, wiedergegeben.

[0023] Das Dreieck mit den dick ausgezogenen Linien repräsentiert Bauchnabel, linke Schulter, rechte Schulter. Die Bereiche sind in Quadern mit horizontalen Reihen gegliedert. Jede Reihe entspricht einer Trommel- oder Beckenart. Der linke und rechte Bereich einer Reihe sind auf dieselbe Trommel oder Becken konfiguriert. Der mittlere Bereich ist jeweils einem anderen Typ der gleichen Trommel oder Becken zugeordnet. Die unterste Reihe entspricht den «Bassdrums», dann folgen die «Snares» und weiter hinten die «CymbalRides». Auf der nächsten Ebene kommen die «HiHats» und zuoberst sind die «Cymbals». Je nach Schlagstärke wird ein anderes Sample abgespielt. Es gibt zwischen 5 und 11 Samples pro Trommel/Becken. Pro Schlag wird die Richtung «von der Handfläche weg» bestimmt. Ist diese Richtung «nach unten», so wird das Sample ohne Effekt abgespielt. Ist diese Richtung «nach oben», so wird das Sample zusätzlich in ein «Delay mit Feedback» geschickt. Das heisst, es wird periodisch aber immer leiser wiederholt. Ist die Richtung "von der Handfläche weg" horizontal, so wird das Sample in ein doppelt so schnelles «Delay mit Feedback» geschickt. Alle diese Effekte lassen sich konfigurieren oder ausschalten.

[0024] Die vorgenannten Sensoren sind aus dem stand der Technik bekannt und beispielsweise verfügbar bei
Xsens Technologies B.V.
NL - 7500 AM Enschede
URL http://www.xsens.com .

[0025] Die Triggerung wird so programmiert, dass sie robust ist und trotzdem schon kleine Schläge genügen, um sie auszulösen. Insbesondere werden Doppeltriggerungen und spontantriggerungen unterdrückt. Dazu werden sowohl die kalibrierten Beschleunigungssensordaten, wie auch die Drehmatrizen, die die Software «MT9» der Firma Xsens berechnet, benutzt. Einerseits wird aus der Position der Hand, die aus dem Vektormodell und den Drehmatrizen berechnet wird, eine Beschleunigung parallel zur Geschwindigkeit berechnet. Anderseits wird aus den kalibrierten Daten der Beschleunigungssensoren an den Handgelenken eine Beschleunigung (ohne Erdgravitation) in Richtung der lokalen z-Achse berechnet. Diese beiden Kurven brauchen beide fast gleichzeitig einen Peak, damit ein Sample getriggert wird.

[0026] Ausführungsformen der vorliegenden Erfindung sind keineswegs auf Schlagzeuginstrumente beschränkt, ebenso kann in einer weiteren Ausführungsform eine Orgel mit Manualen und Pedalen oder ein Klavier gemäss der vorliegenden Erfindung als virtuelles Musikinstrument nachgebildet werden. Im Falle einer Orgel ist neben einer mit Sensoren versehenen Jacke 4 eine entsprechende Hose 4 vorzusehen.

Liste der verwendeten Bezugszeichen

[0027] 

1

Bezugssensor; Sensor am Bezugspunkt

2

Sensor

3

textiles Kabel

4

Kleidungsstück, Jacke

10

Bezugspunkt

Literaturliste

[0028] 

[1]

FR 2 803 714 A1
«Casque musical integral»
C.M.I Societe à responsabilité limite

[2]

EP 0 773 699 Al
«Sound feeling device, playing device, method of controlling the playing device, playing device using light beam and acoustic device»
CAPCOM C.., Ltd.
Psala-shi,
Osaka-fu (JP)

Ansprüche

1. Virtuelles Musikinstrument, das enthält:

- eine Mehrzahl von an einem Kleidungsstück (4) angebrachten Sensoren (1, 2) zur Aufnahme von Körperbewegungen einer Person;

- eine Sende-Einheit zur Übertragung der aufgenommenen Körperbewegungen;

- ein Rechner der mit einer Empfangseinheit gekoppelt ist, der die empfangenen Körperbewegungen in Töne transformiert;

dadurch gekennzeichnet, dass
die Sensoren (1, 2) am Kleidungsstück (4) miteinander verbunden (3) sind und die Körperbewegung relativ zu einem Bezugspunkt (1, 10) registrieren, der einem starr anzunehmenden Körperteil entspricht.

2. Virtuelles Musikinstrument nach Anspruch 1,
dadurch gekennzeichnet, dass
die Sensoren (1, 2) als Inertial-Sensoren ausgebildet sind.

3. Virtuelles Musikinstrument nach Anspruch 1 oder 2,
dadurch gekennzeichnet, dass
der Bezugspunkt (1, 10) dem Kopf oder dem Oberschenkel oder dem Oberarm oder dem Oberkörper einer Person entspricht.

4. Virtuelles Musikinstrument nach einem der Ansprüche 1 bis 3
dadurch gekennzeichnet, dass
im Rechner der eine Person umgebenden Raum abgebildet ist und die Lage der Sensoren (1, 2) diesen Bereichen (BassDrum, CRI, Cym, HH) zugeordnet wird, wobei jedem Bereich (BassDrum, CRI, Cym, HH) ein Tontimbre und/oder ein Musikinstrument zugeordnet ist.

5. Virtuelles Musikinstrument nach Anspruch 4,
dadurch gekennzeichnet, dass
die Bereiche als Quader ausgebildet sind.

6. Virtuelles Musikinstrument nach Anspruch 4 oder 5,
dadurch gekennzeichnet, dass
für die Transformation in Töne abhängig von der Geschwindigkeitsänderung der Lage eines Sensors (1, 2) in einem Bereich (BassDrum, CRI, Cym, HH) ist.

Zeichnung