(19)
(11) EP 0 142 179 A1

(12) DEMANDE DE BREVET EUROPEEN

(43) Date de publication:
22.05.1985  Bulletin  1985/21

(21) Numéro de dépôt: 84201244.5

(22) Date de dépôt:  09.12.1983
(51) Int. Cl.4G10H 5/16, G10H 7/00
(84) Etats contractants désignés:
CH DE GB IT LI NL SE

(30) Priorité: 10.12.1982 FR 8220695

(62) Numéro de dépôt de la demande initiale en application de l'article 76 CBE:
83402385.5 / 0112761

(71) Demandeur: ETAT FRANCAIS représenté par le Ministre des PTT (Centre National d'Etudes des Télécommunications)
F-92131 Issy-les-Moulineaux (FR)

(72) Inventeur:
  • Aubin, Sylvain
    F-75015 Paris (FR)

(74) Mandataire: Thibon-Littaye, Annick 
Cabinet A. THIBON-LITTAYE 11 rue de l'Etang
78160 Marly-le-Roi
78160 Marly-le-Roi (FR)


(56) Documents cités: : 
   
       


    (54) Dispositif de création sonore


    (57) Ce dispositif de création sonore comprend au moins un générateur d'un signal vidéo, un convertisseur analogique digital si le signal vidéo n'est pas déjà numérique, un moyen de transformer le signal vidéo en une multitude p de signaux représentatifs de P paramètres, un ensemble de convertisseurs digitaux-analogiques en nombre égal au nombre des paramètres, une matrice de connexion des P signaux à une seconde multitude de q entrées d'un synthétiseur de son dont la sortie est branchée à un haut-parleur.


    Description


    [0001] La présente invention a pour objet un procédé et, un dispositif de création sonore impliquant une transformation d'images en sons, qui permet_d'analyser des images englobant au moins un objet en déplacement, et de produire des sons musicaux à partir de cette analyse.

    [0002] L'invention a ainsi pour objet un procédé de création sonore caractérisé en ce qu'il consiste essentiellement :

    - à observer une image englobant un objet en déplacement,

    - à produire des signaux d'image traduisant au moins deux paramètres de l'image variant au cours du déplacement de l'objet,

    - à produire à partir desdits signaux d'image, des signaux de commande sonore, et à assurer une synthèse de sons en utilisant lesdits signaux de commande sonore pour commander les variations d'au moins deux paramètres différents des sons produits.



    [0003] Elle a aussi pour objet un dispositif de création sonore, caractérisé en ce qu'il comprend des premiers moyens pour observer une image englobant un objet en déplacement et produire des signaux d'image traduisant au moins deux paramètres de l'image variant au cours du déplacement de l'objet, et des seconds moyens pour produire à partir desdits signaux d'image, des signaux de commande sonore, et pour assurer une synthèse de sons en utilisant lesdits signaux de commande sonore pour commander les variations d'au moins deux paramètres différents des sons produits.

    [0004] Dans un tel dispositif, les premiers moyens peuvent avantageusement comporter un générateur de signal vidéo produisant les signaux d'image. D'autre part, les seconds moyens peuvent avantageusement être conçus pour commander des paramètres des sons choisis parmi la hauteur du son, son timbre, son intensité, et éventuellement le rythme de suceession des sons ou leur durée ou toute combinaison de ces paramètres.

    [0005] Il est en fait déjà connu de réaliser des appareils de synthèse de bruits ou de sons-y fonctionnant par exemple à partir d'une commande vocale comme décrit dans le brevet français-2 057 645, ou utilisant un analyseur de musique pour générer des signaux de commande d'un synthétiseur de sons comme dans le brevet français 2 226 092. On connait aussi, du brevet français 2 206 030, un système pour soumettre la création de sons à l'influence du déplacement d'énergie d'un être humain. Toutefois, aucun des documents précédents ne concerne l'utilisation d'images permettant de générer des signaux vidéo pour commander, après transformation de ces signaux, un synthétiseur de sons. Aucune des techniques connues ne conduit à prendre en compte véritablement les mouvements, comme le permet l'invention, grâce à la possibilité qu'elle offre de faire intervenir une analyse de l'image dans la synthèse de sons, qui pourra ainsi être influencée par exemple par tel ou tel mouvement de bras, de jambe, du corps, ou autre, d'un danseur ou d'un groupe de personnes. On notera d'autre part qu'à partir d'une analyse d'image détaillée, on peut jouer sur un nombre de paramètres importants dans la synthèse des _ sons, en exploitant des relations entre paramètres physiques et qualités des sons qui sont en elles-mêmes connues.

    [0006] Selon un mode de réalisation particulier, l'invention implique l'utilisation d'un dispositif de transformation d'un signal vidéo en sons, comprenant au moins un générateur d'un signal vidéo, un convertisseur analogique digital si le signal vidéo n'est pas déjà numérique, un moyen de transformer le signal vidéo numérisé en une multitude p de signaux représentatifs de P paramètres, un ensemble de convertisseurs analogiques digitaux en nombre égal au nombre des paramètres, une matrice de connexion des P signaux à une seconde multitude de q entrées d'un synthétiseur de sons dont la sortie est branchée à un haut-parleur. ø

    [0007] D'autres caractéristiques et avantages de la présente invention apparaîtront plus clairement à la lecture de la description faite ci-après.

    [0008] Dans la description du dispositif selon l'invention, 1 désigne un générateur de signaux vidéo qui peut être constitué, comme on le verra par la suite, par une ou plusieurs caméras vidéo achrome ou polychrome, ou bien par un magnétoscope, un vidéodisque ou tout autre moyen. Sauf dans le cas du vidéodisque, les signaux vidéo issus des moyens 1 ne sont en général pas sous forme numérique. De la sortie du générateur ils alimentent alors un convertisseur analogique/digital 2, qui transforme les signaux analogiques en signaux numériques pour les transmettre à l'entrée d'une interface 3, laquelle peut être constituée, soit par un dispositif à microprocesseur, soit par une logique câblée, qui seront décrits par la suite. Dans le cas où le signal vidéo serait produit d'origine sous forme numérique, il serait admis à l'interface 3 directement. La multitude p des P sorties de l'interface alimentent également P convertisseurs digitaux analogiques dont les P sorties sont reliées à une matrice de connexion, permettant de modifier les P sorties des convertisseurs analogiques 4, en une multitude q de sorties que l'on relie aux entrées d'un synthétiseur analogique de son, dont l'unique sortie est branchée à un haut-parleur.

    [0009] Le synthétiseur doit posséder un nombre suffisant d'entrées en tension. Il est souhaitable de pouvoir commander au moins une première entrée, agissant sur le circuit du synthétiseur définissant la hauteur su son, une seconde entrée agissant sur le circuit du synthétiseur définissant le timbre du son et par conséquent le nombre d'harmoniques contenus dans le son, une troisième entrée agissant sur le circuit du synthétiseur réglant l'intensité du son, une quatrième entrée, agissant sur le circuit du synthétiseur réglant le rythme de succession des notes, et une cinquième entrée agissant sur le circuit du synthétiseur réglant la durée desdites notes. Dans le cas où le synthétiseur de sons offre la possibilité de commander en tension des effets spéciaux, vibrato, distorsion, réverbération, écho, etc., il est possible de prévoir des branchements sur les entrées commandant les effets spéciaux.

    [0010] La matrice de connexion permet donc, à partir d'un nombre de sorties P des convertisseurs, de commander les q entrées du synthétiseur. Cette matrice peut facilement être réalisée par tout dispositif permettant de combiner les P signaux pour les transformer en Q signaux. Cette matrice de connexion est à la portée de tout homme de l'art ; elle peut simplement être réalisée par des plots enfichables permettant de connecter entre elles les sorties et les entrées.

    [0011] L'interface 3 a pour rôle principal de transformer le signal vidéo, digitalisé, en P signaux'dont on va se servir pour commander le synthétiseur. Un exemple de sélection dans l'image de P paramètres représentatifs de son évolution est donné en considérant un cadre C qui représente soit un écran de téléviseur, soit le viseur d'une caméra qui sert à filmer l'image. A chaque trame un objet peut être défini et représenté par ses dimensions x, y et par sa position X, Y par rapport à une origine 0 choisie dans un coin du cadre. L'image peut être celle d'un danseur qui se meut sur une scène et dont les mouvements sont traduits par la variation des paramètres X, Y, y, x. Si l'on désire avoir un plus grand nombre de signaux pour commander le synthétiseur, on utilise les signaux représentatifs de la vitesse de variation des paramètres, et même de l'accélération. On obtient ainsi, les signaux représentatifs des paramètres x, y, x', y', x", y", X, Y, X', Y', X", Y".

    [0012] Un exemple de réalisation d'un interface en logique programmée, est décrit ci-après.

    [0013] Un module d'extraction des signaux de synchronisation délivre le signal vidéo à numériser et les signaux de synchronisation de ligne et de trame. En fait, dans le cas simple de l'exemple, le convertisseur 2 code le signal vidéo sur un seul bit. La sortie du convertisseur analogique/digital 2 est branchée à l'entrée d'un convertisseur série-parallèle , piloté par une horloge (elle-même asservie au signal de synchronisation ligne), qui délivre à l'interface 30 des mots de 16 bits.

    [0014] Les signaux de synchronisation de ligne et de trame mettent à 1 des organes d'états de l'interface. Ils permettent de synchroniser le déroulement du programme avec les balayages ligne et trame, ce qui est important pour permettre le fonctionnement du système en temps réel. Les échanges entre l'interface et le microprocesseur sont soit programmés, soit déclenchés par interruption.

    [0015] Un bus de données raccorde cet interface au microprocesseur. Un bus d'adresses, ainsi qu'un bus de commande, raccordent également l'interface au microprocesseur. Le microprocesseur est également relié par ces bus d'adresses, de données, de commande, à une mémoire, contenant le programme de traitement des informations digitales.

    [0016] En sortie, l'interface d'entrée-sortie transmet par p sorties, les P mots résultant du traitement du signal vidéo digitalisé, aux P convertisseurs digitaux/analogiques 4.

    [0017] En fonctionnement, le microprocesseur est programmé pour travailler de la façon suivante :

    Dans une première phase, ou phase de traitement de mot, lorsque le convertisseur série-parallèle a chargé 16 bits, correspondant à un mot complet, l'interface

    délivre une indication "mot complet" et le microprocesseur charge le mot dans un registre interne et détecte la position dans le mot des bits à l'état 1, après avoir effectué une opération de filtrage.

    [0018] Le but du filtrage, qui est optionnel, est de s'affranchir de luminances parasites, en décidant que le passage de 0 à 1 n'a eu lieu qu'après avoir vu passer un certain nombre de 1 et que le passage de 1 à 0 n'a e lieu qu'apès vu passer un certain ombre de 0 (lequel nombre déterminera la puissance du filtrage), ce qui revient à exiger d'une transition une certaine stabilité avant de la prendre en compte.

    [0019] Si un passage de 0 à 1 ou de 1 à 0 a été détecté dans le mot, le microprocesseur en calcule la position (x min. ou x max.), stocke en mémoire cette information, scrute dans l'interface l'organe d'état correspondant à la synchronisation ligne (bit à 1 pendant le temps du top ligne), et si ce dernier est à 0, attend l'indication de mot complet suivant pour refaire la même opération.

    [0020] A l'issue de la première phase, lorsque tous les mots constitutifs d'une ligne ont été traités, le microprocesseur exécute la deuxième phase, ou phase de traitement de ligne, en comparant les informations x min. et x max. relatives à la ligne n traitée avec les informations x min. et x max. Qu'il possède en mémoire et qui résultent du traitement de la ligne précédente n-1. Il ne garde en mémoire que le plus petit des x min. et le plus grand des x max., de telle sorte que lorsque toutes les lignes auront été traitées, il ne subsistera en mémoire que les valeurs extrêmes en x de la position de l'objet dans la trame i (x min. trame i, x max. trame i).

    [0021] Au cours de cette seconde phase de traitement, le microprocesseur détermine aussi si le rang de la ligne traitée correspond à Y min. ou Y max. après filtrage. Dans ce filtrage, la décision est prise qu'une ligne contient des 1 seulement si un certain nombre des lignes suivantes en contiennent aussi (y min.) ; de même, la décision qu'une ligne ne contient plus de 1 n'est prise que si un certain nombre des lignes qui suivent n'en • contient pas non plus (y max.).

    [0022] Le microprocesseur met alors en mémoire les valeurs de y min. et y max. Il scrute la sortie de l'interface correspondant au signal de synchronisation trame. Si celui-ci est à 0, il attend l'indication de mot complet suivant pour traiter une nouvelle ligne, sinon il amorce une troisième phase, qui est une phase de traitement de la trame.

    [0023] Dans cette troisième phase, le microprocesseur opère des calculs sur les informations qu'il possède en mémoire et qui sont : x max. trame i, x min. trame i, y min. trame i, y max. trame i.

    [0024] Il calcule les coordonnées moyennes en abscisse, et ordonnées, soit :

    ainsi que la largeur et la hauteur de l'objet, soit : x = x max. - x min. et y = y max. - y min. prenant ainsi en compte son ampleur.

    [0025] Ces calculs faits, le microprocesseur restitue ces informations aux convertisseurs digitaux/analogiques en adressant les sorties de l'interface 39 et attend l'indication de mot complet suivant pour traiter une nouvelle trame i + 1.

    [0026] La seule limite à la complexité des programmes est le temps d'exécution. A titre d'exemple, on peut décider que la ligne comporte 10 mots de 16 bits et étant donné que le balayage d'une ligne dure 52,s, le traitement d'un mot devra être réalisé en moins de 5,.2 s, le traitement d'une ligne (pendant le retour ligne) en moins de 12 s, le traitement d'une trame (pendant le retour trame) en moins de 1,2 millisecondes. Ces contraintes de temps conditionnent le fonctionnement en temps réel du système.

    [0027] Dans un deuxième mode de réalisation de l'interface 3, en logique câblée, la sortie_du dispositif 1 fournissant un signal vidéo , est branchée à l'entrée d'un circuit 48 d'extraction des signaux de synchronisation de ligne et de trame.

    [0028] Une sortie du circuit 48 fournit un signal de synchronisation de ligne, qui sert à synchroniser une horloge, et qui d'autre part, est branché à une entrée d'un circuit logique 45 à cinq entrées, dont les deux sorties délivrent respectivement les signaux y et Y aux convertisseurs analogiques digitaux 4. Les quatre autres entrées du circuit logique 45 recoivent le signal de synchronisation de trame délivré à une sortie du circuit 48, deux des signaux de sortie d'une logique 46 et le signal de sortie d'un comparateur 41, permettant de digitaliser le signal vidéo reçu à une entrée du comparateur 41. Ce signal vidéo, fourni par une sortie du circuit 48, est comparé avec une tension de référence fournie à l'entrée du circuit comparateur 41. Én agissant sur la tension de référence, on détermine le niveau de luminance sur lequel a lieu la commutation.

    [0029] Le circuit logique 45 a pour rôle de détecter la première ligne vierge en fin d'objet y max. (avantageusement avec filtrage). Il construit un premier signal qui passe à 1 dès qu'une ligne non vierge est rencontrée et qui retombe à zéro en fin de trame. C'est durant la position haute de celui-ci qu'un compteur sera autorisé à compter les tops de synchronisation ligne, ce qui fournira la grandeur Y.

    [0030] La logique 45 contruit un second signal qui passe à 1 dès qu'une ligne non vierge est rencontrée comme le précèdent signal) et qui retombe à zéro après la détection de fin d'objet. C'est durant la position haute de ce signal qu'un second compteur sera autorisé à compter les tops de synchronisation ligne, ce qui fournira la grandeur y.

    [0031] Une sortie du comparateur 41 attaque un registre à décalage 43, bouclé sur lui-même, dont le décalage est synchronisé par le signal d'une horloge, qui est elle-même synchronisée sur le signal de synchronisation de ligne. Ce registre à décalage constitue une mémoire tournante qui permet de construire, puis de mémoriser l'emplacement du paramètre x sur une ligne. La sortie du registre à décalage 43 est reliée à une entrée d'un bloc logique 44 à sept entrées, dont les six autres entrées recoivent le signal de synchronisation ligne, le signal d'horloge et les quatre signaux des sorties du bloc logique 46, qui reçoit sur sa première entrée le signal de synchronisation de ligne et sur sa seconde entrée le signal de synchronisation de trame.

    [0032] Le circuit logique 46 est constitué d'un compteur et d'un démultiplexeur. Son objet est de fournir une base de temps secondaire afin d'effectuer le traitement qui a lieu après le top de retour trame. Le circuit fournit ainsi quatre signaux logiques qui, avec les signaux de synchronisation ligne et trame, permettent le séquencement des opérations effectuées par le système.

    [0033] Les sorties du bloc logique 44 délivrent les signaux représentatifs respectivement de x et X aux convertisseurs digitaux analogiques du circuit 4. Ce circuit comprendra notamment un compteur et des buffers.

    [0034] On remarquera que dans la variante qui vient d'être décrite, les valeurs X et Y désignent respectivement les abscisses et ordonnées au début de l'objet en projection sur chaque axe, et non les milieux entre minimum et maximum comme dans le cas précédent.

    [0035] Il est bien évident que toute modification à la portée de l'homme de l'art fait également partie de l'esprit de l'invention. Ainsi en particulier, quand on a parlé d'un objet, il pourrait aussi s'agir de plusieurs sous-objets distincts, évoluant plus ou moins indépendamment les uns des autres. Il pourrait par ailleurs s'agir d'objets distingués les uns des autres par leur couleur. D'autre part, la même technique peut servir à réaliser un enregistrement sonore automatique sur un film vidéo.

    [0036] 0n doit comprendre aussi que pour une production sonore différée par rapport à l'observation de l'image, on peut conserver aussi bien les signaux de commande sonore que les signaux d'image, ou les paramètres correspondants, dans des enregistrements réalisés soit en forme analogique, soit en forme numérique. Les sons synthétisés eux-mêmes comme l'image à analyser, peuvent être conservés enregistrés dans tous les détails qui les définissent.


    Revendications

    1. Procédé de création sonore, caractérisé en ce qu'il consiste essentiellement à observer une image englobant un objet en déplacement, à produire des. signaux d'image traduisant au moins deux paramètres de l'image variant au cours du déplacement de l'objet, à produire à partir desdits signaux d'image, des signaux de commande sonore, et à assurer une synthèse de sons en utilisant lesdits signaux de commande sonore pour commander les variations d'au moins deux paramètres différents des sons produits.
     
    2. Procédé de création sonore selon la revendication 1, caractérisé en ce que les signaux d'image traduisant au moins deux paramètres de l'image variant au cours du déplacement de l'objet sont obtenus en trois étapes : une première étape de traitement d'un signal vidéo pour en retirer pour chaque ligne la valeur d'abscisse minimum et d'abscisse maximum définissant le contour de l'objet ; une deuxième étape qui a lieu pendant le retour du spot permettant, en comparant les abscisses minimum de chaque ligne et les abscisses maximum de chaque ligne, de déterminer la plus petite des abscisses minimum et la plus grande des abscisses maximum, et permettant en déterminant les ordonnées de la première ligne et de la dernière ligne où l'on a détecté une abscisse, de détecter respectivement les valeurs de l'ordonnée maximum et de l'ordonnée minimum ; une troisième étape pendant laquelle on détermine les coordonnées du point milieu de l'objet et les dimensions en abscisse et en ordonnée de l'objet, et l'on adresse ces résultats à des convertisseurs digitaux-analogiques branchés aux entrées d'un synthétiseur de son produisant les sons.
     
    3. Dispositif de création sonore caractérisé en ce qu'il comprend des premiers moyens pour observer une image englobant un objet en déplacement et produire des signaux d'image traduisant au moins deux paramètres de l'image variant au cours du déplacement de l'objet, et des seconds moyens pour produire à partir desdits signaux d'image, des signaux de commande sonore et pour assurer une synthèse de sons en utilisant lesdits signaux de commande sonore pour commander les variations d'au moins deux Paramètres différents des sons produits.
     
    4. Dispositif de création sonore selon la revendication 3, caractérisé en ce que lesdits premiers moyens comportent un générateur de signal vidéo et un interface produisant lesdits signaux d'image.
     
    5. Dispositif selon l'une des revendications précédentes, caractérisé en ce que les signaux d'image comprennent des signaux représentatifs de la position de l'objet par rapport à un point de référence dans l'image, de la vitesse de déplacement de l'objet par rapport au point de référence, de l'ampleur de l'objet, de la vitesse de variation de l'ampleur de l'objet.
     
    6. Dispositif selon la revendication 5, caractérisé en ce que les signaux d'image comprennent en plus des signaux représentatifs de l'accélération de l'objet et de l'accélération de la variation en ampleur de l'objet.
     
    7. Dispositif selon la revendication 6, caractérisé en ce que les paramètres des sons sont choisis parmi la hauteur du son, son timbre, son intensité, le rythme de succession des sons, leur durée.
     
    8. Dispositif selon la revendication 4, caractérisé en ce qu'il comporte un convertisseur analogique/digital pour transformer un signal vidéo sous forme analogique en un signal numérique correspondant.
     
    9. Dispositif selon la revendication 5 ou 6, caractérisé en ce que les signaux d'image représentatifs de la position de l'objet comprennent des signaux traduisant la valeur moyenne des abscisses minimum et maximim et la valeur moyenne des ordonnées minimum et maximum de l'objet de l'image.
     
    10. Dispositif selon la revendication 5 ou 6, caractérisé en ce que les signaux d'images représentatifs de la position de l'objet comprennent des signaux traduisant les abscisses et ordonnées au début de l'objet en projection sur les axes de coordonnées correspondantes,
     





    Rapport de recherche