Modélisation de la coarticulation multimodale : vers l’animation d’une tête parlante intelligible

Dans ces travaux, nous cherchons à simuler par un algorithme l’influence d’un phonème sur la production des phonèmes voisins, phénomène connu sous le nom de coarticulation, dans le but de prédire les mouvements articulatoires nécessaires à la production d’une séquence phonétique. Il faut en effet savoir que nous ne pouvons considérer l’articulation comme une simple concaténation de mouvements articulatoires correspondant aux phonèmes. Dans le domaine d’étude de la production de la parole, il est bien établis que la production d’un phonème est largement influencé par son contexte. Par exemple, la forme des lèvres est très différentes pendant la production du /k/ de « qui » et « quoi, car ce phonème subis une influence de la voyelle suivante. In fine, notre modèle permet de contrôler une tête parlante virtuelle, afin de synchroniser son animation à un segment de parole prononcé par un adulte.

Nous cherchons ici à proposer un nouveau modèle de coarticulation basé sur les techniques récentes d’intelligence artificielle (deep learning) avec pour principal objectif une modélisation indépendante de la langue et de la modalité. Par modalité, nous entendons l’aspect visuelle et articulatoire de la parole, c’est-à-dire les mouvements du visage induits par l’articulation d’un locuteur (modalité visuelle), mais aussi les mouvements des principaux articulateurs internes comme la langue, la mâchoire ou le vélum (la modalité articulatoire). Finalement, nous souhaitons appliquer ce modèle de coarticulation à la langue Allemande afin de proposer un système de synchronisation labiale automatique pour cette langue, capable d’animer un visage virtuelle depuis la voix de l’enseignant.

Dans un second temps, nous avons procédé à la phase de conception et de validation de notre modèle de coarticulation. Cette phase est elle-même divisée en deux sous-étapes : une étape dite exploratoire consistant en l’élaboration d’un réseau de neurones artificiels capable d’apprendre la dynamique des articulateurs en fonction d’une séquence phonétique, et une étape dite d’évaluation subjective servant à valider notre modèle une fois appliqués à un système d’animation facial.

L’étape exploratoire fut guidée par l’utilisation de métrique usuelle du domaine (calculs de l’Erreur Quadratique Moyenne et de corrélations) servant à mesurer l’erreur commise par notre modèle sur sa prédiction de la dynamique des articulateurs par rapport aux données précédemment acquises (c’est-à-dire, au cours de la phase de récolte de données), ainsi que par une analyse fine de cette dynamique, afin de mesurer la qualité de nos prédictions vis-à-vis des cibles articulatoires critiques pour l’intelligibilité de la parole. Par exemple, cette analyse a été appliquée aux consommes bilabiales /b/, /p/ et /m/, pour lesquelles il est indispensable d’obtenir une fermeture totale des lèvres durant la production, faute de quoi le phonème perçu sera différent (voir effet McGurck à la section précédente).

L’étape d’évaluation subjective a été réalisée via une plateforme web, afin de mesurer la différence de préférence entre un visage 3D animé depuis les données de capture de mouvement (issues de notre acquisition de données), et un visage 3D animé par notre modèle de coarticulation. Dans ces deux cas de figures, la voix utilisé est celle enregistré pendant la capture de données. Afin d’évaluer la pertinence de notre modèle, nous avons proposés 50 paires de vidéos à 10 natifs Allemands adultes, ces vidéos couvrant un très grand ensemble des phonèmes de la langue Allemande. Pour chaque paires de vidéos, les participants ont le choix entre 6 niveaux afin de préciser leurs préférences pour l’un ou l’autre des échantillons (préférence pour : « A », « plutôt A », « un peu A », « un peu B », « plutôt B », « B »). Bien entendu, l’ordre d’apparition des vidéos est entièrement aléatoires.

Dans cette étude, nous avons validé l’utilisation d’un modèle particulier de réseaux de neurones pour la modélisation de la coarticulation, les réseaux de neurones récurrents bidirectionels. Ces derniers sont capables de prendre en compte l’information passée et future pour générer de la dynamique des articulateurs, capacité permettant de prendre en compte les phénomènes de coarticulation rétentive (l’influence des phonèmes passés sur la production du phonème courant) et de coarticulation anticipatoire (l’influence des phonèmes futures sur la production du phonème courant).

En termes de mesures objectives (erreur moyenne et corrélation), nos résultats atteignent l’état de l’art du domaine, avec cependant l’avantage majeur de pouvoir être appliqué à n’importe quelle langue et articulateur. Par exemple, nous avons utilisé ce modèle dans cette étude pour prédire la modalité visuelle (les déformations du visage) mais aussi la modalité articulatoire (la dynamique des principaux articulateurs internes comme la langue ou le palais mou), et ce dans différentes langues (Anglais, Allemand et Français). En comparant nos résultats sur un corpus articulatoire ouvert avec ceux issues de l’inversion acoustique, tâche consistant en la prédiction des trajectoires articulatoires depuis le signal acoustique, nous avons également validé que l’utilisation d’informations phonétiques seules (phonème et durée respective) est suffisante pour prédire la modalité articulatoire avec une grande précision.

Concernant l’évaluation subjective, il peut sembler très difficile de comparer nos prédictions aux données issues de la capture de mouvement. En effet, il semble impossible de prédire des trajectoires articulatoires « meilleures » que les données originales. L’objectif de notre évaluation est donc de montrer qu’il est très difficile pour les participants de différencier les deux animations. Nous avons pour cela développé un simple taux d’appréciation basé sur le choix catégorique de préférence des participants. Une valeur de 50 % de ce taux représente donc une appréciation égale entre nos prédictions et la capture de mouvement. Nous avons obtenu un honorable score de 41 %, signifiant donc une légère préférence pour les trajectoires articulatoires originales. Une analyse fine de ces résultats révèle que certaines prédictions sont très nettement rejetées par l’utilisateur (c’est-à-dire, nos 10 participants), ouvrant ainsi des pistes de réflexion intéressantes pour l’amélioration de ce modèle.