Abstrait

Infographie 2016 : Coarticulation et synchronisation de la parole dans l'animation faciale basée sur MPEG-4 - Abdennour El Rhalibi - Université de Liverpool

Abdennour El Rhalibi

Dans cette conférence, le professeur Abdennour El Rhalibi présentera un résumé de ses recherches sur les technologies de jeu à LJMU. Il présentera quelques projets récents développés avec BBC R&D, sur le développement de middleware de jeu et sur l'animation faciale. En particulier, il présentera un cadre totalement unique pour la co-articulation et la synchronisation de la parole pour l'animation faciale basée sur MPEG-4. Le système, appelé Charisma, permet la création, l'édition et la lecture de modèles 3D haute résolution ; des flux d'animation MPEG-4 ; et est compatible avec des systèmes connexes bien connus comme Greta et Xface. Il prend en charge la synthèse vocale pour la synchronisation dynamique de la parole. Le cadre permet également la simplification du modèle en temps réel à l'aide de surfaces quadriques. L'approche de co-articulation fournit une animation de synchronisation labiale réaliste et de haute performance, prenant en charge le modèle de coarticulation de Cohen-Massaro adapté à la spécification d'animation faciale (FA) MPEG-4. Il discutera également de certaines expériences qui montrent que la technique de co-articulation donne globalement de bons résultats par rapport aux techniques de pointe connexes. Le système que les auteurs ont développé utilise la norme MPEG-4 FA et d'autres développements pour permettre la création, l'édition et la lecture de modèles 3D haute résolution ; des flux d'animation MPEG-4 ; et est compatible avec des systèmes connexes bien connus comme Greta et Xface. Il prend en charge la synthèse vocale pour une synchronisation dynamique de la parole. Le cadre permet une simplification du modèle en temps réel à l'aide de surfaces basées sur des quadriques. L'animation faciale s'est avérée être une immense fascination et un intérêt pour la communauté des chercheurs et l'industrie. Comme ses utilisations sont extrêmement larges, depuis les utilisations dans l'industrie du cinéma, pour générer des personnages CGI ou même pour recréer de vrais acteurs dans une animation CGI ; jusqu'à l'industrie du jeu où, associée à plusieurs avancées à la fois matérielles et logicielles, elle a permis la création de personnages réalistes qui immergent les joueurs comme jamais auparavant. L'animation faciale a également atteint plus récemment différents secteurs et applications, tels que la présence virtuelle et la recherche médicale. Il existe quelques boîtes à outils et cadres dédiés à l'animation faciale, tels que Facegen, et d'autres outils. Un tel potentiel et une telle fascination autour de ce sujet ont généré des recherches intenses et dédiées au cours des trois dernières décennies. Celles-ci ont conduit à la création de plusieurs branches, qui se concentrent sur des aspects clés, tels que la modélisation (par exemple, les rides, la peau et les cheveux) et les systèmes d'agents incarnés qui améliorent l'expérience de l'utilisateur en incorporant un personnage virtuel à des sous-systèmes impliquant la personnalité, les émotions et les humeurs de la parole. Ces sous-systèmes contribuent à imiter nos comportements et notre apparence physique de manière plus réaliste, et tous jouent un rôle important dans la communication, soit directement par l'utilisation de la parole, soit indirectement en utilisant les gestes du corps, le regard, les humeurs et les expressions. Cependant, la parole est le principal moyen de communication directe entre les agents incarnés et l'utilisateur.Français Cela justifie les efforts déployés par la communauté scientifique au cours des trente dernières années pour la création de paroles synthétiques et de mouvements des lèvres réalistes pour les personnages virtuels. Au cours des deux dernières décennies, plusieurs avancées ont permis la création de paroles audio visuelles synthétiques pour les personnages virtuels, impliquant un traitement de la parole rendu possible par la création de moteurs de synthèse vocale tels que Mary-TTS (Schröder, 2001). Avec la création de ces moteurs de parole, la coarticulation a également connu plusieurs avancées (Massaro, 1993, Pelachaud, 2002, Sumedha et Nadia, 2003, Terry et Katsaggelos, 2008) qui ont été complétées par des études de synchronisation labiale initiales qui ont tenté de concaténer des segments phonétiques, mais il a été constaté que les phonèmes n'atteignent pas toujours leur forme cible idéale, en raison de l'influence des segments phonétiques consécutifs les uns sur les autres. Ce phénomène est connu sous le nom de coarticulation. La coarticulation fait référence au chevauchement phonétique, ou aux changements d'articulation qui se produisent entre les segments, ce qui ne permet pas au segment d'atteindre sa forme cible parfaite. Les effets de la coarticulation peuvent être divisés en deux phénomènes principaux, la coarticulation persévérative : si les segments affectés sont les précédents ; et la coarticulation anticipatoire si les segments sont affectés par les segments à venir.

Biographie:

Abdennour El Rhalibi est professeur d'informatique de divertissement et responsable de projets stratégiques à l'université John Moores de Liverpool. Il est responsable du laboratoire de recherche sur les jeux informatiques au Protect Research Centre. Il a plus de 22 ans d'expérience dans la recherche et l'enseignement en informatique. Il a travaillé comme chercheur principal dans trois projets européens en France et au Royaume-Uni. Ses recherches actuelles portent sur les technologies de jeu et l'intelligence artificielle appliquée. Il dirige depuis six ans plusieurs projets en informatique de divertissement financés par la BBC et des sociétés de jeux basées au Royaume-Uni, impliquant des outils de développement multiplateformes pour les jeux, le développement de middleware de jeux Web 3D, la synchronisation d'état dans les jeux en ligne multijoueurs, le MMOG peer-to-peer et l'animation de personnages 3D. Il a publié plus de 150 publications dans ces domaines. Il siège au comité de rédaction de nombreux journaux, notamment ACM Computer in Entertainment et l'International Journal of Computer Games Technologies. Il a été président et membre de l'IPC dans plus de 100 conférences sur le divertissement informatique, l'IA et la réalité virtuelle. Il est membre de nombreux comités de recherche internationaux en IA et en informatique de divertissement, notamment IEEE MMTC IG : rendu 3D, traitement et communications (3DRPCIG), IEEE Task Force on Computational Intelligence in Video Games et IFIP WG 14.4 Games and Entertainment Computing.