Le 4 avril 2024 – Alibaba, la branche data intelligence et technologie numérique d’Alibaba Group, annonce son nouveau modèle d’IA générative intitulée EMO (Emote portrait alive). EMO permet de faire parler ou chanter une personne, un personnage animé ou peint à partir d’une photo et d’une bande son.
Alibaba Cloud a développé EMO, un modèle d’intelligence artificielle capable de transformer des photos associés à des enregistrements audio, en vidéo ultra-réaliste grâce à une technologie de synthèse audio avancée. L’IA arrive à faire mouvoir le visage fixe en respectant la morphologie (la bouche, le nez, les sourcils…) et les mots prononcés. Cette technologie permet de créer des portraits animés sans recourir à des modèles 3D. EMO convertit les données audio en animation faciales, à la fois expressives et réalistes.
Pour tester EMO, les chercheurs ont créé une base de données audio-visuelle comprenant 250 heures de contenu et 150 millions d’images. Les contenus audio sont riches sur les expressions faciales. Cela permet d’offrir une variété de mouvements faciaux : les pommettes et les cordes vocales bougent, de même que les sourcils. Cela fonctionne même avec des personnages animés ou peints comme La Joconde, qui peut alors clamer un monologue de Shakespeare.
- Les recherches et analyses sont disponibles : https://arxiv.org/pdf/2402.17485.pdf
- Clip de démo sur YouTube : https://youtu.be/wtcSZdHZne4
À propos d’Alibaba Cloud
Lancée en 2009, Alibaba Cloud (www.alibabacloud.com), la division data intelligence d’Alibaba Group, propose une suite complète de services cloud aux clients du monde entier, notamment des services d’informatique élastique, de base de données, de stockage, de virtualisation de réseau, de calcul à grande échelle, de sécurité, de gestion et d’application, d’analyse de big data, une plateforme d’apprentissage automatique et des services IoT. Alibaba Cloud est le premier fournisseur chinois de services de cloud public en termes de revenus en 2019, y compris pour les services PaaS et IaaS, selon IDC. Alibaba Group est le troisième fournisseur mondial et le premier fournisseur IaaS d’Asie-Pacifique en termes de revenus en 2020, selon le rapport d’avril 2021 de Gartner.
