Xiaomo, l’avatar numérique de Alibaba Cloud, permet une traduction bidirectionnelle entre la langue des signes et la langue parlée chinoise.
Alibaba Cloud, la branche data intelligence et technologie numérique d’Alibaba Group, annonce le lancement d’un interprète virtuel en langue des signes pour permettre aux personnes malentendantes de mieux participer aux Jeux asiatiques d’Hangzhou.
Selon l’Organisation mondiale de la santé (OMS), plus de 1,5 milliard de personnes (près de 20 % de la population mondiale) vivent actuellement avec une perte auditive. Pour favoriser l’inclusion aux Jeux asiatiques paralympiques qui se tiendront du 22 au 28 octobre, Alibaba Cloud a présenté son avatar numérique, Xiaomo, qui sert d’interprète en langue des signes pour les personnes souffrant de déficiences auditives.
Alibaba Cloud intègre l’avatar numérique Xiaomo dans une mini-application sur la plateforme de paiement Alipay. Cette mini-application permet une traduction bidirectionnelle entre la langue des signes et la langue parlée chinoise. Les utilisateurs peuvent saisir des messages vocaux que l’avatar traduira en langue des signes pour les personnes malentendantes. Inversement, elle peut interpréter la langue des signes en langue parlée, facilitant ainsi une communication transparente entre les personnes entendantes et les personnes malentendantes.
La langue des signes, avec son mélange unique de gestes, d’expressions et de mouvements corporels, possède sa propre phonétique, son propre vocabulaire et sa propre grammaire, qui diffèrent de ceux de la langue parlée. Pour tenir compte de ces complexités, Alibaba Cloud a compilé un ensemble de données de traduction de la langue des signes chinoise qui contient 25 000 signes recueillis et annotés par des praticiens de la langue des signes et des personnes malentendantes dans la province de Zhejiang en Chine.
Alibaba Cloud a exploité son algorithme de reconnaissance visuelle avancé et ses capacités de suivi des mouvements pour capturer les mouvements des malentendants et traduire la langue des signes en langue naturelle à l’aide d’un modèle de traduction linguistique. Pour convertir la langue naturelle en langue des signes, Alibaba Cloud a également développé un réseau neuronal et un module de génération de mouvements des lèvres, permettant au personnage virtuel d’effectuer des gestes en langue des signes avec précision.
L’interprète en langue des signes Xiaomo a également été intégré à la chaîne d’information des Jeux asiatiques afin d’améliorer l’accessibilité de ses annonces. Pendant les Jeux asiatiques paralympiques, Xiaomo peut aider les participants malentendants à interagir avec les bénévoles sur les sites pour obtenir diverses aides, notamment pour demander leur chemin, demander une aide médicale et obtenir de l’aide pour regarder les matchs.
