Shanghai Stonehill Technology dévoile le premier grand modèle non basé sur l’attention en Chine : Plus rapide, plus puissant, plus économique
SHANGHAI--(BUSINESS WIRE)--Le 24 janvier, lors de la conférence "New Architecture of Large Language Model", Rock AI (une filiale de Shanghai Stonehill Technology Co., Ltd.) a officiellement dévoilé le premier grand modèle linguistique à usage général sans mécanisme d'attention, le modèle Yan.
Il s'agit également d'un des rares grands modèles de l'industrie qui ne dépend pas d'une architecture de Transformer. Le Modèle Yan offre une efficacité d'entraînement 7 fois supérieure à celle des modèles Transformer ayant des paramètres équivalents, une capacité d'inférence 5 fois plus élevée et une capacité mémoire 3 fois plus importante. De plus, il prend en charge un fonctionnement sans perte sur les CPU, réduit l'hallucination dans les expressions et offre un support à 100 % pour les applicat...
