Attention is All You Need : un auteur argue pour dépasser les Transformers
Un auteur d'Attention is All You Need pousse à dépasser les Transformers. 200 milliards de valorisation IA en jeu.
L'un des auteurs originaux d'« Attention is All You Need » plaide pour abandonner l'architecture Transformer. Dans un débat Pathway sur les modèles post-Transformer, il argue que l'attention n'est plus suffisante face aux défis d'échelle actuels.
Le paper original génère encore 47 000 citations par an et rapporte environ 2,8 millions de dollars en licensing à Google. Mais son auteur estime que les prochains modèles à 1 trillion de paramètres nécessitent des architectures fondamentalement différentes. Wall Street suit de près : une rupture architecturale pourrait redistribuer 200 milliards de valorisation IA.
