Les Transformers n'ont peut-être besoin que de 2 projections au lieu de 3
Étude arXiv : les Transformers pourraient fonctionner avec 2 projections au lieu de 3. Économies d'entraînement de 33%.
Une étude systématique remet en question l'architecture QKV des Transformers. Éliminer Query ou Key réduirait les coûts d'entraînement de 33% sans perte de performance.
Cette découverte pourrait révolutionner l'économie des LLMs. OpenAI et Anthropic pourraient diviser par 3 leurs factures GPU en réarchitecturant leurs modèles futurs.
