Kapa.ai réduit le contexte RAG de 89 % et divise la facture LLM par 3,2

Kapa.ai publie son système de pruning de contexte RAG qui réduit le prompt moyen de 28 000 tokens à 3 100 tokens (réduction de 89 %), tout en maintenant la qualité de réponse. Le résultat : la facture Claude API passe de 8,40 dollars à 2,60 dollars par 1 000 requêtes (économie de 69 %).

Kapa.ai construit des agents support client alimentés par RAG pour des entreprises tech (OpenAI, Anthropic, Vercel mentionnés comme références clients). Le problème classique RAG : récupérer trop de chunks documentaires au cas où, ce qui gonfle le prompt et explose le coût d'inférence sans améliorer les réponses.

Les chiffres

Pipeline RAG classique (avant pruning) :

• Requête utilisateur → recherche vectorielle → 15-20 chunks retournés (moyenne 1 400 tokens/chunk)
• Prompt total moyen : 28 000 tokens
• Coût Claude Opus (input 15 $/MTok, output 75 $/MTok) : 8,40 $ par 1 000 requêtes
• Taux de pertinence réel des chunks : 23 % (seulement 3-4 chunks sur 15 sont utilisés dans la réponse)

Pipeline Kapa avec pruning (après) :

• Même recherche vectorielle initiale → 15-20 chunks
• Étape pruning : modèle léger (Llama 3.2 3B, fine-tuné sur relevance scoring) évalue chaque chunk en 120ms
• Chunks retenus : 3-5 en moyenne (réduction 75 %)
• Prompt final moyen : 3 100 tokens (réduction 89 %)
• Coût total (pruning + génération) : 2,60 $ par 1 000 requêtes
• Qualité mesurée (eval humaine) : aucune dégradation, +4 % de précision sur edge cases

Le post HN collecte 61 points et 6 commentaires, avec des demandes de benchmark public.

Le calcul

Pour un agent support client traitant 500 000 requêtes par mois (volume moyen d'une startup B2B SaaS post-Series A), la facture mensuelle RAG :

• Sans pruning : 500 000 × 8,40 $ / 1 000 = 4 200 dollars par mois
• Avec pruning Kapa : 500 000 × 2,60 $ / 1 000 = 1 300 dollars par mois
• Économie : 2 900 dollars par mois, soit 34 800 dollars par an

Coût du pruning lui-même (Llama 3.2 3B hébergé sur Modal/Replicate, estimé 0,20 $ par million tokens input) est négligeable : ~100 dollars par mois pour 500 000 requêtes.

Le gain vient de trois leviers :

1. Réduction input tokens : -89 % de contexte = -89 % de coût input sur le gros modèle (Claude Opus)
2. Réduction latence : moins de tokens = génération 2,3x plus rapide (passé de 4,8s à 2,1s par réponse)
3. Meilleure précision : moins de bruit dans le contexte = moins d'hallucinations factuelles

Ce que ça révèle

Le RAG naïf (on balance tout dans le prompt) était tenable à 2 $/MTok (tarif GPT-3.5 en 2023). À 15 $/MTok (Claude Opus, GPT-4o), il devient insoutenable à l'échelle. Kapa prouve que la vraie optimisation RAG se fait en amont du LLM, pas dans le fine-tuning du modèle de génération.

Comparaison avec les alternatives :

• Compression de prompt (LLMLingua, AutoCompressor) : réduit tokens mais dégrade qualité, économie 40-60 % max
• Reranking pur (Cohere Rerank) : améliore l'ordre mais garde le même nombre de chunks, économie 0 %
• Pruning intelligent Kapa : sélectionne les chunks nécessaires uniquement, économie 69 % sans perte qualité

Le modèle pruning (Llama 3.2 3B fine-tuné) coûte moins de 5 000 dollars à entraîner (dataset de 50 000 paires query-chunk-relevance annotées, 12h GPU H100 sur Lambda Labs). ROI atteint en 1,7 mois pour un volume de 500 000 requêtes/mois.

À surveiller

• Open-sourcing du modèle pruning : Kapa pourrait publier le modèle fine-tuné comme Cohere a fait avec Rerank-3
• Intégration LangChain/LlamaIndex : si pruning devient un composant standard, tous les RAG en production l'adoptent
• Réaction OpenAI/Anthropic : pourraient ajouter pruning natif dans leurs API (comme le caching de prompt lancé en 2025)

L'essentiel

Kapa.ai divise la facture RAG par 3,2 en réduisant le contexte de 89 % (28 000 → 3 100 tokens). Un agent support à 500 000 requêtes/mois économise 34 800 dollars par an. Le pruning se fait via un modèle léger (Llama 3.2 3B) qui coûte 100 $/mois à faire tourner. 61 points HN, demande de benchmark public en cours. Le RAG naïf tout-dans-le-prompt est mort à 15 $/MTok — l'optimisation se fait désormais en amont du LLM.