Intégrer une IA dans votre produit sans exploser les coûts

Tout le monde veut une IA dans son produit. Peu de monde sait la faire tenir en production sans exploser sa marge. Les tokens OpenAI ou Anthropic, à la louche, coûtent entre 1 300 et 16 000 FCFA le million selon le modèle. Un agent qui traite 50 000 à 200 000 conversations/mois peut vous coûter de 150 000 à 3 000 000 FCFA. La différence entre les deux ? L'architecture.

Voici les patterns que nous utilisons en production chez nos clients.

1. Le routage multi-modèles : ne payez pas un Claude Opus pour classifier "oui/non"

L'erreur #1 des intégrations IA naïves : tout passe par le plus gros modèle. En réalité, 80% des requêtes peuvent être servies par un modèle 10 à 50x moins cher.

Notre pattern :

// Routeur IA multi-modèles
async function route(prompt: string, context: Context) {
  const intent = await classify(prompt, "haiku-3.5"); // ~150 FCFA/M tokens

  switch (intent) {
    case "faq":
      return embeddingSearch(prompt); // 0 token, cache hit
    case "reformulate":
    case "translate":
      return call("haiku-3.5", prompt); // rapide, pas cher
    case "complex-reasoning":
      return call("sonnet-4.6", prompt); // moyen
    case "critical-code-gen":
      return call("opus-4.7", prompt); // rare, cher, justifié
  }
}

Sur un projet récent d'assistant SAV, ce seul routage a divisé la facture par 6.

2. Le cache sémantique : répondre sans appeler le LLM

80% des questions que vos utilisateurs posent ressemblent à d'autres questions. Un cache sémantique basé sur des embeddings détecte la similarité et répond depuis le cache :

1. Embed la question utilisateur (text-embedding-3-small, ~12 FCFA/M tokens)
2. Cherche dans Redis (ou Pinecone/pgvector) une question similaire > 0.94
3. Si trouvée, retourne la réponse cachée + "régénère en arrière-plan si nécessaire"

Hit rate typique : 35 à 55%. Sur 200 000 requêtes/mois, c'est 80 000 appels LLM évités.

3. RAG avant tout : ne demandez pas au LLM ce que votre base sait déjà

La Retrieval-Augmented Generation est devenue un standard, mais la plupart des implémentations sont naïves. Nos règles :

• Chunking sémantique, pas à taille fixe. Un document de 3000 tokens doit être découpé en paragraphes cohérents, pas en morceaux de 500 mots.
• Recherche hybride : vectorielle + BM25. Un terme rare (référence produit) doit être retrouvé par son nom exact, pas par similarité sémantique.
• Re-ranking avec Cohere Rerank ou un modèle local : trier les 20 premiers chunks avant d'en garder 5.
• Filtre de métadonnées : si l'utilisateur demande "mes commandes de mars", ne cherchez que dans l'espace filtré "userId + month=3".

Un RAG bien architecturé réduit de 60% les tokens en entrée du LLM par rapport à une approche naïve.

4. Prompt caching : lire moins, payer moins

Anthropic et OpenAI proposent du prompt caching. Si vous envoyez systématiquement 2000 tokens de "system prompt + documentation", vous pouvez les cacher côté fournisseur. Le cache hit coûte typiquement 10% du prix du cache miss.

Règles d'or :

• Stabilisez le préfixe : tout ce qui change (prompt utilisateur, timestamp) va à la FIN.
• TTL de 5 minutes : écrivez un code qui refresh le cache au bon rythme.
• Mesurez le cache hit rate comme un KPI technique. Sous 70%, vous avez un problème.

5. Streaming + early termination : l'utilisateur décide

Le streaming n'est pas qu'une UX — c'est une arme d'économie. Si l'utilisateur lit déjà votre réponse et ferme la fenêtre, vous pouvez interrompre la génération côté LLM et économiser les tokens non consommés.

// Côté serveur (Nuxt 3)
const controller = new AbortController();
event.node.req.on("close", () => controller.abort());

const stream = anthropic.messages.stream({ ... }, { signal: controller.signal });

Gain typique : 12 à 18% des tokens de sortie.

6. Batch : quand la latence importe peu

Si vous traitez des emails, du contenu batch, de l'analyse nocturne — utilisez les APIs batch. OpenAI et Anthropic offrent -50% sur le prix pour des latences de l'ordre de l'heure.

Exemple : un résumé d'emails par utilisateur chaque matin à 7h. Batch la veille à 3h, 2000 résumés, 50% moins cher.

7. L'observabilité : ce qui n'est pas mesuré finit par exploser

Dès le premier jour en production :

• Logs structurés avec tokens in / tokens out / coût estimé par requête
• Alertes Grafana sur dépassement de budget quotidien
• Dashboard par utilisateur / tenant : qui consomme le plus, et est-ce légitime ?
• Replay en staging : garder un échantillon de prompts pour reproduire un bug sans payer

Sur un projet récent, nous avons détecté en 48h un bug de boucle infinie qui consommait 80 000 FCFA/jour en tokens. Sans monitoring, ça passait un mois.

Le vrai coût d'une IA en prod

Pour un produit avec 20 000 utilisateurs actifs mensuels et une fonction IA courante (chat, résumé, classification) :

Un facteur 18 de différence, même produit, même qualité perçue.

Le takeaway

L'IA en production, ce n'est pas un concours de modèles. C'est un concours d'architecture. Les équipes qui gagnent sont celles qui traitent l'IA comme une fonction d'entrée/sortie coûteuse : on minimise les appels, on cache agressivement, on mesure chaque euro.

Nous accompagnons les équipes sur ce sujet depuis 18 mois. Si vous voulez un audit de votre pipeline IA (coût + qualité), on livre un rapport en une semaine.