Mise à niveau de l'Assistant Agentic RAG à 0$ vers Llama 4 Scout 17B MoE

Si vous avez discuté avec mon assistant IA récemment, vous avez peut-être remarqué qu'il vient de recevoir une énorme amélioration de sa vitesse et de son intelligence. J'ai officiellement mis à niveau le cerveau principal de l'architecture Agentic RAG, passant des lourds modèles Gemma 26B et Llama 3 8B au tout nouveau Llama 4 Scout 17B MoE (Mixture of Experts) sur Cloudflare Workers AI.

Voici une analyse détaillée du pourquoi, du comment, et des résultats de ce changement architectural.

Le Problème : Le dilemme "Rapide" vs "Intelligent"

Dans la version précédente de l'architecture, j'étais pris dans un compromis frustrant :

Gemma 26B & Llama 3 70B : Ces modèles denses étaient incroyablement intelligents. Ils pouvaient naviguer sans effort dans des boucles ReAct complexes multi-outils. Mais ils étaient douloureusement lents. Une seule réponse utilisant Gemma 26B sur le edge prenait souvent ~16 secondes. Dans une interface de chat en direct, un délai de 16 secondes (TTFB) est un désastre absolu pour l'expérience utilisateur.
Llama 3 8B : Pour corriger la latence, j'ai essayé de rediriger le trafic vers un modèle 8B plus petit. Il était rapide (latence < 2s), mais souffrait de graves hallucinations et de faux positifs dans l'appel des outils. Par exemple, comme mon prénom est "Elvis", le modèle 8B hallucinait parfois et prétendait être le légendaire musicien Elvis Presley si l'utilisateur posait une question piège, ignorant complètement ses instructions système (System Prompt).

J'avais besoin d'une solution qui soit aussi rapide qu'un 8B, mais aussi intelligente qu'un 70B.

La Solution : Llama 4 Scout 17B MoE

Découvrez @cf/meta/llama-4-scout-17b-16e-instruct.

Il s'agit d'une architecture Mixture of Experts (MoE) supportée nativement sur Cloudflare Workers AI. Contrairement aux modèles denses qui activent chaque paramètre pour chaque token, les modèles MoE dirigent les tokens vers des sous-réseaux "experts" spécifiques. Bien que le modèle ait 17B de paramètres au total (répartis sur 16 experts), il n'en active qu'une fraction par token.

Le résultat ? La capacité de raisonnement logique d'un modèle massif, avec le coût de calcul et la latence d'un modèle minuscule.

Flux de Données de l'Architecture

Voici le flux RAG mis à jour :

graph TD
    User([Utilisateur]) --> UI[Frontend Next.js]
    UI --> Worker[Cloudflare Worker]
    Worker --> Cache{Cache Sémantique dans D1}
    Cache -- Succès (Cosinus >= 0.93) --> Return[Réponse en cache instantanée]
    Cache -- Échec --> Agent[Boucle ReAct Agent]
    
    subgraph Llama 4 Scout 17B MoE
        Agent --> Router[Routeur MoE]
        Router -.-> E1[Expert 1: Recherche]
        Router -.-> E2[Expert 2: Code]
        Router -.-> E3[Expert 3: Logique]
    end
    
    Agent <--> Vectorize[(Cloudflare Vectorize)]
    Agent <--> Tools[Outils: get_site_map, etc.]
    Agent --> Final[Réponse Finale RAG]

Les Résultats

J'ai exécuté une suite de tests automatisés exhaustive (vitest-pool-workers) pour évaluer la nouvelle architecture.

Taux de réussite de 100% : A passé les 5 tests limites de base.
Zéro Hallucination : Lorsqu'on lui a explicitement posé des questions sur des "applications Android" (que je n'ai pas créées) ou "si je suis un chanteur", le modèle s'est parfaitement rétracté et a nié ces affirmations en se basant sur le contexte du RAG, plutôt que d'inventer des choses.
Latence inférieure à 4s : La boucle ReAct (qui inclut l'intégration du prompt, la requête Vectorize, l'exécution de l'outil et la génération de la réponse finale) se stabilise désormais à ~3.5 secondes.

En exploitant l'inférence edge de Cloudflare et l'efficacité du MoE, ce système Agentic RAG de niveau entreprise reste entièrement dans l'offre gratuite (coût 0$), tout en offrant une expérience utilisateur premium et sans décalage.