Actualizando el Asistente Agentic RAG de 0$ a Llama 4 Scout 17B MoE

Si has estado chateando con mi asistente de IA recientemente, habrás notado que acaba de recibir una enorme mejora en velocidad y coeficiente intelectual. He actualizado oficialmente el núcleo central de la arquitectura Agentic RAG, pasando de los pesados modelos Gemma 26B y Llama 3 8B al novedoso Llama 4 Scout 17B MoE (Mixture of Experts) en Cloudflare Workers AI.

Aquí tienes un análisis profundo del por qué, el cómo y los resultados de este cambio arquitectónico.

El Problema: El dilema entre "Rápido" e "Inteligente"

En la versión anterior de la arquitectura, me encontraba atrapado en un equilibrio frustrante:

Gemma 26B & Llama 3 70B: Estos modelos densos eran increíblemente inteligentes. Podían navegar sin esfuerzo por complejos bucles ReAct multi-herramienta. Pero eran dolorosamente lentos. Una sola respuesta usando Gemma 26B en el edge solía tardar ~16 segundos. En una interfaz de chat en vivo, 16 segundos de Tiempo Hasta el Primer Byte (TTFB) es un desastre absoluto para la experiencia de usuario (UX).
Llama 3 8B: Para arreglar la latencia, intenté enrutar el tráfico hacia un modelo 8B más pequeño. Era rápido (latencia inferior a 2s), pero sufría graves alucinaciones y llamadas a herramientas con falsos positivos. Por ejemplo, como mi nombre es "Elvis", el modelo 8B a veces alucinaba y afirmaba ser el legendario músico Elvis Presley si el usuario hacía una pregunta complicada, ignorando completamente sus instrucciones de sistema (System Prompt).

Necesitaba una solución que fuera tan rápida como un 8B, pero tan inteligente como un 70B.

La Solución: Llama 4 Scout 17B MoE

Presentamos a @cf/meta/llama-4-scout-17b-16e-instruct.

Esta es una arquitectura Mixture of Experts (MoE) (Mezcla de Expertos) soportada nativamente en Cloudflare Workers AI. A diferencia de los modelos densos que activan todos y cada uno de los parámetros para cada token, los modelos MoE enrutan los tokens hacia subredes "expertas" específicas. Aunque el modelo tiene 17B de parámetros en total (repartidos en 16 expertos), solo activa una fracción de ellos por token.

¿El resultado? La capacidad de razonamiento lógico de un modelo gigante, con el coste computacional y la latencia de uno diminuto.

Flujo de Datos de la Arquitectura

Aquí está el flujo de RAG actualizado:

graph TD
    User([Usuario]) --> UI[Frontend Next.js]
    UI --> Worker[Cloudflare Worker]
    Worker --> Cache{Caché Semántica en D1}
    Cache -- Acierto (Coseno >= 0.93) --> Return[Respuesta en caché instantánea]
    Cache -- Fallo --> Agent[Bucle ReAct Agent]
    
    subgraph Llama 4 Scout 17B MoE
        Agent --> Router[Enrutador MoE]
        Router -.-> E1[Experto 1: Búsqueda]
        Router -.-> E2[Experto 2: Código]
        Router -.-> E3[Experto 3: Lógica]
    end
    
    Agent <--> Vectorize[(Cloudflare Vectorize)]
    Agent <--> Tools[Herramientas: get_site_map, etc.]
    Agent --> Final[Respuesta Final RAG]

Los Resultados

Ejecuté una extensa suite de pruebas automatizadas (vitest-pool-workers) para evaluar la nueva arquitectura.

Tasa de Acierto del 100%: Pasó las 5 pruebas de límite principales.
Cero Alucinaciones: Cuando se le preguntó explícitamente sobre "aplicaciones Android" (que no he desarrollado) o "si soy cantante", el modelo se retractó perfectamente y negó las afirmaciones basándose en el contexto del RAG, en lugar de inventarse cosas.
Latencia inferior a 4s: El bucle ReAct (que incluye embeber el prompt, consultar Vectorize, ejecutar la herramienta y generar la respuesta final) ahora se estabiliza en unos ~3.5 segundos.

Al aprovechar la inferencia edge de Cloudflare y la eficiencia de MoE, este sistema Agentic RAG de nivel empresarial se mantiene completamente dentro de la capa gratuita (coste 0$), a la vez que ofrece una experiencia de usuario premium y sin retrasos.