Elvis Li
Back to all posts
Engineering

$0 コストの Agentic RAG アシスタントを Llama 4 Scout 17B MoE にアップグレード

#cloudflare-workers#rag#ai-agents#llama4#moe

最近私の AI アシスタントとチャットした方は、そのスピードと IQ が大幅に向上したことに気づいたかもしれません。Agentic RAG アーキテクチャのコアブレインを、重い Gemma 26B と Llama 3 8B モデルから、Cloudflare Workers AI 上の最新の Llama 4 Scout 17B MoE (Mixture of Experts) に正式にアップグレードしました。

ここでは、このアーキテクチャ変更の理由、方法、そして結果について深く掘り下げます。

問題：「速さ」対「賢さ」のジレンマ

以前のアーキテクチャでは、もどかしいトレードオフに陥っていました。

  1. Gemma 26B と Llama 3 70B: これらの密（Dense）モデルは信じられないほど賢く、複雑なマルチツール ReAct ループを簡単に操作できました。しかし、とにかく遅かったのです。エッジで Gemma 26B を使用した1回の応答には、多くの場合 約16秒 かかりました。ライブチャット UI において、TTFB（最初のバイトまでの時間）が16秒というのは UX にとって最悪です。
  2. Llama 3 8B: レイテンシを解決するため、より小さな 8B モデルにトラフィックをルーティングしてみました。高速（2秒未満のレイテンシ）でしたが、深刻なハルシネーション（幻覚）とツール呼び出しの誤検知に悩まされました。たとえば、私の名前が「Elvis」であるため、ユーザーが意地悪な質問をした場合、8B モデルはシステムプロンプトを完全に無視して、伝説のミュージシャン エルヴィス・プレスリー (Elvis Presley) であると主張することがありました。

8B モデルのように高速で、なおかつ 70B モデルのように賢いソリューションが必要でした。

解決策：Llama 4 Scout 17B MoE

そこで @cf/meta/llama-4-scout-17b-16e-instruct の登場です。

これは Cloudflare Workers AI でネイティブにサポートされている Mixture of Experts (MoE) アーキテクチャです。各トークンに対してすべてのパラメーターをアクティブにする密モデルとは異なり、MoE モデルはトークンを特定の「エキスパート」サブネットワークにルーティングします。モデルの合計パラメーターは 17B（16 個のエキスパートに分散）ですが、トークンごとにアクティブになるのはその一部だけです。

その結果、巨大モデルの論理的推論能力を、極小モデルの計算コストとレイテンシで実現できます。

アーキテクチャのデータフロー

更新された RAG フローは次のとおりです。

graph TD
    User([ユーザー]) --> UI[Next.js フロントエンド]
    UI --> Worker[Cloudflare Worker]
    Worker --> Cache{D1 のセマンティックキャッシュ}
    Cache -- ヒット (コサイン類似度 >= 0.93) --> Return[キャッシュされた即時応答]
    Cache -- ミス --> Agent[ReAct エージェントループ]
    
    subgraph Llama 4 Scout 17B MoE
        Agent --> Router[MoE ルーター]
        Router -.-> E1[エキスパート 1: 検索]
        Router -.-> E2[エキスパート 2: コード]
        Router -.-> E3[エキスパート 3: 論理]
    end
    
    Agent <--> Vectorize[(Cloudflare Vectorize)]
    Agent <--> Tools[ツール: get_site_map など]
    Agent --> Final[最終的な RAG 応答]

結果

新しいアーキテクチャのベンチマークを行うために、広範な自動テストスイート (vitest-pool-workers) を実行しました。

  • 合格率 100%: 5つの主要な境界テストにすべて合格しました。
  • ゼロハルシネーション: （私が構築していない）「Android アプリ」や「私が歌手かどうか」について明示的に尋ねられた場合、モデルはでっち上げるのではなく、RAG のコンテキストに基づいて完璧に後退し、主張を否定しました。
  • 4秒未満のレイテンシ: ReAct ループ（プロンプトの埋め込み、Vectorize のクエリ、ツールの実行、最終応答の生成を含む）は、現在 約3.5秒 で安定しています。

Cloudflare のエッジ推論と MoE の効率性を活用することで、このエンタープライズグレードの Agentic RAG システムは完全に無料枠（$0 コスト）内に収まりながら、タイムラグのないプレミアムなユーザーエクスペリエンスを提供しています。