Elvis Li
Back to all posts
Engineering

$0 비용의 Agentic RAG 어시스턴트를 Llama 4 Scout 17B MoE로 업그레이드하기

#cloudflare-workers#rag#ai-agents#llama4#moe

최근 제 AI 어시스턴트와 채팅을 해보셨다면, 속도와 IQ가 엄청나게 향상되었다는 것을 눈치채셨을 것입니다. Agentic RAG 아키텍처의 핵심 두뇌를 무거운 Gemma 26B 및 Llama 3 8B 모델에서 Cloudflare Workers AI의 새로운 Llama 4 Scout 17B MoE (Mixture of Experts) 모델로 공식 업그레이드했습니다.

이 아키텍처 전환의 이유, 방법 및 결과에 대해 자세히 알아보겠습니다.

문제점: "속도" vs "스마트함"의 딜레마

이전 아키텍처 버전에서는 답답한 트레이드오프에 갇혀 있었습니다.

  1. Gemma 26B 및 Llama 3 70B: 이 밀집(Dense) 모델들은 놀라울 정도로 똑똑했습니다. 복잡한 다중 도구 ReAct 루프를 쉽게 탐색할 수 있었습니다. 하지만 너무 느렸습니다. 엣지에서 Gemma 26B를 사용한 단일 응답에는 종종 약 16초가 걸렸습니다. 라이브 채팅 UI에서 16초의 TTFB(Time-To-First-Byte)는 사용자 경험 측면에서 최악입니다.
  2. Llama 3 8B: 대기 시간을 해결하기 위해 더 작은 8B 모델로 트래픽을 라우팅해 보았습니다. 속도는 빨랐지만(2초 미만), 심각한 환각(Hallucination)과 잘못된 도구 호출(False Positive) 문제가 발생했습니다. 예를 들어 제 이름이 "Elvis"이기 때문에 사용자가 까다로운 질문을 하면 8B 모델은 시스템 프롬프트를 완전히 무시하고 전설적인 뮤지션인 엘비스 프레슬리(Elvis Presley) 라고 주장하며 환각 증세를 보이기도 했습니다.

저는 8B 모델만큼 빠르면서도 70B 모델만큼 똑똑한 솔루션이 필요했습니다.

솔루션: Llama 4 Scout 17B MoE

@cf/meta/llama-4-scout-17b-16e-instruct 의 등장입니다.

이 모델은 Cloudflare Workers AI에서 기본적으로 지원하는 Mixture of Experts (MoE) 아키텍처입니다. 모든 토큰에 대해 모든 단일 매개변수를 활성화하는 밀집 모델과 달리, MoE 모델은 특정 "전문가(Expert)" 하위 네트워크로 토큰을 라우팅합니다. 이 모델은 총 17B 개의 매개변수(16개의 전문가 네트워크에 분산됨)를 가지고 있지만, 각 토큰당 그중 일부만 활성화합니다.

그 결과는 어떨까요? 작은 모델의 계산 비용과 대기 시간으로 거대한 모델의 논리적 추론 기능을 얻을 수 있습니다.

아키텍처 데이터 흐름

업데이트된 RAG 흐름은 다음과 같습니다.

graph TD
    User([사용자]) --> UI[Next.js 프론트엔드]
    UI --> Worker[Cloudflare Worker]
    Worker --> Cache{D1의 시맨틱 캐시}
    Cache -- 적중 (코사인 유사도 >= 0.93) --> Return[캐시된 즉시 응답]
    Cache -- 실패 --> Agent[ReAct 에이전트 루프]
    
    subgraph Llama 4 Scout 17B MoE
        Agent --> Router[MoE 라우터]
        Router -.-> E1[전문가 1: 검색]
        Router -.-> E2[전문가 2: 코드]
        Router -.-> E3[전문가 3: 논리]
    end
    
    Agent <--> Vectorize[(Cloudflare Vectorize)]
    Agent <--> Tools[도구: get_site_map 등]
    Agent --> Final[최종 RAG 응답]

결과

새로운 아키텍처를 벤치마킹하기 위해 광범위한 자동화된 테스트 제품군(vitest-pool-workers)을 실행했습니다.

  • 100% 통과율: 5개의 핵심 경계 테스트를 모두 통과했습니다.
  • 제로 환각: (제가 만든 적이 없는) "안드로이드 앱"이나 "제가 가수인지"에 대해 명시적으로 질문했을 때, 모델은 이야기를 지어내는 대신 RAG 컨텍스트를 기반으로 뒤로 물러나 주장을 완벽하게 부인했습니다.
  • 4초 미만의 대기 시간: ReAct 루프(프롬프트 임베딩, Vectorize 쿼리, 도구 실행 및 최종 응답 생성 포함)는 현재 약 3.5초에서 안정화되었습니다.

Cloudflare의 엣지 추론 및 MoE의 효율성을 활용함으로써, 이 엔터프라이즈급 Agentic RAG 시스템은 지연 없는 프리미엄 사용자 경험을 제공하면서 전체적으로 무료 계층($0 비용) 내에 유지됩니다.