RAG란 무엇일까?

[AI/LLM] RAG (Retrieval-Augmented Generation) 개념 정리

 

 

LLM의 한계를 극복하기 위한 핵심 기술인 RAG(검색 증강 생성)에 대해 정리한다.

단순히 모델의 파라미터에 의존하는 방식에서 벗어나, 외부 지식을 동적으로 활용하는 메커니즘을 이해하는 것이 중요하다.

 

 

 

1. RAG의 정의 및 필요성

RAG는 생성 모델이 답변을 내놓기 전, 신뢰할 수 있는 외부 데이터 소스에서 관련 정보를 먼저 검색(Retrieval)하고 이를 바탕으로 답변을 생성(Generation)하는 프레임워크다.

 

 

 

왜 필요한가?

• Hallucination(환각) 억제: 학습되지 않은 데이터에 대해 '아는 척'하는 문제를 외부 근거를 통해 해결한다.
• 데이터 휘발성 해결: 모델 재학습(Retraining) 없이도 최신 뉴스나 실시간 데이터를 반영할 수 있다.
• 보안성 유지: 기업 내부 기밀 데이터를 모델에 직접 학습시키지 않고도 인덱싱만으로 활용 가능하다.

 

2. RAG의 동작 프로세스

RAG는 크게 세 단계의 파이프라인으로 구동된다.

1. Retrieval (검색 단계)
   • 사용자의 Query(질문)를 벡터화(Embedding)하여 Vector DB 내의 문서들과 유사도를 비교한다.
   • 질문과 가장 연관성이 높은 상위 K개의 문서 조각(Chunks)을 추출한다.
2. Augmentation (증강 단계)
   • 추출된 문서 조각들을 사용자의 질문과 결합하여 풍부한 Context(문맥)를 생성한다.
   • AI에게 "다음 제공된 정보를 바탕으로 답변하라"는 지시어(Prompt)를 추가한다.
3. Generation (생성 단계)
   • LLM은 오직 제공된 Context 내에서 사실에 기반한 최종 답변을 생성한다.

 

3. 기존 모델의 한계 : Parametric Memory (파라미터 기반 지식)

기존의 LLM은 학습 과정에서 전 세계의 데이터를 머릿속(파라미터)에 집어넣는다. 하지만 이 방식은 두 가지 치명적인 문제가 있다.

• 지식의 유통기한: 학습이 끝나는 순간 그 모델의 지식은 과거에 멈춘다. 어제 일어난 일을 물어보면 답을 못하거나 거짓말을 한다.
• 환각(Hallucination): 모델은 확률적으로 그럴싸한 문장을 생성할 뿐이라, 모르는 내용도 아는 것처럼 지어낸다.

 

4. RAG의 등장: Non-parametric Memory (외부 지식 활용)

RAG는 모델의 머릿속 지식을 믿는 대신, 실시간으로 외부 DB에서 정보를 찾아와서 그걸 토대로 답변을 만든다.

 

5. 왜 지금인가? (The "Why Now")

기존에도 검색 엔진은 있었지만, 왜 이제 와서 RAG가 대세가 되었을까?

• Vector DB 기술의 성숙: 과거의 검색은 키워드(단어) 매칭 수준이었다. 하지만 지금은 문장의 '의미'를 숫자로 변환(Embedding)해 유사도를 비교하는 기술이 고도화되어, 질문의 의도를 정확히 파악한 검색이 가능해졌다.
• Context Window의 확장: 최근 모델들은 한 번에 읽을 수 있는 텍스트 양(Context)이 비약적으로 늘어났다. 검색해 온 방대한 자료를 AI가 한꺼번에 소화할 수 있게 된 것이다.
• 엔터프라이즈 수요: 기업들은 챗GPT가 똑똑한 건 알지만, "우리 회사 매뉴얼"이나 "어제 체결된 계약서" 기반으로 답해주길 원한다. 이를 구현하는 유일하고 합리적인 방법이 RAG다.

 

 

6. MCP와의 시너지

앞서 다룬 MCP(Model Context Protocol)는 이 RAG 시스템을 구축할 때 데이터 커넥터 역할을 수행한다.

• RAG가 '무엇을 찾아서 어떻게 답할 것인가'에 대한 논리적 아키텍처라면,
• MCP는 로컬 파일, GitHub, Slack 등 다양한 소스에 있는 데이터를 RAG 파이프라인으로 끌어오는 표준 규격이다.
• MCP를 도입하면 각기 다른 데이터 소스마다 별도의 API 코드를 짤 필요 없이 규격화된 방식으로 RAG를 구현할 수 있다.

 

7. 핵심 요약

• 학습 기반(Parametric) 지식의 한계를 외부(Non-parametric) 지식으로 보완한다.
• Vector DB와 Embedding 기술이 성능의 핵심 지표가 된다.
• 정확도가 생명인 도메인(의료, 법률, 엔지니어링)에서는 선택이 아닌 필수 기술이다.