온라인 쇼핑몰이나 동네 작은 식당을 운영하다 보면 매일 똑같은 고객 문의에 시달리게 된다. 주차장 위치, 환불 규정, 제품의 상세한 사용법 등 반복되는 질문에 일일이 대답하는 것은 엄청난 시간과 감정을 소모하는 일이다.

최근 유행하는 인공지능 챗봇을 도입하고 싶어도 기존의 언어 모델은 우리 가게만의 고유한 규칙을 알지 못해 엉뚱한 대답을 내놓는 경우가 많아 섣불리 적용하기 어려웠다.

이러한 문제를 완벽하게 해결해 주는 실무 인공지능 기술이 바로 검색 증강 생성, 줄여서 RAG 기술이다. 일반적인 대규모 언어 모델이 자신이 학습한 방대한 인터넷 지식에만 의존해 답변을 만들어내다 보니 거짓말을 지어내는 환각 현상이 발생한다. 하지만 RAG 기술은 인공지능에게 우리 가게의 매뉴얼을 쥐여주고 오픈북 테스트를 치르게 하는 것과 같다.

작동 원리는 간단하다. 사장님이 우리 가게의 환불 규정, 메뉴 설명서, 주차 안내문 등이 적힌 문서를 인공지능 시스템에 미리 업로드해 둔다. 이후 고객이 질문을 하면 인공지능은 무작정 대답을 지어내는 것이 아니라 업로드된 문서 더미에서 질문과 가장 관련 있는 내용을 먼저 검색해서 찾는다.

그리고 찾아낸 정확한 매뉴얼 내용을 바탕으로 고객이 이해하기 쉽게 자연스러운 문장으로 답변을 생성해 낸다. 만약 문서에 없는 내용을 물어보면 모른다고 솔직하게 대답하도록 설정할 수도 있다.

이 기술을 활용하면 복잡한 코딩이나 거창한 시스템 구축 없이도 우리 가게의 모든 규정을 토씨 하나 틀리지 않고 외우는 똑똑한 챗봇을 만들 수 있다. 새벽 시간에 들어오는 까다로운 문의도 사장님을 대신해 완벽하게 응대해 준다. 범용적인 인공지능이 RAG 기술을 만나 골목 상권 사장님들의 가장 든든하고 똑똑한 디지털 알바생으로 진화하고 있는 것이다.

[※ 칼럼의 그림 및 도표는 AI 활용하여 작성됨]