RAG는 회사 문서를 찾아 답의 근거로 붙이는 방식입니다. 고객 지원, 사내 위키, 제품 매뉴얼에 많이 붙습니다. 데모는 쉽습니다. 운영에서 문제가 되는 것은 오래된 문서, 서로 다른 버전의 정책, 그리고 근거가 없을 때도 유창하게 말하는 모델입니다.
파이랩이 넣기 전에 요구하는 최소 조건이 있습니다. 문서에 수정일과 적용 범위가 있을 것. 답변 옆에 출처가 보일 것. 근거 점수가 낮으면 답하지 말고 사람이나 문의 양식으로 보낼 것. 이 세 가지가 없으면 검색이 아니라 추측입니다.
색인은 한 번 만들고 끝나지 않습니다. 정책이 바뀌면 옛 문단이 새 문단보다 위에 남을 수 있습니다. 그래서 삭제와 재색인을 배포 절차에 넣습니다. 평가 질문 스무 개 정도를 고정해 두고, 문서가 바뀔 때마다 같은 질문을 다시 던집니다.
고객에게 보이는 문장에는 모델이 단정하지 못하게 톤을 제한하는 편이 안전합니다. 절차는 문서 문장을 따르고, 문서에 없는 예외는 만들지 않습니다. RAG의 가치는 창작이 아니라 정확한 문단을 빨리 찾는 데 있습니다.
