RAG 답변에 출처가 있어도 확인해야 할 세 가지
내 문서로 답한 AI가 출처까지 달았는데도 틀리는 이유를 쉽게 설명합니다. 짧은 장비 대여 규정과 질문 5개로 근거 문장, 빠진 조건, 자료에 없는 내용을 확인하는 RAG 입문 실습을 따라해 보세요.
AI가 “카메라는 최대 3일 빌릴 수 있으니 승인 없이 외부로 가져가도 됩니다”라고 답했습니다. 옆에는 회사 규정의 출처 번호도 붙어 있습니다. 그런데 원문을 열어 보니 “외부 반출에는 사전 승인이 필요하다”는 문장이 나옵니다.
출처가 있다는 사실만으로 답변의 모든 내용이 뒷받침되지는 않습니다. 어떤 문서를 찾았는지, 조건을 빠뜨리지 않았는지, 문서에 없는 내용을 덧붙이지 않았는지를 함께 확인해야 합니다.
아래의 규정·회의 메모·답변은 이 확인 방법을 연습하기 위해 만든 가상 예시입니다. 짧은 문서 두 개만으로도 자료 기반 AI 답변을 읽는 요령을 익힐 수 있습니다.
RAG는 문서를 찾고 그 내용을 읽어 답하는 방식입니다
RAG는 Retrieval-Augmented Generation의 줄임말로, 보통 검색 증강 생성이라고 부릅니다. 질문과 관련된 자료를 먼저 찾고, AI가 그 자료를 참고해 답을 작성하는 구조입니다.
장비 담당자에게 질문한다고 생각해 보세요. 담당자가 관련 규정을 찾는 일과, 그 규정을 읽어 설명하는 일은 구분됩니다. 맞는 규정을 찾고도 예외를 빼고 설명할 수 있습니다. AI도 검색과 답변을 따로 살펴야 하는 이유입니다. Microsoft의 RAG 평가 설명
문서가 어떻게 검색되는지부터 알고 싶다면 RAG의 구조와 검색 품질 점검법을 함께 읽어보세요. 여기서는 독자가 받은 답변을 직접 확인하는 데 집중합니다.
그림 1. Google이 2024년에 공개한 NotebookLM 기능 예시입니다. 오른쪽 아래는 인용 번호를 확인하는 모습을 표현합니다. 실제 실습 결과가 아닌 공식 설명용 이미지이며, 게시 당시 화면입니다. 원본 WebP를 같은 크기의 PNG로 변환했습니다. 공식 원문 · 원본 확대
첫째 질문에 맞는 문서와 문장을 찾았는지 봅니다
인용 번호를 누르면 문서가 열리는지 확인하세요. 이어서 그 문서의 어느 문장이 답변을 뒷받침하는지 찾습니다. 긴 문서의 첫 페이지로 연결되는 링크만으로는 해당 주장까지 확인한 것이 아닙니다.
이때 문서 제목뿐 아니라 대상과 상태도 봅니다. 카메라 규정인지 노트북 규정인지, 확정된 안내인지 회의에서 나온 제안인지가 중요합니다. 질문과 단어가 비슷한 자료가 항상 적용할 규정은 아닙니다.
Google의 현재 Gemini Notebook 도움말은 인용에 마우스를 올리면 인용문을 보고, 인용을 선택하면 해당 부분으로 이동해 주변 맥락을 확인할 수 있다고 안내합니다. 도구마다 화면은 달라도 확인할 대상은 같습니다. 공식 인용 확인 안내
둘째 허용 조건과 예외를 함께 읽습니다
숫자 하나가 일치해도 답변 전체가 맞는 것은 아닙니다. “최대 3일 대여”와 “외부 반출 승인 필요”는 동시에 적용할 수 있는 조건입니다. 첫 문장만 인용해 두 번째 조건을 없애면 독자의 행동이 달라집니다.
| 답변에서 확인할 표현 | 원문과 대조할 내용 |
|---|---|
| 누구나 사용할 수 있습니다 | 적용 대상이나 자격 제한이 있는가 |
| 3일 동안 가능합니다 | 최대 기간인지, 기본 기간인지, 연장 조건이 있는가 |
| 승인 없이 가능합니다 | 사전 승인·담당자 확인이 따로 필요한가 |
| 반드시 이렇게 해야 합니다 | 원문이 의무인지, 권고인지, 검토 중인 제안인지 |
Microsoft는 답변이 주어진 자료에 부합하는지 보는 근거 일치와, 기대하는 핵심 정보를 빠뜨리지 않았는지 보는 완전성을 구분합니다. 독자도 답변의 각 문장을 원문에 대조한 뒤, 빠진 조건이 없는지 한 번 더 살펴볼 수 있습니다. 근거 일치와 답변 완전성
셋째 문서가 말하지 않은 내용을 채워 넣었는지 확인합니다
규정에 대여 요금이 없다면 “무료입니다”라고 답할 근거가 없습니다. 연장은 승인받아야 한다고만 쓰여 있다면, “3일 더 연장할 수 있습니다”라는 숫자도 원문에서 나온 것이 아닙니다.
자료에서 확인할 수 없다는 답이 필요한 질문도 있습니다. 이때는 어느 정보가 빠졌는지, 누구에게 확인하면 되는지를 알려주는 답변이 유용합니다.
근거 일치는 제공한 자료와 답변의 관계를 보는 기준입니다. 자료 자체가 잘못됐거나 적용 대상이 다르면, 그 자료에 충실한 답도 실제 업무에는 맞지 않을 수 있습니다. 그래서 원문 선택과 문서의 신뢰성 확인을 함께 해야 합니다. Microsoft의 근거 자료와 출력 일치 설명
그림 2. Google 공식 도움말의 인용 확인 안내 부분을 캡처했습니다. 계정 영역과 탐색 메뉴를 제외한 문서 발췌이며, 문구는 바꾸지 않았습니다. 작은 글자는 원본을 열어 확대할 수 있습니다. 공식 도움말 · 원본 확대
실습 문서 A로 조건을 빠뜨리는 답변을 찾아봅니다
먼저 아래 내용을 하나의 문서로 준비하세요. 자료와 인용문을 함께 볼 수 있는 도구를 사용하면 별도의 RAG 서버를 만들지 않고도 연습할 수 있습니다. Google Gemini Notebook을 사용한다면 새 노트에 자료를 추가하고, 답변에 사용할 소스로 문서 A만 선택합니다.
도구의 파일 추가 기능이나 텍스트 입력 기능을 사용할 수 있습니다. 실제 사내 문서 대신 아래 가상 자료로 시작하면 정답을 직접 확인하기 쉽습니다.
[연습 문서 A] 촬영 장비 대여 안내
문서 ID: EQUIP-A
상태: 확정 안내
시행일: 2026-10-01
1. 카메라는 내부 구성원에게 최대 3일 대여합니다.
2. 카메라를 외부로 반출하려면 팀장의 사전 승인이 필요합니다.
3. 대여 기간 연장은 예약 현황을 확인한 뒤 장비 담당자가 승인합니다.그다음 다음과 같이 요청합니다.
선택한 연습 문서만 근거로 다음 질문에 답하세요.
외부 촬영을 위해 카메라를 3일 빌릴 수 있나요?
- 결론과 적용 조건을 두 문장 이내로 알려주세요.
- 각 결론을 뒷받침하는 문서명과 해당 문장을 함께 표시하세요.
- 자료에 없는 내용은 "자료에서 확인할 수 없음"으로 구분하세요.
- 빈 정보를 외부 검색이나 일반적인 관행으로 채우지 마세요.확인할 답변은 “내부 구성원은 최대 3일 대여할 수 있지만, 외부 반출에는 팀장의 사전 승인이 필요하다”는 내용입니다. 대여 가능 기간과 외부 반출 조건이 함께 있어야 합니다.
아래는 같은 자료를 읽었을 때 비교할 수 있는 가상 답변입니다.
| 가상 답변 | 판단 이유 |
|---|---|
| 내부 구성원은 최대 3일 대여할 수 있으며 외부 반출에는 팀장의 사전 승인이 필요합니다 | A의 1번과 2번 조건을 함께 반영 |
| 최대 3일까지는 승인 없이 외부 촬영에 사용할 수 있습니다 | 대여 기간을 외부 반출 승인 면제로 바꿈 |
| 내부 구성원에게 최대 3일 대여합니다 | 기간은 맞지만 질문에 필요한 외부 반출 조건이 빠짐 |
한 번에 긴 답변 전체를 채점하기보다, 독자의 행동을 바꾸는 문장부터 확인하세요. 이 예에서는 “승인 없이”가 먼저 볼 부분입니다.
질문 다섯 개로 같은 자료를 다르게 확인합니다
문서 A를 선택한 상태에서 아래 질문을 하나씩 해보세요. 표의 확인 기준은 이 연습 자료에 대한 기준이며, 특정 제품의 측정 결과는 아닙니다.
| 질문 | 확인할 답변 |
|---|---|
| 카메라는 최대 며칠 빌릴 수 있나요 | 내부 구성원 대상이며 최대 3일이라는 내용 |
| 카메라를 외부 촬영에 가져가도 되나요 | 팀장의 사전 승인이 필요하다는 조건 |
| 반납이 늦어질 것 같으면 자동으로 연장되나요 | 예약 현황 확인과 장비 담당자의 승인이 필요하다는 내용 |
| 대여 요금은 얼마인가요 | 자료에서 요금을 확인할 수 없다는 답변 |
| 연장하면 최대 며칠까지 쓸 수 있나요 | 연장 후 최대 기간은 자료에 없다는 답변 |
비슷한 질문을 표현만 바꾸어도 확인해 보세요. “밖에서 촬영하려고 합니다”와 “외부로 반출해도 되나요”가 같은 조건을 찾아야 합니다. 답변 길이보다 핵심 조건이 유지되는지를 봅니다.
짧은 문서를 채팅에 직접 붙여 넣는 방식은 자료를 읽고 답하는 단계를 연습하는 데 유용합니다. 직접 구축한 RAG를 점검한다면 실제 검색 결과도 따로 저장하고, 필요한 조항이 그 안에 들어왔는지 확인해야 합니다. 문서를 통째로 전달한 연습만으로 검색 단계까지 검증되지는 않습니다.
문서 B를 추가해 제안과 확정 규정을 구분합니다
이번에는 다음 회의 메모를 별도 문서로 추가합니다. 답변에 사용할 자료는 A와 B 두 개로 선택하세요.
[연습 문서 B] 장비 예약 시스템 개선 회의 메모
문서 ID: EQUIP-B
작성일: 2026-10-26
상태: 검토 메모
외부 촬영이 잦아 승인 절차가 번거롭다는 의견이 나왔습니다.
카메라 외부 반출의 팀장 승인 절차를 없애자는 제안이 있었습니다.
이 제안의 최종 결정과 시행일은 정해지지 않았습니다.“회의 메모가 더 최근인데, 이제는 팀장 승인 없이 가져가도 되나요?”라고 질문해 보세요.
이 자료에서는 승인 절차를 없애자는 제안이 확정되지 않았습니다. 확인할 답변은 “B는 검토 메모이므로 승인 절차 폐지로 볼 수 없고, 확정 안내인 A에는 사전 승인 조건이 있다”는 내용입니다.
작성일이 더 최근이라는 사실만으로 공식 규정을 대체하지는 않습니다. 규정·회의 메모·개인 의견을 한 공간에 넣는다면, 문서명과 상태가 검색 결과에도 남도록 관리하세요. 바뀐 규정과 이전 자료를 다루는 방법은 RAG 문서 갱신 실전에서 이어 볼 수 있습니다.
틀렸을 때 먼저 고칠 곳을 구분합니다
| 확인한 문제 | 먼저 할 일 |
|---|---|
| 카메라 질문에 다른 장비 문서를 찾음 | 선택한 자료 범위와 실제 검색 결과 확인 |
| 원문에서 승인 문장이 사라짐 | 추출된 텍스트와 문서 분할 경계 확인 |
| 승인 문장을 받았는데 답변에서 빼버림 | 답변의 조건 누락을 재현하고 자료 사용 지시와 답변 구성을 점검 |
| 요금이 없는데 무료라고 답함 | 자료에 없는 질문의 응답 기준과 추가 확인 경로 점검 |
| 회의의 제안을 확정 규정으로 안내함 | 문서의 상태·승인 여부와 적용 기준을 함께 전달 |
문서를 크게 나누거나 검색 결과를 많이 가져오는 것만으로 모두 해결되지는 않습니다. 원문 추출과 경계가 문제라면 RAG 청킹 실전을 참고하고, 정답 조항을 이미 받았다면 그 조항을 어떻게 답변에 반영했는지 확인하세요.
다음 답변부터 한 문장과 원문을 나란히 놓습니다
매번 답변 전체를 오래 검토할 필요는 없습니다. 우선 기간·요금·허용 여부처럼 다음 행동에 영향을 주는 문장을 고르세요. 인용을 열고 해당 문장과 주변의 조건을 나란히 확인합니다.
질문:
확인할 답변 문장:
원문 문서명과 위치:
이 문장을 뒷받침하는 원문:
빠진 조건 또는 자료에 없는 내용:
판단: 사용 가능 / 조건 보완 / 답변 보류같은 유형의 오류가 반복되면 이 기록을 테스트 질문으로 남기세요. 다음에 자료나 프롬프트를 바꿨을 때 다시 확인할 기준이 됩니다. 점수를 더 세밀하게 관리하려면 AI 평가 실전 가이드로 이어갈 수 있습니다.
자주 묻는 질문
Q1. 출처 번호가 여러 개면 더 믿을 수 있나요?
번호의 개수보다 각 주장이 실제로 뒷받침되는지가 중요합니다. 같은 내용을 반복한 문서 여러 개가 핵심 조건 하나를 빠뜨린 문제를 해결해 주지는 않습니다.
Q2. 자료에서 확인할 수 없다는 답은 실패인가요?
자료에 답이 없다면 필요한 반응입니다. 어떤 정보가 부족한지 알려주고 담당자나 적용 문서를 확인하도록 돕는 답변인지 살펴보세요.
Q3. 이 연습을 하려면 벡터 데이터베이스를 설치해야 하나요?
자료를 읽고 답하는 단계를 이해하는 데는 필요하지 않습니다. 자료와 인용을 함께 볼 수 있는 도구나 짧은 문서 입력으로 시작할 수 있습니다. 직접 구축한 RAG의 검색 성능을 확인하려면 별도로 검색 결과를 검사해야 합니다.
Q4. 다른 AI에게 답변을 채점시키면 사람 확인은 생략해도 되나요?
자동 평가는 많은 답변에서 문제 후보를 추리는 데 활용할 수 있습니다. 평가 모델도 원문이나 조건을 잘못 읽을 수 있으므로, 기준이 되는 질문과 기대 답변을 사람이 정하고 중요한 사례를 원문과 대조해야 합니다.
공식 자료와 확인 기준일
확인 기준일: 2026-10-26 · 기능 위치와 제품 명칭은 바뀔 수 있습니다. 실습은 선택한 자료와 답변을 대조하는 방법을 다루며, 위의 질문표는 이 글의 가상 문서를 기준으로 작성했습니다.
- Microsoft Foundry — RAG 평가 기준: 검색 품질, 근거 일치, 관련성, 답변 완전성의 구분.
- Microsoft — Groundedness detection: 제공한 근거 자료와 출력 내용의 일치.
- Google — Gemini Notebook 채팅과 인용 사용법: 자료 선택, 인용문과 주변 맥락 확인.
- Google — NotebookLM 입문 팁: 2024년 공식 기능 예시 이미지와 출처 연결 설명.