챗GPT 거짓말 막으려고 출처를 달라고 하면 답은 얼마나 달라질까
챗GPT가 알려 준 논문 제목을 학술 검색창에 그대로 넣었는데 한 건도 나오지 않았다면, 그 논문은 어디서 온 걸까. 저자 이름도 그럴듯하고 발표 연도까지 붙어 있었는데 세상에는 없는 논문이었던 경우입니다. 흔히 챗GPT 거짓말이라고 부르는 이 현상을 두고 가장 많이 나오는 조언이 "출처를 달라고 하라"입니다.
그런데 출처를 달라는 말도 어떻게 붙이느냐에 따라 돌아오는 답의 모양이 꽤 다릅니다. 아라레는 OpenAI와 Anthropic이 공개한 문서에서 환각을 줄이는 요청 문장을 찾아 세 가지 한 줄로 추렸고, 같은 질문 하나에 그 한 줄을 하나씩 붙였을 때 무엇이 바뀌고 무엇이 그대로인지 전후로 나눠 봤습니다.
1. 출처 없이 물으면 챗GPT는 왜 그럴듯하게 채워 넣을까
비교의 기준이 될 질문은 하나로 고정합니다. 「AI 환각을 다룬 한국어 논문 세 편을 제목, 저자, 발표 연도와 함께 알려줘.」 목록을 요구하면서 이름과 연도처럼 딱 떨어지는 값을 여러 개 묻는 질문이라, 모델이 모르는 칸을 그럴듯하게 채우기 쉬운 모양입니다.
아무 조건 없이 보내면 대개 세 줄짜리 깔끔한 목록이 돌아옵니다. 문제는 그 목록이 모두 같은 말투로 적혀 있다는 점입니다. 실제로 있는 논문과 만들어 낸 논문이 섞여 있어도 글자만 봐서는 가를 방법이 없습니다. OpenAI 도움말도 챗GPT가 존재하지 않는 인용·연구·참고 문헌을 만들어 낼 수 있고, 틀린 답에도 높은 확신을 보일 수 있다고 적어 두었습니다.
왜 이런 일이 생기는지는 OpenAI가 공개한 연구 글에 설명이 있습니다. 모르는 문제를 비워 두면 0점이지만 찍으면 가끔 맞는 시험처럼, 정답률만 보는 평가에서는 "모른다"고 답하는 것보다 추측하는 쪽이 점수를 더 받습니다. 그렇게 길들여진 모델은 빈칸을 비우기보다 채우는 쪽으로 기웁니다.
같은 글에 실린 비교가 이 차이를 숫자로 보여 줍니다. 웹 검색 없이 짧은 사실 질문을 푸는 평가에서 o4-mini는 맞힌 답이 24%로 조금 더 높았지만 틀린 답이 75%였고, 모른다고 답한 비율은 1%였습니다. GPT-5 thinking mini는 맞힌 답이 22%로 비슷한데 52%를 모른다고 답하면서 틀린 답이 26%로 내려갔습니다.
o4-mini는 거의 비우지 않았다. 정답률은 2%포인트 차이인데 틀린 답은 세 배 가까이 갈렸습니다. 이 글에서 붙여 볼 세 줄은 결국 모델이 추측하는 대신 비우거나, 근거를 보여 주게 만드는 장치입니다.
2. 첫 번째 한 줄, 출처 링크를 붙여 달라고 하면
가장 흔한 방법부터 붙입니다. 기준 질문 뒤에 「논문마다 직접 열어 볼 수 있는 출처 링크를 붙여줘.」 한 줄을 더하는 방식입니다.
이 한 줄이 들어가면 챗GPT가 웹 검색을 돌릴 가능성이 커집니다. 챗GPT는 필요하다고 판단하면 스스로 검색을 쓰고, 입력창의 도구 메뉴에서 검색을 직접 고를 수도 있으며 무료 계정에서도 됩니다. 검색이 돈 답에는 문장 끝에 작은 출처 표시가 붙고, 답 아래 출처 버튼을 누르면 참고한 페이지 목록이 따로 열립니다.
갈림길은 검색이 돌았느냐입니다. 검색 없이 답이 나오면 링크도 모델이 기억에서 꺼내 쓴 글자일 뿐이라, 모양은 멀쩡한데 눌러 보면 없는 페이지로 가는 주소가 섞일 수 있습니다.
링크 요구의 효과는 반쪽입니다. 검색이 돌면 확인할 길이 생기고, 검색이 안 돌면 확인한 것처럼 보이는 답이 하나 더 생깁니다. 링크를 요구할 때 도구 메뉴에서 검색까지 함께 켜 두는 편이 낫다는 판단은 여기서 나왔습니다.
3. 두 번째 한 줄, 모르면 모른다고 적게 허락하면
두 번째는 1번의 연구 결과를 거꾸로 이용하는 한 줄입니다. 기준 질문 뒤에 「확실하게 찾을 수 없는 논문은 지어내지 말고 '찾지 못함'이라고 적어줘.」를 붙입니다. Anthropic의 개발자 문서는 모르면 모른다고 말해도 된다는 허락을 명시적으로 주는 것만으로 틀린 정보가 크게 줄어들 수 있다고 설명합니다.
이 한 줄을 붙이면 답의 모양이 달라집니다. 세 칸을 억지로 다 채운 목록 대신, 일부 칸에 '찾지 못함'이 들어간 목록이 돌아올 수 있습니다. 칸이 비는 게 실패처럼 보이지만 독자 입장에서는 오히려 쓸모가 큽니다. 어느 줄을 따로 찾아봐야 하는지가 처음부터 드러나기 때문입니다. '찾지 못함'도 답입니다.
다만 허락을 줬다고 추측이 사라지지는 않습니다. 모델이 확실하다고 믿는 틀린 답은 여전히 '찾지 못함' 없이 그대로 나옵니다. 이 빈틈은 같은 문서에 실린 다른 방법으로 조금 더 메울 수 있는데, 같은 질문을 새 채팅에서 두세 번 보내 답을 나란히 놓는 것입니다. 매번 같은 논문이 나오면 기억에 있는 쪽일 가능성이 높고, 보낼 때마다 제목이 바뀌는 줄은 추측으로 채운 칸일 가능성이 높습니다.
4. 세 번째 한 줄, 근거 문장을 붙이고 못 찾으면 지우게 하면
세 번째 한 줄은 답을 다 쓴 다음에 한 번 더 검사하게 만드는 방식입니다. Anthropic 문서가 제안하는 순서는 이렇습니다. 답을 쓴 뒤 주장 하나하나에 그걸 뒷받침하는 인용 문장을 찾아 붙이고, 인용을 찾지 못한 주장은 스스로 거둬들이게 합니다. 링크만 달라고 할 때와 달리 링크 속 어느 문장이 근거인지까지 답 안에 드러나게 된다는 점이 다릅니다.
챗GPT에서 쓰려면 검색이 도는 상태에서 아래처럼 붙입니다. 앞의 두 줄을 합친 형태라 그대로 복사해 기준 질문 뒤에 넣으면 됩니다.
돌아오는 답은 앞의 두 경우보다 깁니다. 항목마다 따옴표로 묶인 인용 문장이 한두 줄씩 붙고, 목록 끝에 몇 번째 항목을 지웠다는 표시가 남는 형태입니다. 답은 매번 조금씩 다르게 나와서, 지워지는 항목 수가 0개일 때도 있고 두 개일 때도 있습니다.
이 한 줄이 좋은 이유는 확인하는 사람의 일을 줄여 준다는 데 있습니다. 링크 세 개를 열어 처음부터 읽을 필요 없이, 붙어 온 인용 문장을 페이지 안에서 찾아보기만 하면 됩니다. 브라우저에서 Ctrl + F를 누르고 인용 문장의 앞부분을 넣으면 몇 초 만에 가려집니다.
단점도 분명합니다. 답이 길어지고, 인용 문장 자체를 모델이 조금 바꿔 옮기는 경우가 있어서 Ctrl + F로 한 번에 안 잡힐 때도 있습니다. 그럴 땐 인용 문장에서 고유명사 하나만 떼어 검색하면 됩니다. 저자 이름이나 학술지 이름처럼 바꿔 쓰기 어려운 단어가 걸리기 쉬워서, 인용이 조금 달라져도 대부분 같은 자리에 닿습니다.
5. 출처를 내가 먼저 건네면 답은 어디까지 좁혀질까
앞의 세 줄은 모두 챗GPT에게 출처를 찾아오라고 시키는 방식입니다. 방향을 뒤집어 출처를 사람이 먼저 건네는 방법도 있습니다. 이미 가진 보고서나 기사, 공고문이 있다면 그 본문을 붙여 넣고 그 안에서만 답하게 하는 것입니다. Anthropic 문서는 이것을 제공한 문서의 정보만 쓰고 모델이 원래 아는 지식은 쓰지 말라고 명시하는 방법으로 소개하고, 20k 토큰이 넘는 긴 문서라면 먼저 관련 문장을 글자 그대로 뽑게 한 뒤 그 인용을 바탕으로 답하게 하라고 권합니다.
챗GPT에서는 문서 본문을 붙여 넣은 뒤 이어서 이렇게 보냅니다. 「위에 붙여 넣은 글에 적힌 내용만 가지고 답해줘. 글에 없는 내용은 네가 아는 지식으로 채우지 말고 '글에 없음'이라고 적어줘. 답마다 근거가 된 문장을 따옴표로 붙여줘.」
이렇게 하면 비교 대상이 인터넷 전체에서 붙여 넣은 글 한 편으로 줄어든다. 근거 문장도 내가 가진 글 안에 있으니 확인이 훨씬 빠릅니다. 대신 글에 없는 건 끝까지 '글에 없음'으로 남아서, 문서 밖 이야기가 필요한 질문에는 맞지 않습니다. 회의록 요약이나 공고문에서 자격 조건만 뽑는 일처럼 답이 이미 문서 안에 들어 있는 작업에 어울리는 방식입니다.
6. 출처 링크가 붙었다고 확인이 끝난 게 아니다
세 줄을 다 붙여도 가장 많이 걸려 넘어지는 자리는 여기입니다. 링크가 달려 있으면 확인이 끝났다고 여기고 넘어가는 것입니다. OpenAI 도움말을 읽다가 아라레가 따로 적어 둔 문장은 검색 결과와 인용도 불완전하거나 오래됐거나 틀릴 수 있다는 대목이었습니다. 같은 안내에는 인용된 출처를 직접 열어 그 페이지가 답을 실제로 뒷받침하는지 보라는 말이 이어집니다.
링크가 진짜여도 틀릴 수 있다는 뜻이다. 실제 페이지를 가져와 놓고 그 페이지에 없는 연도나 저자를 답에 적는 경우가 있고, 몇 년 전 글을 근거로 지금 얘기처럼 쓰는 경우도 있습니다. 링크를 열었을 때 볼 것은 세 가지로 좁혀집니다.
✓ 링크가 열리고, 답에 적힌 제목과 같은 문서인지
✓ 답에 적힌 저자·연도·숫자가 그 페이지 안에 그대로 있는지
✓ 페이지가 언제 올라왔거나 고쳐졌는지
✕ 링크가 달렸다는 사실만 보고 넘어가기
논문이나 통계처럼 정확해야 하는 값은 이 세 가지를 보는 데 1분이면 충분합니다. 세 번째 날짜 확인은 요금표나 정책 안내처럼 자주 바뀌는 내용에서 특히 중요한데, 페이지가 진짜이고 문장도 그대로 있어도 1~2년 전 공지라면 지금은 다른 값일 수 있습니다. 그럴 땐 링크 속 기관이나 회사의 공식 사이트를 직접 열어 최신 안내를 한 번 더 봅니다.
7. 세 줄을 나란히 놓으면 어떤 질문에 무엇을 붙일까
세 줄은 서로 대신하는 관계가 아니라 쌓아 올리는 관계입니다. 가벼운 궁금증에는 첫 줄만 붙여도 됩니다.
옮겨 쓸 값이라면 4번의 합친 문장이 뒤처리가 덜합니다.
끝으로 한 가지만
다음에 이름이나 연도, 숫자가 걸린 질문을 할 때는 챗GPT에서 검색을 켠 채 4번의 합친 문장을 질문 뒤에 붙여 보세요. 챗GPT 거짓말은 이 한 줄로 전부 사라지지 않지만, 어느 줄이 의심스러운지는 답을 받는 순간 드러납니다.
검색이 인용을 어떻게 보여 주는지는 OpenAI 도움말 센터의 검색 안내에, 근거 문장을 붙이게 하는 방식은 Anthropic 개발자 문서의 환각 줄이기 안내에 정리돼 있습니다. 다만 검색 결과가 영어 자료로 쏠리는 질문이라면 인용 문장도 영어로 올 수 있으니, 그땐 한국어로 옮겨 달라는 말을 한 줄 더 붙이면 됩니다.
논문 세 편을 묻는 같은 질문도, 근거 문장을 붙이라는 한 줄이 들어가면 어느 칸을 다시 찾아볼지부터 알려 주는 답으로 바뀝니다.
핵심 포인트
✓ 출처 링크 요구는 검색이 돌 때만 확인할 길이 생긴다
✓ 모르면 '찾지 못함'이라고 적게 허락하면 억지로 채운 칸이 드러난다
✓ 근거 문장을 붙이고 못 찾으면 지우게 하면 확인이 Ctrl + F 한 번으로 줄어든다
✓ 링크를 열어 제목·값·날짜 세 가지를 보는 일은 끝까지 사람 몫이다