AI는 왜 거짓말을 하는가: 환각의 원리와 대처법
LLM 환각의 기술적 원인, 실제 피해 사례, 환각 감지 체크리스트, 팩트체크 프레임워크를 다룹니다.
AI의 "자신감 넘치는 거짓말"
ChatGPT에게 "이 논문의 저자가 누구야?"라고 물으면, 존재하지 않는 논문과 저자를 마치 사실인 것처럼 답합니다. Claude에게 법률 조항을 물으면, 없는 조항 번호를 정확한 숫자와 함께 제시합니다.
이것이 **AI 환각(Hallucination)**입니다. AI가 의도적으로 거짓말하는 것이 아니라, 구조적으로 "그럴듯한 말"을 생성하도록 설계되어 있기 때문입니다.
환각이 발생하는 원리
LLM은 "사실을 아는 것"이 아니라 "그럴듯한 다음 단어를 예측하는 것"
대형 언어 모델(LLM)의 작동 원리를 비유적으로 설명하면:
| 비유 | 설명 |
|---|---|
| 자동완성 극대화 | 스마트폰 키보드의 자동완성이 수천억 배 강력해진 것 |
| 패턴 매칭 | 학습 데이터에서 본 패턴을 기반으로 가장 확률 높은 단어를 이어 붙임 |
| 앵무새가 아닌 창작자 | 단순 반복이 아니라 패턴을 조합하여 새로운 문장 생성 |
핵심: AI는 "이것이 사실인가?"를 확인하지 않습니다. "이것이 그럴듯한가?"만 계산합니다. 그래서 사실이 아닌 내용도 매우 자신 있는 톤으로 말합니다.
환각이 특히 잘 발생하는 영역
| 영역 | 환각 빈도 | 이유 |
|---|---|---|
| 특정 인물 정보 (이력, 수상 경력) | 매우 높음 | 인물 간 정보 혼합 |
| 논문·책 인용 (제목, 저자, 연도) | 매우 높음 | 존재하지 않는 문헌 생성 |
| 구체적 통계·숫자 | 높음 | 그럴듯한 숫자를 생성 |
| 법률 조항·판례 | 높음 | 존재하지 않는 조항 번호 생성 |
| URL·웹사이트 주소 | 높음 | 실존하지 않는 URL 생성 |
| 최신 정보 (학습 이후 사건) | 매우 높음 | 학습 데이터에 없는 정보 |
| 일반 상식·개념 설명 | 낮음 | 학습 데이터에 풍부 |
| 언어 번역 | 낮음 | 패턴 매칭이 잘 작동 |
실제 피해 사례
법률 분야
2023년 미국에서 변호사가 ChatGPT로 작성한 법률 서류를 법원에 제출했는데, 인용된 판례 6건이 모두 존재하지 않는 가짜였습니다. 해당 변호사는 징계를 받았습니다.
학술 분야
AI가 생성한 가짜 논문 인용이 학술 논문에 포함되는 사례가 증가하고 있습니다. "AI가 추천한 참고문헌"을 검증 없이 인용한 연구자들이 논문 철회 위기를 겪었습니다.
비즈니스
기업이 AI가 생성한 시장 분석 보고서의 통계를 검증 없이 사용하여, 잘못된 데이터에 기반한 의사결정을 한 사례가 보고되고 있습니다.
일상
AI가 추천한 맛집이 존재하지 않거나, AI가 알려준 약 복용법이 부정확한 경우가 빈번합니다.
환각 감지 체크리스트
AI의 답변을 받았을 때, 다음 항목을 확인하세요.
높은 위험 신호 (반드시 검증)
- 구체적 숫자나 통계가 포함되어 있다
- 특정 인물의 이력·수상·발언이 인용되어 있다
- 논문·책·기사의 제목과 저자가 언급되어 있다
- URL이나 웹사이트 주소가 포함되어 있다
- 법률 조항·판례 번호가 명시되어 있다
- "~에 따르면", "연구에 의하면" 등 출처를 암시하는 표현이 있다
중간 위험 신호 (가능하면 검증)
- 최근 6개월 이내의 사건·발표에 대한 정보
- 특정 기업·기관의 정책이나 가격 정보
- 의학·법률·재무 관련 조언
- "항상", "절대", "모든" 등 극단적 표현
낮은 위험 (일반적으로 신뢰 가능)
- 일반적 개념 설명
- 프로그래밍 문법·패턴
- 공통 상식 수준의 정보
- 언어 번역·문법 교정
팩트체크 프레임워크: VERIFY
AI 정보를 검증하는 5단계 프레임워크입니다.
V - Validate Source (출처 확인)
AI가 "~에 따르면"이라고 했을 때, 그 출처가 실재하는지 확인합니다.
- 논문: Google Scholar에서 제목 검색
- 기사: 해당 언론사 사이트에서 검색
- 통계: 원 기관 공식 사이트 확인
E - Examine Specifics (구체적 사항 검증)
구체적 숫자·날짜·이름이 나오면 교차 검증합니다.
- 숫자: 2개 이상의 독립적 출처에서 확인
- 날짜: 공식 기록과 대조
- 인물: 해당 기관·기업의 공식 정보 확인
R - Recognize Patterns (환각 패턴 인식)
환각의 전형적 패턴을 알아두면 감지가 쉬워집니다.
- 과도한 구체성: 존재하지 않는 것을 매우 구체적으로 서술
- 완벽한 균형: 장단점을 너무 깔끔하게 정리 (현실은 지저분함)
- 모든 질문에 답: "모르겠다"라고 하지 않고 항상 답을 제시
I - Iterate and Cross-check (반복 질문과 교차 확인)
같은 질문을 다르게 물어보면 환각이 드러납니다.
- 같은 질문을 2~3번 반복하면 답이 달라지는 경우 → 환각 가능성 높음
- 다른 AI에게 같은 질문 → 답이 크게 다르면 검증 필요
F - Flag Uncertainty (불확실성 표시)
AI의 답변을 사용할 때, 검증 수준을 표시합니다.
- ✅ 검증 완료: 독립적 출처에서 확인
- ⚠️ 부분 검증: 일부만 확인, 나머지 미확인
- ❓ 미검증: AI 답변만 있고 독립적 확인 없음
AI에게 정확한 답을 얻는 프롬프트 기법
환각을 줄이는 프롬프트 원칙
| 원칙 | 나쁜 프롬프트 | 좋은 프롬프트 |
|---|---|---|
| 불확실성 인정 요청 | "X에 대해 알려줘" | "X에 대해 확실한 정보만 알려줘. 불확실하면 '확인 필요'라고 표시해" |
| 출처 요청 | "통계를 알려줘" | "검증 가능한 출처와 함께 통계를 알려줘. 출처를 모르면 '출처 미확인'이라고 써" |
| 범위 제한 | "모든 것을 알려줘" | "2024년 이후 공식 발표된 데이터만 알려줘" |
| 추론 구분 | "답을 알려줘" | "사실과 추론을 구분해서 알려줘. 추론인 부분은 명시해" |
환각 감지 프롬프트
방금 네가 답변한 내용 중에서:
1. 확실한 사실 (검증 가능)
2. 높은 확률의 추론 (확인 필요)
3. 불확실한 부분 (환각 가능성)
을 구분해서 다시 정리해줘.
모델별 환각 특성
| 모델 | 환각 빈도 | 특징 |
|---|---|---|
| GPT-4o | 중간 | 자신감 있게 환각, 웹 검색 기능으로 일부 보완 |
| Claude (Sonnet/Opus) | 중간~낮음 | "확실하지 않다"고 말하는 빈도 높음 |
| Gemini | 중간 | 구글 검색 연동으로 최신 정보에 강점 |
| 오픈소스 모델 | 높음 | 모델 크기와 학습 데이터에 따라 편차 큼 |
어떤 모델도 환각에서 완전히 자유롭지 않습니다. 모델 선택보다 사용자의 검증 습관이 더 중요합니다.
핵심 결론
AI 환각은 버그가 아니라 구조적 특성입니다. AI는 "사실을 아는 것"이 아니라 "그럴듯한 답을 생성하는 것"이기 때문에, 환각은 완전히 제거될 수 없습니다. 중요한 것은 환각이 잘 발생하는 영역을 알고, VERIFY 프레임워크로 체계적으로 검증하는 습관을 기르는 것입니다. AI를 의심하는 것이 AI를 잘 활용하는 첫 번째 조건입니다.
다음 챕터에서는 AI의 편향 — AI가 세상을 바라보는 시각이 왜 한쪽으로 기울어져 있는지를 분석합니다.