“세종대왕님이 맥북을 던진 사건을 알려줘.”
ChatGPT 초기에 유행했던 밈이죠. AI가 아주 진지하게 “조선 왕조 실록에 따르면…”이라며 소설을 씁니다.
이처럼 AI가 없는 사실을 있는 것처럼 그럴듯하게 꾸며내는 현상, 바로 할루시네이션(환각)입니다.
AI를 쓸 때 가장 조심해야 할 1순위 경계 대상입니다.
1. 30초 요약 (아무말 대잔치)
LLM(거대 언어 모델)은 사실 ‘지식’을 검색하는 게 아닙니다.
“다음에 올 가장 그럴듯한 단어”를 확률적으로 베팅하는 앵무새에 가깝습니다.
모르는 걸 물어봤을 때 “모름”이라고 하면 되는데, 학습된 데이터 확률상 그럴듯한 단어들을 이어 붙이다 보니 ‘그럴싸한 거짓말’이 탄생하는 겁니다. 악의는 없지만 결과는 치명적입니다.
2. 당신이 몰랐던 진실: 팩트 체크는 인간의 몫
“AI가 쓴 글 그냥 복붙에서 블로그에 올리면 되나요?”
큰일 납니다.
역사적 사실, 법률 조항, 수학 수식, 최신 뉴스… AI는 언제든 틀릴 수 있습니다.
만약 AI가 쓴 잘못된 건강 정보를 올렸다가, 누군가 피해를 본다면? 책임은 운영자인 여러분에게 있습니다.
AI는 ‘초안 작성용’ 비서일 뿐, 최종 데스크(편집장) 역할은 인간이 해야 합니다.
3. 실전 활용법: RAG로 억제하기
할루시네이션을 줄이는 가장 좋은 방법은 “근거 자료를 주고 요약만 시키는 것”입니다.
앞서 말한 RAG(검색 증강) 방식이죠.
- Bad: “2024년 한국 경제 전망해줘.” (지 혼자 소설 씀)
- Good: “여기 2024년 한국은행 보고서(텍스트) 줄게. 이거 기반으로 경제 전망 요약해줘.” (자료에 있는 내용만 말함)
AI에게 상상력을 발휘할 틈을 주지 말고, 자료라는 울타리 안에서만 놀게 하세요.
4. 도구로 해결하기 (feat. 토큰 계산기)
“자료가 너무 긴데 다 들어갈까?”
근거 자료를 입력할 때 컨텍스트 윈도우를 확인해야 합니다.
- 참고 자료 텍스트를 붙여넣어 토큰 수를 재보세요.
- 입력 한도 내에서 안전하게 정보를 전달하세요.
- 근거가 확실할수록 거짓말(환각)은 사라집니다.
믿되, 검증하라(Trust, but Verify).
AI는 훌륭한 도구지만, 가끔 헛소리를 하는 친구입니다. 팩트 체크는 여러분의 권능입니다.