ChatGPT에게 특정 주제의 학술 논문을 추천해달라고 해본 적 있으신가요? 제목, 저자, 출판 연도까지 아주 그럴듯하게 알려주는데, 막상 검색해보면 이 세상에 존재하지 않는 논문인 경우가 꽤 있습니다. 이런 현상을 바로 할루시네이션(Hallucination), 우리말로 ‘환각’이라고 부릅니다. AI가 마치 확신에 찬 듯 틀린 정보를 생성하는 이 현상은, LLM을 업무나 학습에 활용하려는 사람이라면 반드시 알아두어야 할 핵심 이슈입니다.

좋은 소식은, 복잡한 기술적 해결책 없이도 프롬프트를 어떻게 쓰느냐만으로 할루시네이션을 상당 부분 줄일 수 있다는 것입니다. 오늘은 할루시네이션이 왜 생기는지 그 원리를 쉽게 풀어본 다음, 지금 당장 여러분의 프롬프트에 적용할 수 있는 7가지 실전 기법을 하나씩 알려드리겠습니다.

할루시네이션, 정확히 어떤 현상인가요?

할루시네이션은 LLM이 사실과 다르거나 근거가 없는 정보를 마치 사실인 것처럼 자신 있게 생성하는 현상을 말합니다. 단순히 ‘틀린 답’과는 조금 다릅니다. 사람이 ‘글쎄요, 잘 모르겠는데…’라고 머뭇거리는 것과 달리, LLM은 완전히 지어낸 내용도 매끄러운 문장으로 당당하게 내놓기 때문입니다.

할루시네이션은 크게 네 가지 유형으로 나뉩니다.

• 사실 오류(Factual Error): 실제와 다른 날짜, 수치, 인물 정보를 말하는 경우. 예를 들어 ‘서울타워는 1975년에 완공되었습니다’처럼, 그럴듯하지만 실제 연도와 다른 정보를 제시합니다.
• 출처 날조(Source Fabrication): 존재하지 않는 논문, 기사, 법률 조항을 지어내는 경우. 실제로 미국에서는 변호사가 ChatGPT가 만들어낸 가짜 판례를 법정에 제출해 문제가 된 사건도 있었습니다.
• 논리적 비약(Logical Leap): 전제와 결론 사이에 근거 없는 도약이 있는 경우. A와 B를 설명하다가 갑자기 C라는 결론을 내리는데, 중간 논리가 빠져 있거나 잘못된 추론을 합니다.
• 자기 모순(Self-Contradiction): 같은 대화 안에서 앞뒤가 맞지 않는 말을 하는 경우. 앞에서는 ‘이 방법은 효과가 없다’고 했다가, 뒤에서는 ‘이 방법을 추천합니다’라고 말하는 식입니다.

일상에서는 이런 할루시네이션이 가벼운 불편 정도로 느껴질 수 있지만, 업무 보고서 작성, 법률 자문, 의료 정보 확인, 학술 연구 등에서는 심각한 문제로 이어질 수 있습니다. 그래서 LLM을 ‘도구’로 제대로 쓰려면, 할루시네이션의 존재를 인식하고 이를 줄이는 방법을 아는 것이 필수입니다.

왜 LLM은 없는 사실을 지어낼까?

할루시네이션을 줄이려면, 먼저 왜 발생하는지 그 구조를 이해해야 합니다. 어렵지 않으니 차근차근 살펴보겠습니다.

다음 단어 예측이라는 근본 구조

LLM의 핵심 동작 원리는 ‘앞에 나온 단어들을 바탕으로 다음에 올 가능성이 가장 높은 단어를 예측하는 것’입니다. 쉽게 말해, LLM은 ‘사실을 검색하는 기계’가 아니라 ‘그럴듯한 문장을 이어 쓰는 기계’에 가깝습니다. ‘대한민국의 수도는’이라는 입력 뒤에 ‘서울’이 올 확률이 가장 높다는 것을 학습 데이터의 패턴에서 파악하는 것이지, 어딘가에 저장된 ‘수도=서울’이라는 데이터베이스를 찾아보는 게 아닙니다.

이 근본 구조 때문에, 학습 데이터에서 충분히 반복되지 않았거나 모호한 주제에 대해서는 통계적으로 그럴듯하지만 사실과 다른 내용을 만들어낼 수 있습니다. 모델 입장에서는 ‘정확한 사실’과 ‘그럴듯한 패턴’ 사이의 구분이 본질적으로 존재하지 않기 때문입니다.

훈련 데이터의 한계

LLM은 인터넷에 존재하는 방대한 텍스트로 학습됩니다. 그런데 인터넷 자체에 부정확한 정보가 많고, 특정 시점까지의 데이터만 반영되어 있습니다. 학습 데이터에 없는 최신 정보를 물으면, 모델은 ‘모릅니다’라고 하는 대신 기존에 학습한 패턴을 조합해서 그럴듯한 답을 만들어냅니다. 2026년 여름 현재의 최신 뉴스를 물었을 때 엉뚱한 답이 나오는 이유가 바로 이것입니다.

‘모릅니다’를 말하기 어려운 구조

사람은 자연스럽게 ‘잘 모르겠는데요’라고 말할 수 있지만, LLM에게는 이것이 쉽지 않습니다. 학습 과정에서 모델은 항상 어떤 답이든 내놓도록 최적화되었기 때문입니다. 특히 RLHF(인간 피드백 기반 강화학습)를 거친 모델은 사용자에게 도움이 되는 답변을 하려는 경향이 강해서, 확실하지 않은 내용도 ‘도움을 주기 위해’ 답변으로 생성하는 경우가 많습니다. 이것이 바로 자신감 넘치는 오답, 즉 할루시네이션의 핵심 원인입니다.

Temperature와 확률 분포

LLM에는 Temperature라는 설정값이 있습니다. 이 값이 높으면 모델이 더 다양하고 창의적인 단어를 선택하고, 낮으면 가장 확률이 높은 단어를 선택합니다. Temperature가 높을수록 모델의 출력이 더 예측 불가능해지면서 할루시네이션 발생 확률도 올라갑니다. 반대로 0에 가깝게 낮추면 정확도는 올라가지만 답변이 딱딱해질 수 있습니다.

프롬프트로 할루시네이션 줄이는 7가지 기법

자, 이제 본론입니다. 원리를 이해했으니 실전에서 프롬프트만으로 할루시네이션을 줄이는 구체적인 기법들을 하나씩 살펴보겠습니다. 각 기법마다 실제 프롬프트 예시를 함께 드리니, 바로 복사해서 써보실 수 있습니다.

기법 1: 역할과 전문성 범위를 명확히 지정하기

LLM에게 구체적인 역할과 전문 분야를 지정하면, 모델이 해당 영역의 지식 패턴에 집중하면서 관련 없는 영역에서 정보를 끌어오는 현상이 줄어듭니다. 이것은 단순히 ‘~인 척 해줘’가 아니라, 모델이 활성화할 지식의 범위를 좁히는 효과가 있습니다.

범위가 넓은 프롬프트를 먼저 보겠습니다.

개선 전: “한국에서 1인 법인 설립할 때 세금 관련 알려줘”

이렇게 물으면 모델은 세법, 회계, 행정 절차를 모두 아우르는 광범위한 답변을 시도하면서 부정확한 세율이나 존재하지 않는 혜택을 섞어낼 가능성이 높아집니다.

개선 후: “당신은 한국 세법을 전문으로 하는 세무사입니다. 2025년 기준 한국 세법에 근거해서만 답변해주세요. 1인 법인 설립 시 법인세와 관련된 주요 세율과 신고 의무에 대해 설명해주세요. 세법 조항 번호를 함께 표기해주세요.”

이렇게 역할, 기준 시점, 답변 범위, 출력 형식까지 지정하면 모델이 동원하는 지식의 범위가 크게 좁아지면서 정확도가 올라갑니다. 핵심은 전문 분야를 구체적으로, 그리고 답변 범위를 명확하게 한정하는 것입니다.

기법 2: ‘모르면 모른다고 말해’를 명시적으로 지시하기

앞서 LLM이 ‘모릅니다’를 말하기 어려운 구조라고 했습니다. 그런데 흥미롭게도, 프롬프트에서 명시적으로 ‘모르면 모른다고 해도 된다’고 허락하면 모델의 행동이 확연히 달라집니다. 모델에게 ‘불확실성을 표현해도 괜찮다’는 프레임을 제공하는 것입니다.

프롬프트 예시: “다음 질문에 답해주세요. 단, 확실하지 않은 정보가 있다면 추측이라고 명시하거나 ‘이 부분은 정확한 확인이 필요합니다’라고 표시해주세요. 모르는 내용을 지어내지 마세요.”

이 한 문장을 프롬프트 앞에 추가하는 것만으로도 큰 차이가 납니다. 더 세분화하고 싶다면 확신 수준을 등급으로 나누어 달라고 할 수도 있습니다.

심화 예시: “각 주장 옆에 확신 수준을 표시해주세요. [확실] 학습 데이터에서 반복적으로 확인된 정보, [높음] 높은 확률로 맞지만 최신 변경이 있을 수 있는 정보, [불확실] 추론이 포함된 정보로 별도 확인 필요.”

이렇게 불확실성 표현의 구체적인 틀을 제공하면, 모델이 자기가 확실히 아는 것과 추론한 것을 스스로 구분해서 표현하게 됩니다. 물론 이 표시 자체가 100% 정확하지는 않지만, 아무 표시가 없는 것보다 훨씬 유용합니다.

기법 3: Chain-of-Thought로 추론 과정을 드러내게 하기

Chain-of-Thought(CoT)는 모델에게 ‘바로 답을 말하지 말고, 단계별로 생각하면서 답해달라’고 요청하는 기법입니다. 이 방법이 할루시네이션 감소에 효과적인 이유는 분명합니다. 추론 과정을 명시적으로 드러내면, 논리적 비약이 일어나는 지점이 눈에 보이기 때문입니다.

개선 전: “이 회사의 주가가 앞으로 오를까요?”

이런 질문에 모델은 그럴듯한 분석을 만들어내면서 근거 없는 예측을 섞어 넣기 쉽습니다.

개선 후: “이 회사의 재무 상태를 분석해주세요. 다음 단계를 따라주세요: 1) 제공된 데이터에서 확인 가능한 재무 지표를 나열하세요. 2) 각 지표가 의미하는 바를 설명하세요. 3) 지표들을 종합해서 현재 재무 건전성을 평가하세요. 4) 제공된 데이터만으로는 판단할 수 없는 부분이 있다면 명시하세요.”

이렇게 단계를 나누면 모델이 각 단계에서 자기가 가진 정보와 추론을 분리해서 보여주므로, 어디서 환각이 끼어드는지 읽는 사람이 쉽게 파악할 수 있습니다. 특히 4번처럼 ‘판단할 수 없는 부분’을 명시하라는 지시를 넣으면 기법 2와의 시너지가 생깁니다.

기법 4: 출처 요구와 검증 가능한 형식 지정하기

모델에게 출처를 함께 제시하라고 요구하면, 두 가지 효과가 있습니다. 첫째, 모델이 답변을 생성할 때 더 신중해집니다. 둘째, 사용자가 해당 출처를 직접 확인해서 사실 여부를 검증할 수 있습니다.

프롬프트 예시: “각 주요 주장에 대해 근거가 되는 출처(법률명, 논문 제목, 공식 문서 등)를 함께 적어주세요. 구체적인 출처를 찾을 수 없는 주장은 ‘출처 미확인’이라고 표시하고, 해당 내용은 일반적인 이해에 기반한 설명임을 밝혀주세요.”

여기서 중요한 포인트가 있습니다. 출처를 요구했다고 해서 그 출처가 진짜인 것은 아닙니다. LLM은 출처 자체를 날조할 수 있기 때문입니다. 그래서 ‘출처를 찾을 수 없으면 없다고 말해라’는 부분이 핵심입니다. 이 안전장치가 있으면 모델이 가짜 출처를 만들어내는 대신 ‘출처 미확인’이라고 표시할 확률이 높아집니다.

업무에서 LLM의 답변을 활용할 때는 반드시 제시된 출처를 한 번 더 검색해서 실제로 존재하는지 확인하는 습관을 들이는 것이 좋습니다. 이 한 단계의 검증만으로도 할루시네이션에 속는 일을 크게 줄일 수 있습니다.

기법 5: Few-shot 예시로 정확한 답변 패턴 보여주기

Few-shot 프롬프팅은 모델에게 ‘이런 식으로 답해줘’라는 예시를 미리 보여주는 방법입니다. 할루시네이션 감소에 왜 효과적일까요? 예시 안에 ‘정확한 답변이란 이런 것’이라는 기준을 심어둘 수 있기 때문입니다.

프롬프트 예시:

“아래 형식을 따라 한국 노동법 관련 질문에 답해주세요.

[예시 질문] 연차 유급휴가는 며칠인가요?
[예시 답변] 근로기준법 제60조에 따르면, 1년간 80% 이상 출근한 근로자에게 15일의 유급휴가가 주어집니다. 3년 이상 근속 시 매 2년마다 1일이 추가되며, 총 한도는 25일입니다. (근거: 근로기준법 제60조 제1항, 제4항)

[예시 질문] 야근 수당 계산은 어떻게 하나요?
[예시 답변] 근로기준법 제56조에 따르면, 연장근로에 대해서는 통상임금의 50%를 가산하여 지급해야 합니다. (근거: 근로기준법 제56조 제1항). 단, 5인 미만 사업장에는 이 조항이 적용되지 않으므로 별도 확인이 필요합니다.

[실제 질문] 육아휴직 기간과 급여는 어떻게 되나요?”

이 예시에서 모델은 법조항 번호를 포함하고, 예외 사항을 명시하며, 근거를 항상 붙이는 패턴을 학습합니다. 예시에 없는 내용을 지어내기보다는 예시의 패턴을 따르려는 경향이 강해지므로 할루시네이션이 줄어듭니다.

Few-shot 예시를 만들 때 팁 하나: 예시 답변 안에 ‘불확실한 경우의 표현 방식’도 포함시키세요. 위 예시에서 ‘5인 미만 사업장에는 적용되지 않으므로 별도 확인이 필요합니다’라는 부분이 그 역할을 합니다. 모델이 이 패턴을 보고 자기도 불확실한 부분에서 비슷하게 단서를 달게 됩니다.

기법 6: 제약 조건과 답변 범위를 촘촘하게 한정하기

할루시네이션은 질문의 범위가 넓을수록 발생하기 쉽습니다. 모델이 넓은 범위를 커버하려다 보면 자기가 잘 모르는 영역까지 건드리게 되고, 거기서 그럴듯한 내용을 지어내게 됩니다. 그래서 답변의 범위를 최대한 좁게 한정하는 것이 효과적입니다.

범위를 한정하는 방법은 여러 가지가 있습니다.

• 시간 범위: “2025년 기준으로만 답해주세요” 또는 “최근 3년간의 변화에 한정해서 설명해주세요”
• 지역 범위: “한국 법률 기준으로만 답해주세요. 다른 나라의 사례는 비교 목적으로만 간략히 언급해주세요”
• 주제 범위: “마케팅 전략 중 소셜미디어 마케팅에 한정해서 답해주세요. SEO나 이메일 마케팅은 제외합니다”
• 깊이 범위: “초급자 수준에서 이해할 수 있게, 전문 용어는 풀어서 설명해주세요”
• 데이터 범위: “제가 제공한 데이터에서 확인 가능한 내용만 분석해주세요. 외부 정보를 추가하지 마세요”

마지막 항목이 특히 중요합니다. 데이터 분석 작업에서 모델에게 ‘제공된 데이터만 사용하라’고 명시하면, 모델이 자기가 학습한 일반 지식을 섞어 넣는 현상을 크게 줄일 수 있습니다. 예를 들어 매출 데이터를 분석할 때 ‘업계 평균은 대략 이 정도입니다’라며 근거 없는 수치를 덧붙이는 것을 방지할 수 있습니다.

여러 제약 조건을 조합하면 효과가 배가됩니다. “2025년 한국 기준, 종업원 50인 이하 중소기업에 적용되는 고용 지원금 제도에 한정해서, 고용노동부 공식 안내에 근거해 답해주세요.” 이 정도로 범위를 좁히면 모델이 확실히 아는 것만 답하게 될 확률이 크게 올라갑니다.

기법 7: 자기 검증(Self-Verification)을 요청하기

마지막 기법은 모델에게 자기 스스로 답변을 검토하라고 요청하는 것입니다. 이것을 Self-Verification 또는 Self-Consistency라고 부릅니다.

프롬프트 예시 (1단계 검증): “답변을 완성한 후, 다음 기준으로 스스로 검토해주세요: 1) 각 사실 주장이 서로 모순되지 않는지 확인, 2) 출처가 불분명한 주장이 있다면 표시, 3) 수치나 날짜가 포함된 경우 한 번 더 확인. 검토 결과를 답변 끝에 ‘검증 노트’로 추가해주세요.”

이 방법이 흥미로운 이유는, 모델이 답변을 생성할 때와 검증할 때 서로 다른 관점에서 텍스트를 처리하기 때문입니다. 생성할 때는 ‘그럴듯한 다음 문장 만들기’에 집중하지만, 검증할 때는 ‘이미 있는 텍스트의 일관성 확인’에 집중합니다. 완벽하지는 않지만, 자기 모순이나 명백한 오류를 잡아내는 데 꽤 효과적입니다.

더 강력한 방법으로는 2단계 프롬프트를 쓸 수 있습니다.

1단계: 원래 질문을 하고 답변을 받습니다.

2단계: “위 답변에서 사실 관계 오류가 있을 수 있는 부분을 비판적으로 검토해주세요. 특히 다음을 확인해주세요: 수치의 정확성, 날짜의 정확성, 인과관계의 타당성, 일반화의 적절성. 오류가 발견되면 수정된 버전을 제시해주세요.”

같은 모델에게 ‘비평가 역할’을 부여하는 것인데, 실제로 이 방법으로 첫 번째 답변에 있던 오류를 모델 스스로 찾아내고 수정하는 경우가 상당히 많습니다. 물론 한계는 있습니다. 모델이 원래 모르는 정보는 검증 단계에서도 잡아내지 못할 수 있습니다. 그래도 논리적 비약이나 자기 모순 같은 유형의 할루시네이션에는 매우 효과적입니다.

실전 Before/After: 프롬프트 하나로 달라지는 답변 품질

지금까지 소개한 기법들을 실제 상황에 적용하면 어떤 차이가 나는지, 세 가지 시나리오로 비교해보겠습니다.

시나리오 1: 건강 정보 질문

Before: “비타민D 하루에 얼마나 먹어야 해?”

이렇게 물으면 모델은 여러 국가의 권장량을 섞어서 답하거나, 출처가 불분명한 수치를 제시할 수 있습니다.

After: “한국영양학회 또는 보건복지부의 공식 권장 기준에 따라, 한국 성인(30대) 남성의 비타민D 일일 권장 섭취량을 알려주세요. 공식 기준을 찾을 수 없다면 그렇다고 말해주세요. 다른 나라의 기준을 참고할 경우, 해당 국가와 기관명을 명시해주세요.”

이 프롬프트에는 기법 1(범위 한정), 기법 2(모르면 말하기), 기법 4(출처 요구), 기법 6(제약 조건)이 모두 녹아 있습니다.

시나리오 2: 프로그래밍 기술 질문

Before: “Python에서 비동기 처리 어떻게 해?”

범위가 너무 넓어서 모델이 deprecated된 라이브러리나 잘못된 문법을 섞어 답할 수 있습니다.

After: “Python 3.12 기준으로, asyncio를 사용한 비동기 HTTP 요청 처리 방법을 설명해주세요. 다음 형식으로 답해주세요: 1) 핵심 개념 설명 (async/await 키워드), 2) 실행 가능한 최소 코드 예제, 3) 흔한 실수 3가지. 코드 예제는 Python 3.12에서 실제로 실행 가능한 것만 작성해주세요.”

버전을 명시하고, 출력 형식을 정하고, ‘실행 가능한 것만’이라는 제약을 두면 모델이 더 신중하게 코드를 생성합니다.

시나리오 3: 역사적 사실 질문

Before: “한국 경제 발전 과정 알려줘”

이런 광범위한 질문에는 부정확한 연도, 과장된 수치, 단순화된 인과관계가 섞여 들어오기 쉽습니다.

After: “1960년대부터 1980년대까지 한국의 수출 주도 경제 성장 전략에 한정해서 설명해주세요. 단계별로 진행해주세요: 1) 주요 정책과 시행 연도를 나열, 2) 각 정책의 배경과 목적 설명, 3) 해당 시기의 GDP 성장률 등 수치를 언급할 때는 ‘대략적 수치’인지 ‘공식 통계’인지 구분 표시. 확실하지 않은 수치는 범위로 표현해주세요 (예: 약 8~10%).”

특히 수치 관련 할루시네이션이 걱정될 때는 ‘정확한 수치 대신 범위로 표현해도 된다’고 허용해주면, 모델이 지나치게 정확한 척 하는 가짜 수치를 만들어내는 대신 더 정직한 답변을 할 수 있습니다.

프롬프트 너머: 할루시네이션을 더 줄이는 추가 전략

프롬프트 기법만으로도 할루시네이션을 크게 줄일 수 있지만, 더 확실한 결과를 원한다면 프롬프트 외적인 방법들도 병행하면 좋습니다.

Temperature 직접 조절하기

API를 통해 LLM을 호출할 수 있는 환경이라면, Temperature 값을 낮추는 것이 가장 직접적인 방법입니다. 사실 기반 답변이 필요한 작업에서는 Temperature를 0.0~0.3 사이로 설정하면 모델이 확률이 가장 높은 토큰을 선택하므로 환각이 줄어듭니다. 반면 창작이나 브레인스토밍에서는 0.7~1.0이 더 적합합니다. 용도에 따라 구분해서 쓰는 것이 핵심입니다.

검색 증강(Grounding) 활용하기

최신 정보가 필요한 질문이라면, 모델의 학습 데이터에만 의존하지 않고 실시간 검색 결과를 참조하도록 하는 것이 효과적입니다. 최근 주요 LLM 서비스들은 웹 검색 기능을 내장하고 있고, 기업 환경에서는 RAG(검색 증강 생성)를 통해 신뢰할 수 있는 내부 문서를 모델에게 제공할 수 있습니다. 다만 이 주제는 이 블로그의 이전 포스팅에서 자세히 다루었으니, 관심 있으신 분은 참고해주세요.

다중 응답 교차 검증

같은 질문을 여러 번 물어보거나 다른 모델에게도 물어봐서, 일관된 답변만 신뢰하는 방법입니다. 특히 중요한 의사결정에 LLM의 답변을 참고할 때 유용합니다. 세 번 물어서 세 번 다 같은 답이 나오면 신뢰도가 높고, 매번 다른 답이 나오면 그 주제에 대해 모델이 불확실하다는 신호입니다.

사람의 최종 확인: 가장 확실한 안전장치

아무리 좋은 프롬프트 기법을 쓰더라도, LLM의 답변을 100% 그대로 신뢰하는 것은 위험합니다. 특히 법률, 의료, 재무, 학술 등 오류의 대가가 큰 영역에서는 반드시 사람이 최종 확인하는 단계를 거쳐야 합니다. LLM은 초안을 빠르게 생성하고 방향을 잡아주는 ‘보조 도구’로 활용하되, 최종 판단은 사람이 하는 것이 가장 안전한 워크플로입니다.

마무리: 할루시네이션과 함께 살아가기

할루시네이션은 현재 LLM 기술의 본질적인 특성입니다. 완전히 제거하는 것은 아직 어렵지만, 오늘 소개한 프롬프트 기법들을 활용하면 그 빈도와 영향을 크게 줄일 수 있습니다.

다시 한번 정리하면, 핵심은 이 세 가지입니다.

• 범위를 좁혀라: 역할, 시간, 주제, 데이터 범위를 명확히 한정할수록 할루시네이션이 줄어듭니다.
• 불확실성을 허용하라: 모델에게 ‘모르면 모른다고 해도 된다’는 여지를 주면, 거짓말 대신 정직한 답변을 합니다.
• 검증을 요구하라: 출처 제시, 단계별 추론, 자기 검증을 요청하면 답변의 투명성이 높아집니다.

LLM은 놀라운 도구이지만, 그 한계를 이해하고 똑똑하게 사용하는 사람의 역할이 점점 더 중요해지고 있습니다. 오늘 소개한 기법들을 하나씩 실제 프롬프트에 적용해보시면서, 여러분만의 최적의 프롬프트 패턴을 만들어가시길 바랍니다.

이미지는 Leonardo AI 로 생성되었습니다.

이미지는 Claude AI 로 생성되었습니다.