프롬프트의 원리: AI는 왜 이렇게 대답하는가

프롬프트를 잘 쓰려면, 먼저 AI가 어떻게 생각하는지를 이해해야 합니다. 정확히 말하면, AI는 '생각'하지 않습니다. 하지만 AI가 텍스트를 만들어내는 방식을 이해하면, 왜 같은 질문에도 결과가 천차만별인지, 그리고 어떻게 하면 원하는 답을 얻을 수 있는지 명확해집니다.

이 챕터에서는 코딩이나 수학 없이, 비유와 실제 사례만으로 AI의 동작 원리를 설명합니다. 이것만 이해해도 프롬프트 실력이 한 단계 올라갑니다.

AI는 '다음 단어 예측기'입니다

ChatGPT, Claude, Gemini — 이 모든 AI의 핵심은 놀랍도록 단순합니다. 다음에 올 단어를 예측하는 것이 전부입니다.

"오늘 날씨가"라고 입력하면, AI는 학습 데이터에서 이 문장 뒤에 가장 자주 등장하는 단어를 찾습니다. "좋다", "흐리다", "춥다" 같은 후보 중 확률이 높은 것을 선택합니다. 그리고 그 단어를 붙인 뒤, 다시 "오늘 날씨가 좋다"의 다음 단어를 예측합니다. 이 과정을 반복해서 문장, 문단, 글 전체를 만들어냅니다.

이 원리에서 중요한 통찰 두 가지가 나옵니다:

1. AI는 '진실'을 말하는 게 아니라 '그럴듯한 다음 단어'를 고릅니다. 그래서 가끔 사실이 아닌 내용을 자신 있게 말합니다(이를 '환각'이라 부릅니다).
2. 당신이 입력한 텍스트가 AI의 예측 방향을 결정합니다. 입력이 모호하면 예측도 모호해지고, 입력이 구체적이면 예측도 정확해집니다.

프롬프트 엔지니어링이란, 결국 AI의 '다음 단어 예측'을 원하는 방향으로 유도하는 기술이다.

토큰: AI가 글을 읽는 단위

사람은 글을 단어 단위로 읽지만, AI는 토큰(token) 단위로 읽습니다. 토큰은 단어보다 작을 수도, 클 수도 있습니다.

영어에서 "ChatGPT is amazing"은 3개의 토큰입니다. 하지만 한국어는 다릅니다. "프롬프트 엔지니어링"은 영어보다 더 많은 토큰으로 쪼개집니다. 한국어가 토큰 효율이 낮다는 뜻인데, 실질적으로 이것이 의미하는 바는 다음과 같습니다:

항목	영어	한국어
같은 내용 작성 시 토큰 수	기준	약 1.5~2배
같은 토큰 한도에서 처리 가능한 텍스트	기준	약 50~65%
비용 (API 사용 시)	기준	약 1.5~2배

프롬프트 작성 시 시사점: 한국어로 길게 설명하는 것보다, 핵심을 간결하게 전달하는 것이 토큰 효율과 답변 품질 모두에서 유리합니다. "불필요한 인사말이나 겸손한 표현을 빼라"는 조언이 여기서 나옵니다.

컨텍스트 윈도우: AI의 '기억력' 한계

AI에게는 **컨텍스트 윈도우(context window)**라는 기억의 한계가 있습니다. 이것은 AI가 한 번에 읽고 처리할 수 있는 텍스트의 최대량입니다.

2026년 3월 기준 주요 모델의 컨텍스트 윈도우는 다음과 같습니다:

모델	컨텍스트 윈도우	대략적 분량
ChatGPT (GPT-4o)	128K 토큰	한국어 약 5만 자
Claude (Sonnet/Opus)	200K 토큰	한국어 약 8만 자
Gemini 2.5 Pro	1M 토큰	한국어 약 40만 자

컨텍스트 윈도우가 크다고 반드시 좋은 것은 아닙니다. 연구에 따르면, 컨텍스트가 너무 길면 AI가 중간 부분의 정보를 놓치는 경향이 있습니다(이를 'Lost in the Middle' 현상이라 부릅니다, Liu et al., 2023).

프롬프트 작성 시 시사점:

• 중요한 지시사항은 프롬프트의 맨 앞이나 맨 뒤에 배치하세요
• 관련 없는 정보를 함께 보내면 답변 품질이 떨어집니다
• 긴 문서를 분석할 때는 핵심 부분을 추출해서 보내는 것이 효과적입니다

온도(Temperature): AI의 '창의성 조절기'

AI에게는 **온도(Temperature)**라는 설정이 있습니다. 0에서 2 사이의 숫자인데, 쉽게 말하면 이렇습니다:

• 온도 0에 가까울수록: 가장 확률 높은 단어만 선택합니다. 일관적이고 예측 가능한 답변. 팩트 기반 작업에 적합합니다.
• 온도 1에 가까울수록: 확률이 낮은 단어도 가끔 선택합니다. 다양하고 창의적인 답변. 글쓰기·아이디어에 적합합니다.
• 온도 2에 가까울수록: 거의 랜덤에 가까운 선택입니다. 실용성보다 실험적 출력입니다.

대부분의 AI 서비스는 기본 온도를 0.7~1.0으로 설정해 둡니다. 일반 사용자가 직접 온도를 조절할 수 있는 경우도 있지만, 프롬프트만으로도 사실상 온도를 조절하는 효과를 낼 수 있습니다:

[팩트 기반, 낮은 온도 효과]
"다음 질문에 대해 사실만 간결하게 답변하세요. 추측이나 의견은 포함하지 마세요."

[창의적, 높은 온도 효과]
"자유롭게 상상력을 발휘해서, 예상치 못한 아이디어 10가지를 브레인스토밍하세요."

시스템 프롬프트 vs 사용자 프롬프트

AI에게 입력되는 텍스트는 크게 두 종류로 나뉩니다:

시스템 프롬프트(System Prompt): AI의 '성격'과 '규칙'을 정하는 지시문입니다. "너는 10년 경력의 마케팅 전문가야"라고 설정하면, 이후 모든 대화에서 그 역할을 유지합니다. ChatGPT의 Custom Instructions, Claude의 System Prompt가 이에 해당합니다.

사용자 프롬프트(User Prompt): 실제 대화에서 입력하는 질문이나 요청입니다.

둘의 관계를 비유하면 이렇습니다. 시스템 프롬프트는 무대 연출 지시이고, 사용자 프롬프트는 배우에게 던지는 대사입니다. 같은 대사라도 무대 설정이 다르면 전혀 다른 연기가 나옵니다.

[시스템 프롬프트 없이]
"이 데이터를 분석해줘" → 일반적이고 피상적인 분석

[시스템 프롬프트 설정 후]
시스템: "너는 15년 경력의 데이터 분석가다. 항상 수치 근거를 제시하고,
        비즈니스 의사결정에 도움이 되는 인사이트 중심으로 분석한다."
사용자: "이 데이터를 분석해줘" → 깊이 있고 실무적인 분석

좋은 프롬프트 vs 나쁜 프롬프트: 결정적 차이 5가지

지금까지의 원리를 종합하면, 좋은 프롬프트와 나쁜 프롬프트의 차이는 명확합니다:

나쁜 프롬프트	좋은 프롬프트	차이를 만드는 원리
"마케팅 전략 알려줘"	"20대 여성 타겟 화장품 브랜드의 인스타그램 마케팅 전략 5가지를 표로 정리해줘"	구체성 — 예측 범위를 좁혀 정확도 향상
"이 글 고쳐줘"	"이 글의 논리적 비약을 찾아서, 각각 왜 문제인지 설명하고 수정안을 제시해줘"	명확한 작업 정의 — AI의 역할과 출력을 특정
(배경 설명 없이) "답변해줘"	"나는 3년차 마케터이고, 상사에게 보고할 자료를 만들고 있어. 전문적이되 이해하기 쉬운 톤으로 답변해줘"	맥락 제공 — 토큰 예측 방향을 정밀하게 유도
"길게 써줘"	"500자 내외로, 소제목 3개를 포함하여 작성해줘"	출력 형식 지정 — 원하는 구조를 명시
(한 번에 모든 것을 요구)	"먼저 개요를 잡고, 내가 확인한 후 본문을 작성하세요"	단계적 접근 — 복잡한 작업을 분해

이 5가지 원칙은 이후 모든 챕터의 프롬프트에 반복적으로 적용됩니다. 외울 필요는 없습니다 — 프롬프트를 쓸 때마다 자연스럽게 체득될 것입니다.

이 시리즈를 200% 활용하는 법

이 시리즈의 프롬프트들은 모두 복사해서 바로 쓸 수 있도록 설계되었습니다. 하지만 최대 효과를 얻으려면 다음을 기억하세요:

1. 프롬프트를 그대로 복사한 뒤, 대괄호 [ ] 안의 내용만 자신의 상황에 맞게 바꾸세요.
2. 결과가 마음에 들지 않으면, 프롬프트를 수정하기보다 "이 부분을 더 구체적으로" 또는 "톤을 더 격식있게"처럼 후속 지시를 하세요. AI는 대화의 맥락을 기억하므로, 한 번에 완벽한 프롬프트를 쓸 필요가 없습니다.
3. ChatGPT, Claude, Gemini 중 아무거나 써도 됩니다. 이 시리즈의 프롬프트는 모든 주요 AI에서 작동합니다. 모델별 차이가 중요한 경우는 8챕터에서 별도로 다룹니다.

다음 챕터에서는 프롬프트를 체계적으로 설계하는 5가지 프레임워크를 배웁니다. "감으로 쓰는 프롬프트"에서 "설계하는 프롬프트"로 한 단계 올라가는 시간입니다.