“AI 답변이 너무 딱딱해요.” vs “너무 뜬구름 잡는 소리만 해요.”
이걸 조절하는 파라미터가 있습니다. 바로 Temperature(온도)입니다.
여러분이 AI API를 쓰거나 설정(Playground)을 만져본다면, 0.0에서 1.0 (또는 2.0) 사이의 숫자를 보게 될 겁니다.
이 숫자가 AI의 성격을 바꿉니다.
1. 30초 요약 (냉정과 열정 사이)
- 낮은 온도 (0.0 ~ 0.3): 이성적, 논리적, 반복적.
- 가장 확률이 높은 단어만 선택.
- 언제 물어봐도 똑같은 대답.
- 용도: 코딩, 팩트 요약, 법률 문서, 수학 문제.
- 높은 온도 (0.7 ~ 1.0+): 감성적, 창의적, 무작위적.
- 확률이 낮은 의외의 단어도 선택.
- 물어볼 때마다 다른 대답. (가끔 헛소리 할루시네이션 위험 증가)
- 용도: 시 쓰기, 아이디어 브레인스토밍, 소설 쓰기.
2. 당신이 몰랐던 진실: 최적의 온도는?
보통 기본값은 0.7 정도입니다. 적당히 말을 잘하는 수준이죠.
하지만 블로그 글을 쓸 땐 1.0 가까이 올리는 게 좋습니다. 그래야 뻔하지 않고 사람 냄새 나는 독창적인 글이 나옵니다.
반대로 정보를 정확히 추출(요약)해야 할 땐 0으로 두세요. AI가 딴짓 안 하고 기계적으로 일만 합니다.
3. 실전 활용법: Top P와의 관계
Temperature랑 비슷한 Top P (Nucleus Sampling)라는 설정도 있습니다.
둘 다 ‘다양성’을 조절합니다.
보통은 “둘 중 하나만 건드려라”가 국룰입니다.
Temperature를 조절하든, Top P를 조절하든 효과는 비슷하니, 헷갈리면 그냥 Temperature 하나만 기억하고 쓰세요.
4. 도구로 해결하기 (feat. 토큰 계산기)
“창의적으로 쓰게 하면 토큰이 더 드나?”
그렇진 않습니다. 하지만 답변이 길어질 순 있겠죠.
- 다양한 프롬프트 실험을 해보세요.
- 온도를 바꿔가며 같은 질문을 던져보세요.
- 온도 0.8일 때의 글 솜씨와, 온도 0.2일 때의 글 솜씨를 비교해보면 확연한 차이를 느낄 수 있습니다.
온도 조절이 곧 지휘입니다.
상황에 맞춰 AI를 냉철한 분석가로 만들 수도, 뜨거운 예술가로 만들 수도 있습니다.