“AI한테 질문했더니 토큰이 부족하대요. 동전 넣으라는 건가?”
비슷합니다. 우리는 글을 셀 때 ‘글자 수’나 ‘어절’로 세지만, AI(ChatGPT, Gemini)는 ‘토큰(Token)’이라는 단위로 셉니다.
이 토큰의 개수에 따라 API 사용료(돈)가 나가기도 하고, 기억할 수 있는 대화의 길이(Context Window)가 결정되기도 합니다.
AI 시대를 살아가는 현대인의 필수 상식, 토큰을 해부합니다.
1. 30초 요약 (단어 조각)
토큰은 ‘의미를 가진 최소 단위의 문자 조각’입니다.
- 영어: 단어 하나가 보통 1토큰입니다. (apple -> 1 token)
- 한국어: 불리합니다. 글자 하나하나가 쪼개질 때가 많습니다. (사과 -> 2~3 token 이상일 수 있음)
평균적으로 영어 단어 100개 ≈ 75 토큰 정도라고 봅니다.
하지만 한국어는 같은 내용을 써도 영어보다 토큰을 2~3배 더 잡아먹는 경우가 많습니다. (비용 2배…)
2. 당신이 몰랐던 진실: AI의 기억력 한계
“왜 챗GPT는 앞의 내용을 까먹을까?”
지능이 낮아서가 아니라 토큰 제한(Max Tokens) 때문입니다.
AI 모델마다 ‘한 번에 입력받을 수 있는 토큰 수’가 정해져 있습니다. (예: 4096 토큰, 8K, 32K, 128K)
여러분이 긴 글을 계속 입력하면, AI는 용량 확보를 위해 가장 오래된 앞부분의 대화(토큰)를 삭제해버립니다. 붕어 기억력이 되는 이유죠.
3. 실전 활용법: 토큰 아끼는 프롬프트
API를 써서 서비스를 만들거나, 긴 작업을 시킬 땐 ‘경제성’을 생각해야 합니다.
- 영어 사용: 번역기를 쓰더라도 영문으로 질문하고 영문으로 답변받는 게 토큰(돈)을 절약하는 길입니다.
- 명확한 지시: “주절주절 길게 말해줘”보다는 “핵심만 요약해줘”가 토큰을 아낍니다.
- 컨텍스트 초기화: 주제가 바뀌면 새 채팅창(New Chat)을 여세요. 이전 대화 기록까지 다 토큰으로 계산되니까요.
4. 도구로 해결하기 (feat. 토큰 계산기)
“내 글이 몇 토큰이지? 돈은 얼마나 나올까?”
직접 세지 마세요. 계산기가 있습니다.
- 여러분의 프롬프트나 텍스트를 붙여넣으세요.
- 정확한 토큰 수와 GPT-4 기준 예상 비용을 알려줍니다.
- 한국어와 영어가 얼마나 차이 나는지 직접 비교해보세요. 충격받으실 겁니다.
토큰은 곧 돈입니다.
디지털 시대의 새로운 화폐 단위를 이해하고 스마트하게 AI를 부리세요.