“책 한 권을 통째로 읽고 요약해줄 수 있나요?”
예전 AI는 불가능했습니다. 몇 장 읽으면 앞 내용을 까먹었거든요.
하지만 지금은 됩니다. 바로 컨텍스트 윈도우(Context Window)가 엄청나게 커졌기 때문입니다.
이것은 AI가 ‘한 번에 머릿속에 담아둘 수 있는 정보의 양’을 의미합니다.
1. 30초 요약 (책상 크기)
여러분이 공부할 때 책상(Window)이 좁으면 책을 한 권밖에 못 펴놓죠?
책상이 넓으면 전공 서적 10권을 동시에 펴놓고 참고하며 논문을 쓸 수 있습니다.
- GPT-3.5: 책상 좁음 (약 4~8천 토큰. A4 용지 10장 분량)
- GPT-4 Turbo / Gemini 1.5: 운동장만한 책상 (12만~100만 토큰. 책 수십 권 분량)
컨텍스트 윈도우가 클수록 긴 문맥을 이해하고, 훨씬 복잡한 작업을 수행할 수 있습니다.
2. 당신이 몰랐던 진실: 비용의 함정
“무조건 큰 게 좋은 거 아냐?”
문제는 비용과 정확도입니다.
- 비용: 입력값(프롬프트)이 길어지면 그만큼 토큰 요금이 기하급수적으로 늘어납니다. 책 한 권 몽땅 넣고 질문하면 커피값 몇 잔 나옵니다.
- 니들 인 어 헤이스택(Needle In A Haystack): 정보가 너무 많으면, 그 사이에 숨어 있는 작은 정보를 못 찾고 헤매는 현상이 발생합니다. 너무 넓은 책상은 오히려 집중력을 해칠 수도 있습니다.
3. 실전 활용법: RAG (검색 증강 생성)
컨텍스트 윈도우가 아무리 커져도, 회사 전체의 데이터베이스를 다 넣을 순 없습니다. 요금 폭탄 맞습니다.
그래서 RAG(Retrieval-Augmented Generation) 기술을 씁니다.
- 검색: 질문과 관련된 ‘핵심 정보’만 도서관(DB)에서 찾아옵니다.
- 주입: 찾아온 정보만 AI의 컨텍스트 윈도우에 쏙 넣어줍니다.
- 답변: AI가 그걸 보고 대답합니다.
이러면 적은 토큰으로도 정확하고 방대한 지식을 다룰 수 있습니다.
4. 도구로 해결하기 (feat. 토큰 계산기)
“이 논문, 한 번에 들어갈까?”
확인하고 넣으세요. 짤리면 낭패니까요.
- 텍스트 전체를 붙여넣어 토큰 수를 확인합니다.
- 사용하려는 모델의 한도(Limit)와 비교해보세요. (예: GPT-4o는 128k)
- 한도를 넘는다면? 내용을 쪼개서(Chunking) 넣거나 요약해서 넣어야 합니다.
기억력이 곧 지능입니다.
하지만 무제한 기억력은 없습니다. 제한된 윈도우를 효율적으로 쓰는 것이 프롬프트 엔지니어링의 핵심입니다.