“번역기가 갑자기 왜 이렇게 똑똑해진 거야?”
2017년, 구글이 논문 하나를 발표합니다. “Attention Is All You Need (어텐션만 있으면 돼).”
이 논문에서 제안된 모델이 바로 트랜스포머(Transformer)입니다.
지금의 ChatGPT(Generative Pre-trained Transformer), BERT, Gemini 모든 최신 AI의 조상님이자 뼈대입니다. 영화 트랜스포머가 아닙니다.
1. 30초 요약 (주목해!)
옛날 모델(RNN)은 문장을 순서대로 읽었습니다. “나는… 밥을… 먹었다…”
앞에 내용 까먹고, 속도도 느렸죠.
트랜스포머는 문장 전체를 한눈에(병렬 처리) 봅니다.
그리고 어텐션(Attention) 메커니즘을 써서 중요한 단어끼리 연결합니다.
* “그는 사과를 깎아 그녀에게 주었다.”
* 여기서 ‘그’가 누구인지 문맥 전체를 보고 파악합니다.
덕분에 속도도 빠르고, 문맥 이해력도 인간을 넘어섰습니다.
2. 당신이 몰랐던 진실: 엔비디아 주가 폭등의 원인
트랜스포머 모델은 행렬 연산을 엄청나게 많이 합니다. 동시다발적으로 계산해야 하거든요.
이걸 제일 잘하는 게 GPU(그래픽 카드)입니다.
그래서 AI 붐이 일면서 GPU를 만드는 엔비디아가 떡상한 겁니다. 트랜스포머 구조가 세상을 바꿨다고 해도 과언이 아닙니다.
3. 실전 활용법: 우린 뭘 하면 되나?
우리가 트랜스포머 구조를 뜯어고칠 순 없습니다.
하지만 이 모델의 특성을 알면 좋습니다.
“문맥(Context)을 한 번에 본다”는 점을 이용하세요.
- 글을 쓸 때 앞뒤 문맥이 매끄럽게 연결되도록 프롬프트를 구성하세요.
- 관련 정보를 멀리 떨어뜨려 놓아도(문장 처음과 끝), 트랜스포머는 Attention으로 찾아냅니다. 너무 걱정 말고 정보를 다 때려 넣으세요.
4. 도구로 해결하기 (feat. 토큰 계산기)
“트랜스포머가 한 번에 처리하는 양?”
그게 바로 컨텍스트 윈도우(토큰 한도)입니다.
- 트랜스포머의 ‘주목(Attention)’ 연산 비용은 입력 길이가 길어질수록 제곱으로 늘어납니다. (입력이 2배 길어지면 계산은 4배 힘듦)
- 그래서 긴 문맥을 처리하는 모델이 비싼 겁니다.
- 꼭 필요한 핵심 정보만 추려서(토큰 절약) 입력하는 습관이 중요합니다.
역사는 2017년 전과 후로 나뉩니다.
트랜스포머의 등장으로 기계는 비로소 언어를 이해하게 되었습니다. 우리는 그 어깨 위에 올라타 있는 겁니다.