“컴퓨터는 0과 1밖에 모르는데, 어떻게 ‘사랑’이란 단어를 알지?”
신기하죠? 컴퓨터에게 “사과”와 “배”는 비슷하고, “사과”와 “자동차”는 다르다는 걸 어떻게 가르칠까요?
단어를 숫자의 좌표(벡터)로 바꿔주면 됩니다. 이것이 임베딩(Embedding)입니다.
AI의 모든 마법은 여기서 시작됩니다.
1. 30초 요약 (의미의 지도)
단어들을 거대한 다차원 공간의 지도 위에 점을 찍는다고 상상해보세요.
- 왕(King) – 남자(Man) + 여자(Woman) = ??
이 벡터 연산을 하면 놀랍게도 여왕(Queen)의 좌표가 나옵니다.
임베딩을 통해 단어 사이의 ‘관계’와 ‘의미적 거리’를 수학적으로 계산할 수하게 된 것입니다.
“사과”는 “배” 옆에 찍히고, “자동차”는 저 멀리 찍히겠죠.
2. 당신이 몰랐던 진실: 벡터 검색(Vector Search)
“비슷한 글 찾아줘” 할 때, 옛날엔 키워드가 똑같이 들어가야만 찾았습니다(Keyword Search).
하지만 지금은 벡터 검색을 씁니다.
사용자가 “배고플 때 먹는 거”라고 검색해도 -> “피자, 햄버거, 맛집”을 찾아줍니다.
‘배고픔’과 ‘음식’이 임베딩 공간에서 가깝게 위치하기 때문입니다. 넷플릭스 추천, 구글 검색이 다 이 원리입니다.
3. 실전 활용법: 내 블로그 연관 글 추천
관련 글(Related Posts) 플러그인 중에 ‘문맥 기반’ 추천 기능이 있다면, 그게 바로 임베딩 기술을 쓴 겁니다.
단순히 태그가 같아서가 아니라, 글의 내용(맥락)이 비슷해서 추천해주는 거라 클릭률이 훨씬 높습니다.
워드프레스 고수들은 벡터 DB를 활용해 직접 추천 시스템을 구축하기도 합니다.
4. 도구로 해결하기 (feat. 토큰 계산기)
“임베딩 API도 토큰 돈 받나?”
네, 받습니다. 텍스트를 숫자로 바꾸는 데 비용이 듭니다.
- 내 블로그 글 전체를 임베딩하려면 몇 토큰인지 계산해보세요.
- OpenAI의
text-embedding-3-small같은 모델은 엄청나게 쌉니다. (몇백 원이면 책 한 권 임베딩 가능) - 이 저렴한 비용으로 내 사이트에 ‘AI 지능형 검색’을 달 수 있습니다.
언어를 숫자로, 숫자를 다시 지능으로.
임베딩은 인공지능이 인간의 언어를 이해하는 번역기이자 연결 고리입니다.