강의 시작합니다!
ChatGPT나 DeepSeek을 쓸 때 보면 글자가 한 글자씩 톡톡 튀어나오죠. LLM이 본질적으로 하는 일은 단 하나, 바로 ’다음에 올 글자 맞히기’이기 때문입니다. 아래 5단계로 대형 언어 모델의 원리를 쉽게 정리해 드릴게요.
1단계, 텍스트를 토큰으로 쪼개기. 모델은 글자를 모릅니다. 오직 숫자만 알아요. 그래서 문장을 먼저 작은 조각들로 잘라야 하는데, 이 조각을 ’토큰(Token)’이라고 부릅니다. 한국어는 보통 한 글자가 하나의 토큰이 되기도 하고, 긴 영어 단어는 서너 토막으로 잘립니다. 각 토큰마다 고유 번호가 매겨져 있어서, 모델이 실제로 보는 것은 숫자의 나열뿐입니다.
2단계, 다음 토큰 예측하기. 앞에 나온 토큰들을 모델에 전달하면, 모델은 사전에 등록된 모든 토큰 후보에 확률 점수를 매깁니다. 그중 가장 그럴듯한 토큰 하나를 골라 문장 뒤에 이어 붙이고, 다시 전체 문장을 모델에 넣어 그다음 토큰을 맞히는 과정을 반복합니다. 여기에 ’온도(Temperature)’라는 파라미터가 있어요. 온도를 낮추면 가장 뻔하고 안전한 단어만 고르고, 온도를 높이면 과감하게 의외의 단어를 선택합니다. 같은 질문을 두 번 던져도 매번 답변이 달라지는 이유가 바로 이 온도 때문입니다.
3단계, 모델은 이걸 어떻게 배웠을까. 먼저 상상을 초월하는 방대한 텍스트를 읽힙니다. Meta의 Llama 3는 무려 15조 개 이상의 토큰을 학습했어요. 학습 과정은 초거대 빈칸 채우기 게임과 같습니다. 다음 글자를 가려놓고 모델에게 맞히라고 한 뒤, 틀리면 내부 파라미터를 미세하게 조정합니다. 가장 큰 Llama 3.1은 무려 4,050억 개의 파라미터를 가지고 있으며, 모델이 학습한 세상의 모든 지식은 결국 이 방대한 가중치 숫자로 압축됩니다.
4단계, 문맥 파악하기. 2017년 구글이 발표한 트랜스포머(Transformer)의 핵심은 바로 ‘어텐션(Attention)’ 메커니즘입니다. 문장 안의 모든 단어가 서로를 바라보며 누가 나와 연관성이 높은지 계산합니다. 똑같은 ’사과’라도 옆에 ’먹다’가 있으면 과일이 되고, 옆에 ’발표’나 ’스마트폰’이 있으면 테크 기업 Apple이 됩니다. 이러한 어텐션 레이어를 수십에서 수백 겹씩 층층이 쌓아 올립니다.
5단계, 대화하는 법 가르치기. 방금 사전 학습을 마친 기본 모델은 그저 글을 이어 쓰는 재주밖에 없습니다. “한국의 수도는 어디인가요?“라고 물으면 대답하는 게 아니라 또 다른 질문을 지어내기도 하죠. 그래서 수많은 고품질 질의응답 예시를 보여주며 튜닝하고, 사람이 답변 품질을 채점해 순위를 매기는 인간 피드백 강화학습(RLHF)을 거쳐 비로소 여러분이 매일 쓰는 똑똑한 AI 어시스턴트로 완성됩니다.
마지막으로 꼭 주의해야 할 것: 환각(Hallucination). 모델은 어디까지나 ’가장 그럴듯하게 이어질 다음 글자’를 쓸 뿐이지, 백과사전 데이터를 실시간으로 검색해 확인하는 것이 아닙니다. “이순신 장군과 나폴레옹이 언제 만났어?“라고 물으면 그럴싸한 가상의 회담 스토리를 천연덕스럽게 지어낼 수 있습니다. 중요한 사실 관계는 반드시 스스로 다시 크로스 체크해 보세요.
토큰으로 쪼개고, 다음 단어를 맞히고, 방대한 빈칸 채우기로 학습하고, 어텐션으로 문맥을 읽고, 대화 훈련을 거친다. 이것이 바로 대형 언어 모델의 본질입니다. 여러분은 이 모델이 진짜로 세상을 ’이해’하고 있다고 생각하시나요?
