授業を始めます！
ChatGPTやDeepSeekを使っていると、画面に文字が1つずつポツポツと現れますよね。なぜあのような出方をするかというと、大規模言語モデルの本質が**「次の言葉を予測する」**こと、ただそれだけだからです。5つのステップでその仕組みを紐解いてみましょう。

ステップ1：文章を「トークン」に切り分ける
モデルは言葉そのものを理解しているわけではなく、数字しか読めません。そのため、入力された文章はまず小さなピースに切り分けられます。この最小単位を「トークン」と呼びます。漢字やひらがなは1文字が1トークンになることが多く、長い英単語は複数のパーツに分解されます。すべてのトークンには固有のID番号が割り当てられており、モデルが実際に見ているのはただの「数字の羅列」なのです。

ステップ2：次のトークンを予測する
これまでに並んだトークンをモデルに入力すると、モデルは辞書にあるすべてのトークンに対して「次に来る確率」を計算します。その中から確率の高いものを1つ選んで文末に追加し、その文章全体を再びモデルに戻してまた次の単語を予測する……これを繰り返します。ここで重要なのが「温度（temperature）」という設定値です。温度を下げると常に一番無難な単語を選び、温度を上げると意外性のある面白い単語を選ぶようになります。同じ質問をしても毎回答えが少し変わるのはこのためです。

ステップ3：どうやって学習するのか？
モデルはまず、天文学的な量の文章を読み込みます。例えばMetaの「Llama 3」は15兆個以上のトークンを学習しました。学習の本質は、超巨大な「穴埋め問題」です。次に来る単語を隠してモデルに当てさせ、間違えたら内部のパラメータをほんの少しだけ微調整します。最大サイズのLlama 3.1には4,050億個ものパラメータがあり、学習で得た知識はすべてこの膨大な数字の中に刻み込まれています。

ステップ4：文脈を理解する力（アテンション）
2017年にGoogleが発表した「Transformer」の核心が「アテンション（Attention：注意機構）」です。文章内のそれぞれの単語が他のすべての単語を見渡し、「どの単語と自分が強く関連しているか」を判断します。同じ「りんご」という言葉でも、「食べる」「甘い」の近くにあれば果物ですし、「発表会」「スマホ」の近くにあれば企業のAppleだと見分けられます。このアテンション層を何十層から100層以上も積み重ねることで、深い文脈理解が生まれます。

ステップ5：対話できるように躾ける（アライメント）
事前学習を終えたばかりのモデルは、単に「続きの文章を書く」ことしかできません。質問を投げかけても、勝手に続きの質問を作り始めてしまうこともあります。そこで、膨大な「問いと答えの模範例」を与え、人間が回答を評価・採点して好ましい答え方を教え込みます。こうして、私たちが日常的に親しんでいる便利なAIアシスタントが完成するのです。

最後に注意したいのが「ハルシネーション（幻覚）」です。
モデルは「もっともらしい次の単語」を繋いでいるだけで、事実を辞書で調べているわけではありません。「魯迅と周樹人は喧嘩したことがありますか？」と聞くと、もっともらしく架空の仲違いエピソードを語り出すことがあります。しかし実際は、周樹人の筆名が魯迅であり同一人物です。重要な事実関係は、必ず自分の目で裏取りすることをお忘れなく。

トークンに分解し、次の言葉を予測し、膨大な穴埋めで鍛え、アテンションで文脈を読み、対話の仕方を教える——これが大規模言語モデルの全貌です。あなたはこのAIが、本当に言葉の「意味」を理解していると思いますか？