本サイトはアフィリエイト広告(PR)を含みます

AIはどうやって文章を作っている?「次の言葉の予想ゲーム」をやさしく解説

カテゴリ:しくみ

質問をすると、まるで人間のように答えを書いてくれるAI。でも、その中では何が起きているのでしょうか。

むずかしそうに見えますが、基本のしくみは意外とシンプルです。ひとことで言うと、AIがやっているのは「次に来る言葉の予想ゲーム」です。

この記事の結論
AIは、たくさんの文章から学んだ確率をもとに「次に来そうな言葉」を選び、それを何百回、何千回とくり返して文章を作っています。だから文章はとても自然ですが、内容が正しいとは限りません。

1. やっていることは「次の言葉の予想ゲーム」

「むかしむかし、あるところに」と聞いたら、次に来る言葉はなんだと思いますか? 多くの人が「おじいさんが」と答えるはずです。

AIも同じことをしています。ただし、AIは候補ひとつひとつに「どれくらい来そうか」という確率をつけて考えます。

「むかしむかし、あるところに」の次に来る言葉の候補と確率の棒グラフ
次に来る言葉の候補と、その確率(数字はイメージ)

そして、確率の高い言葉を中心に1つを選び、文の続きにつなげます。いつも1位を選ぶとは限らず、ときどき2位や3位を選ぶことで、毎回少しちがう答えになります。同じ質問をしても答えが変わるのはこのためです。

2. 予想を何百回もくり返して、文章になる

1つ言葉を選んだら、またその次の言葉を予想します。「むかしむかし、あるところに おじいさんが」の次は「すんでいました」…というように、1つずつ言葉をつなげていくのです。

長めの答えなら、この予想を何百回、何千回とくり返しています。AIの答えが少しずつ画面に表示されていくのは、まさにこの「1つずつ予想している」様子が見えているからです。

3. 正確には「トークン」という単位で予想している

ここまで「言葉」と書いてきましたが、正確には、AIは文章をトークンという細かいかけらに分けて扱っています。

「むかし/むかし/、/ある/ところ/に」とかけらに分かれた図
文章をトークン(かけら)に分けるイメージ。実際の分け方はAIによってちがいます

トークンは、単語まるごとのこともあれば、単語の一部や記号のこともあります。AIの料金や「一度に読める文章の長さ」がトークンの数で決められていることが多いのは、AIにとっての基本単位がトークンだからです。

4. AIはどうやって「確率」を学ぶの?

AIは、本やWebページなど、ものすごい量の文章を読んで、「この言葉のあとには、こういう言葉が来やすい」というパターンを学習しています。

さらに、人間が「よい答え」「よくない答え」を評価したデータなどを使って調整されることで、ただ文章の続きを書くだけでなく、質問に答えたり、頼まれた作業をしたりするアシスタントとして振る舞えるようになっています。

5. だから「もっともらしい間違い」が起きる

AIは「それっぽい言葉をつなげる」のがとても得意です。そのぶん、知らないことや存在しないことについても、それっぽく答えてしまうことがあります。

存在しない本について聞くと、AIがもっともらしく答えてしまう例
存在しない本について聞いたときの、ありがちな失敗のイメージ

この現象は「ハルシネーション(幻覚)」と呼ばれます。最近のAIは「わかりません」と答えたり、調べた情報の出典を示したりできるようになってきていますが、間違いがゼロになったわけではありません。

6. AIと上手につきあう4つのコツ

この記事の内容を、約50秒の動画にしました
ショート動画「AIはどうやって文章を作る?」の表紙

YouTubeショートで公開予定

まとめ

関連記事:AIで副業を始める前に知っておきたい5つの注意点