NHKのサイエンスゼロで、ChatGPTの特集を見たので、書きます。
本番組では、Transformerに注目して、解説していた。
なぜChatGPTが、文脈を理解し（ているように見える）、回答できるのか。
それは、注意機構を使っているからだ。注意機構とは一口に言うと、入力された情報の部分対する重みづけをする手法である。これにより特定の単語の重要度を増して計算することが可能となる。
例えば、本番組で紹介されていたのは、「ホワイトハウスのある、アメリカの首都はどこ？」という文章である。人間の場合、”アメリカ”と”首都”に注目することで、「ワシントン」と答えることができる。
しかし、コンピュータでは、単語がすべて並列で入力されるので、注意機構で重みづけをしなければならない。それを実現するために、各単語をベクトルに変換している。そしてベクトルに変換された単語の関連度を計算することによって、重みづけを達成している。
例えば、ホワイトハウス２０％、アメリカ５０％、首都３５％のように、ベクトル化して関連度を計算し、アメリカと首都に注意ができるようになる仕組みだ。
本当はもっと複雑に何層も連なって抽象的な情報処理をしているのだが、NHKの番組ではここまでの扱いだった。シグモイド関数やら、モデルなんかの解説まで行く番組を期待したいが、まだこれからかもしれない。
ChatGPTの活用事例としては、視覚障害のある方への音声読み上げの目次化が紹介されていた。これまでは、商品の成分や賞味期限の説明文は、上からすべて読み上げる形だった。
そのため必要な情報まで時間がかかっていたが、GPTによる要約で目次を作成して必要情報へのアクセス性を向上させている。
こういった活用シーンが、たくさん生まれるであろう今後に期待です。
