工学博士　井坂 暁 氏

昨年11月、ChatGPTが一般公開され世界に大きな衝撃を与えた。私たちの生活やビジネスに今後どのような影響を及ぼすのだろうか。連載「ニューノーマル時代の情報力」を執筆する井坂氏がその本質を語る。

ChatGPTがなぜ今話題なのか

2022年11月30日、サンフランシスコの非営利ベンチャー企業OpenAIは、同社のウェブサイトにて自然言語の対話システム、「ChatGPT」を一般公開した。人間とコンピューターが日常会話のように対話できる情報システムは、すでに顧客対応サービスなどで一般的なので珍しくない。だから、そのようなイベントに初日からユーザーが多く集まるのは稀だ。しかしChatGPTは、公開後たった５日間で100万人超のユーザーが集まるという記録的なイベントになった。いかにインターネットの威力といえども、あのTwitterでさえ100万人のユーザーを集めるのに２年、Instagramでも３カ月かかっている。

なぜ今ChatGPTが生まれ、話題を集めるのか。GPTの頭文字、G（Generative＝生成）、 P（Pre-trained＝事前訓練）、T（Transformer＝変換器）の意味を理解してその背景と本質を考えてみよう。

ChatGPTが公開される５年前の2017年、Transformer（トランスフォーマー）と呼ばれる技術がGoogleの研究員らによって発表された。人間が話す単語の列を機械によって処理するうえで、従来は単語列にそって逐次処理をするため時間や労力がかかり、大量の言語データを処理するのが困難だった。この問題を解決し、データを並列に効率よく処理できるよう改善した技術がトランスフォーマーだ。ChatGPTが生まれる直接のきっかけである。この技術によって、従来の手法では想像もできないほど大規模な言語モデルと呼ばれる文字予測のシステムが作れるようになる。

文字予測とは、スマホのオートコンプリートのように、ユーザーが文字をいくつか入力するとその先の文字を機械が予測してくれるシステムだ。従来の言語モデルでは１、２文字、または１文章を予測するのが限界だったが、大規模言語モデルを使うと数千文字先まで予測できる。そうなると、ある程度の文字を入力すれば報告書のような大きな作文も自動的に作れてしまう。

その翌年の2018年、Googleはトランスフォーマーを応用した大規模言語モデル「BERT」を発表する。同年、OpenAIも独自の大規模言語モデル「GPT」を発表する。これらのモデル構築には特殊な工夫がある。従来は言語モデルを作るために手動でラベル付けした教師データが必要だったが、生成型（generative）の機械学習法によってラベルのないデータで機械の初期パラメーターを事前訓練（pre-trained）させ、その後に機械をファインチューニング（微調整）するという手段が用いられるようになる。この工夫によってデータとの近似性能が大幅に高まることが2006年のヒントン教授らの研究で知られている。つまりGPTのGはラベル付け作業を省く生成型機械学習、Pは事前訓練による機械の初期値設定、Tはトランスフォーマーによる並列処理、という３つの技術的工夫を表す名前なのである。

---

---

言語以外に画像や音声なども自動生成可能に

基礎技術を最初に開発したGoogleだが、BERTを発表して以来その後の改良版は、社会への影響を考慮して意図的に公開しなかった。一方OpenAIは2019年にGPT-2、2020年にGPT-3とより大きな言語モデルを作り公開し続ける。特にGPT-3は文章生成能力が極めて高く、ソーシャルメディアで大きな話題になる。この頃から大規模言語モデルを危険視する声が上がり始める。そして2022年、OpenAIはGPT-3をさらに改良したGPT-3.5をもとに、人間が対話（Chat）しやすいように工夫を凝らしたシステム、ChatGPTをリリースする。初日からあっという間に100万人を超えるユーザーが集まったのはこのような背景があったからだ。

技術発展は言語だけではない。2020年、Google研究員らはトランスフォーマーの技術が画像にも応用できるとする論文を発表する。翌年の2021年、OpenAIは言語データから画像を自動生成するシステムDALL-Eを発表する。このシステムを使うと、例えば「象が空を飛んでいる絵を北斎のスタイルで描け」といえば自動的にそのような画像が生成される。OpenAIはさらに音声（Whisper）やコンピューターコード（Codex）などを自動で生成するシステムも開発している。

これらの言語、画像、音声、プログラムなどを自動生成する技術を総括してGenerative AI（生成AI、生成型人工知能）と一般に呼ばれるようになった。先導するGoogleやOpenAI以外にも競合企業は急速に増えている。このような急速な技術革新の背景に、コンピューターの性能向上とコスト低下があるのは当然だが、それに伴う研究開発の環境変化も無視できない。

---

この記事の続きを見たい方
バックナンバーはこちら