AIはどうやって賢くなるのか:事前学習・追加調整・人の評価を生活の例で解説

3段階の早見表

• 事前学習、新人教育でいうと：入社前の大量の読書、使うもの：大量のテキスト、主に変わること：言葉の使い方や幅広い知識の土台ができる、変わらない・残る問題：指示に沿う応答や正確さが保証されるわけではない
• 追加調整、新人教育でいうと：先輩の手本を見る段階、使うもの：指示と望ましい応答のペア、主に変わること：指示に沿った形式で答えやすくなる、変わらない・残る問題：手本にない場面では外れることがある
• 人の評価、新人教育でいうと：複数案の比較講評、使うもの：複数の答えへの人の順位づけ、主に変わること：評価で好まれた答えに寄る、変わらない・残る問題：評価した人の好みや基準が反映される

各段階で何が起きているか

事前学習:まず「読んで」土台をつくる

事前学習では、大量のテキストを使って言語モデルを訓練します。GPT-3の論文は、従来の自然言語処理の進め方を「大規模なテキストで事前学習し、その後に特定のタスク向けに微調整する」ものと説明しています(Language Models are Few-Shot Learners)。

この段階のモデルは、文章の続き方を学んでいますが、指示に従うよう調整されているとは限りません。質問に答える代わりに、質問文の続きを書く場合もあります。

追加調整:手本で「仕事の型」を覚える

OpenAIのInstructGPT論文では、まずラベラー(評価作業者)が書いたプロンプトとAPIに寄せられた実際のプロンプトから、望ましい動作の手本データを集め、GPT-3を教師あり学習で微調整しています(Training language models to follow instructions with human feedback)。

新人教育で言えば、「この依頼にはこう答える」という先輩の対応例を見せる段階です。依頼の意図に沿った形で返すよう調整します。

人の評価:比べて「好まれる答え」に寄せる

次に、モデルの複数の出力を人が順位づけしたデータを集め、それを使って強化学習で追加の微調整を行います。これがRLHF(人のフィードバックによる強化学習)です。同論文は、1.3Bパラメータのモデルの出力が、100倍大きい175BのGPT-3より人に好まれたと報告しています。真実性の向上と有害な出力の減少も報告されています。

この論文では、評価対象となったプロンプトで、モデルの規模だけでは指示への応答の好まれやすさを説明できない例が報告されています。ただしこれは当時の論文の評価で、「人に好まれる」ことと「正確である」ことは同じではありません。

人の代わりにAIが評価する方式もある

Anthropicが発表したConstitutional AIは、人の代わりにAIがフィードバックを出す方式(RLAIF)です。モデルが自分の回答を批評して改善し、その修正版で再訓練します。続いてAIが2つの回答のどちらが良いかを、あらかじめ決めた原則のリストに照らして判定し、その判定を報酬の信号にして強化学習を行います(Constitutional AI: Harmlessness from AI Feedback)。

先ほどのたとえなら、上司の講評の一部を、社内の行動指針に照らした自己点検やピア評価に置き換えるイメージです。

ニュースの学習用語の読み替え表

• 「膨大なデータで学習」、読み替え：入社前の大量読書。仕事の型はまだ別、どの段階か：事前学習
• 「パラメータ数が増えた」、読み替え：モデルの規模が大きくなった。指示への応答や正確さが自動的に良くなるとは限らない、どの段階か：主に事前学習
• 「ファインチューニングした」、読み替え：特定の仕事向けにOJTで手本を見せた、どの段階か：追加調整
• 「人間のフィードバックで改善」「RLHF」、読み替え：上司が複数案を見比べて講評した、どの段階か：人の評価
• 「AIフィードバック」「憲法AI」、読み替え：原則を示し、AIに回答を評価させる方法もある、どの段階か：AIフィードバックを使う学習
• 「安全性を調整した」、読み替え：避けるべき答えを講評で減らした。ゼロにしたとは限らない、どの段階か：追加調整・人の評価
• 「ベンチマークで首位」、読み替え：決まった試験での成績。実務で使いやすいかは別、どの段階か：学習後の評価

ニュースを読むとき、AIに聞く依頼文

記事中の学習関連の一文を、次の依頼文でAIに整理させられます。これは筆者が用意した例で、実際に実行した結果ではありません。確認する対象は、公開されている記事の文章にしてください。社内資料など機密のものを貼る場合は、固有名詞を「A社」「製品X」に置き換えます。

次の文は、AIニュースの一部です。
(ここに記事の一文を貼る)

次の3点を、中学生にも分かる言葉で整理してください。
1. 事前学習、追加調整、人の評価のうち、どの段階の話か
2. その作業で変わること、変わらないこと
3. 記事だけでは分からないこと(データの中身、評価した人の数、評価基準など)

分からない点は推測で埋めず、「記事からは不明」と書いてください。

AIの整理は、そのまま事実にはなりません。「どの段階か」の判定は、元記事や発表資料の記述と突き合わせてください。特に、記事に書かれていない部分をAIが補っていないかを確認します。

読み替えるときの注意

• 学習したから正しいとは限らない。 人の評価は「好まれる答え」を増やしますが、もっともらしい誤りを完全に防ぐものではありません。重要な数字や日付は、元の資料で確認します。
• 会話の中で教えることと、モデルの再学習は別物。 GPT-3論文は、モデルの重みを更新せず、テキストでの指示と少数の例だけで新しいタスクに対応できると報告しています。入力した内容が保存されるか、改善に使われるかは製品の設定や規約で決まるので、各サービスの説明で確認が必要です。
• 段階の名前は各社で違う。 「事後学習」「アライメント」などの呼び方が使われることもあります。名前よりも、「何を見せたか(文章、手本、比較)」と「誰が評価したか(人、AI)」を探すと読み解きやすくなります。