作品名を先に伝えると、AIの設計は変わるか

何を確かめるのか：問いを三つに分ける

「AIの設計は変わるか」は広すぎるので、数えられる問いに分けます。

1. 名前由来の語は増えるか。 名前に含まれる言葉やその類義語が、舞台・役割・雰囲気に現れる案の割合が変わるかを見ます。
2. 案は寄るのか、広がるのか。 名前を伝えたときに、案同士の舞台や遊びの型が似てくるのか、むしろ散らばるのかを見ます。
3. 効いているのは名前の意味か、名前があること自体か。 意味のある名前と、意味を持たない造語の名前を比べて切り分けます。

三つ目の問いのために、条件を三つ用意します。

• A：名前なし、内容：作品名を伝えず、共通の依頼文だけを渡す
• B：意味のある名前、内容：冒頭で「作品名は『夜明けの渡し舟』です」と伝える
• C：造語の名前、内容：冒頭で「作品名は『ミレオタ』です」と伝える

BとCの名前は、この実験のための仮の名前です。実在の作品や商品と重ならない言葉を、自分で選び直しても構いません。

準備するもの

• 使うAIは1つに決めます。モデルや設定を途中で変えると、名前以外の差が混ざります。
• 会話履歴や記憶機能の影響を避けるため、毎回新しい会話を開始できる環境を用意します。過去の会話を参照する機能があるときは、切っておきます。
• 共通の依頼文を1つ作り、実験の終わりまで一文字も変えません。例を挙げます。

ブラウザで遊べる小さなゲームの案を3つ出してください。1回の遊びは3分ほど、操作は矢印キーとクリックだけ、画面は1枚です。各案について、舞台、プレイヤーの役割、1回の遊びの流れ、雰囲気を書いてください。

• 記録用の表計算シートを2枚用意します。1枚は出力と要素の記録、もう1枚は「どの回がどの条件か」の対応表です。
• 出力を貼り付けるための文書ファイルを用意します。回ごとに見出しを付けます。

依頼文は、わざと名前に頼らず答えられる内容にしています。名前がなくても案が出せるからこそ、名前を足したときの差が見えます。

手順と記録の取り方

手順

1. 条件ごとに5回、合計15回の実行を割り当てます。順番は条件ごとにまとめず、くじなどで並べ替えます。朝はAだけ、夜はBだけ、のようにすると、時間帯や環境の差が条件に混ざります。
2. 各回、新しい会話を開き、条件に応じて冒頭の一文を付けるか付けないかを決めて、共通の依頼文を送ります。
3. 出力が返ったら、再生成や追加の質問はせず、そのまま保存します。気に入らなくても取り直しません。取り直しを許すと、実験者の好みが条件に混ざります。
4. 15回が終わるまで、出力の中身を比べません。途中で比べると、次の回の依頼文や読み方に無意識の修正が入ります。

回の番号を伏せる

保存するときに、各回に乱数の番号（例：R07、R12）を付け、条件との対応は別のシートに書きます。要素を数える作業は、対応表を見ないまま行います。

ただし、出力に作品名がそのまま書かれていると、条件が見えてしまいます。名前が出てくる箇所は「◯◯」に置き換えてから読みます。置き換えは機械的に行い、作業前に済ませておきます。

案を要素に分けて記録する

各回の出力には案が3つ含まれるので、1案を1行として、合計45行を記録します。列は次のとおりです。

• 回の番号・案の番号、記録すること：例：R07-2
• 舞台、記録すること：場所と時間帯を短い語で（例：港、夜明け前）
• プレイヤーの役割、記録すること：例：渡し守、配達人、観察者
• 中心の動作、記録すること：遊びの流れで繰り返す動詞を1つ（例：運ぶ、並べる、避ける）
• 雰囲気の語、記録すること：出力に出てきた形容を最大3つ
• 名前由来語、記録すること：名前の語、またはその類義語が舞台・役割・雰囲気に出ていれば「有」、なければ「無」

「名前由来語」の判定は、事前に基準を決めます。条件Bなら「舟」「渡す」「夜明け」「川」「水辺」を一覧にして、それらが出ていれば有とします。条件Aと条件Cの出力にも、同じ一覧を当てはめます。一覧を後から増やすと恣意的になるので、作業前に固めます。

造語のCは名前に意味がないため、Bと同じ一覧を使います。「造語を伝えたのに、Bの語が出てしまうか」も確かめる対象になります。

結果の読み方

15回分の記録がそろったら、対応表を開き、条件ごとに三つの数字を出します。

1. 名前由来語を含む案の割合（各条件15案のうち何案か）。まずAの割合を基準にします。名前を伝えなくても「川」や「舟」が出ることはあるので、Aの数字が基準線になります。

2. 舞台の種類数（各条件15案のうち、何種類の舞台が出たか）。種類が少ないほど案が寄っています。多いほど散らばっています。

3. 中心の動作の種類数。舞台が寄っても、遊びの型まで寄るとは限りません。舞台は水辺に寄るのに動作は散らばる、という形もありえます。

読み方の目安を、条件の組み合わせごとに整理します。

• BがAより名前由来語の割合が高く、CはAと近い。 名前の「意味」が提案を引き寄せていると読めます。
• BもCもAより高い。 意味に関係なく、名前を伝えること自体が影響していると読めます。造語に何らかの連想を付けている可能性もあるので、Cの出力で名前由来語以外に目立つ傾向がないかも見ます。
• A、B、Cがほぼ同じ。 少なくとも今回の依頼文と回数では、名前の影響は見えなかったと読めます。「影響がない」とまでは言えません。
• 舞台の種類がBで減った。 名前が案を寄せる方向に働いています。逆に増えたなら、名前が刺激になって広がった可能性があります。

ここで注意したいのは、条件内のばらつきです。Aの5回同士でも、名前由来語の割合や舞台の種類はかなり違うことがあります。AとBの差が、A内の回同士の差と同じくらいなら、差は偶然の範囲かもしれません。回ごとの割合を並べて、条件間の差が回ごとのばらつきより大きいかを目で確かめます。

5回では強い結論は出ません。傾向が見えたら、各条件を10回に増やして、同じ方向が出るかを確かめます。

起こりやすい誤り

• 会話が引き継がれる。 同じ会話の中でA、B、Cを続けると、前の依頼文の記憶が影響します。毎回新しい会話にします。
• 名前に既存の作品名を使う。 実在のゲームや映画の名前だと、AIがそちらの内容を連想し、名前の「意味」ではなく「既存作品の知識」を測ることになります。仮の名前は、検索して既存の作品がないか確かめてから使います。
• 同時に二つ以上を変える。 名前を付けるついでに「静かな雰囲気で」と足すと、何が効いたのか分からなくなります。条件間の違いは冒頭の一文だけにします。
• 取り直しや追加質問をする。 出力を見てから「もう一度」と頼むと、選んだ結果だけが残ります。
• 期待を読み込んでしまう。 「やはり名前に引っぱられている」と思って読むと、類義語の判定が甘くなります。判定基準を先に決め、条件を伏せたまま数えることがその対策です。
• 名前の長さや響きが違う。 長い名前と短い名前では、AIが拾う言葉の量が変わるかもしれません。BとCは文字数をそろえます。
• 1つの出力を印象で語る。 「この回の案は名前にぴったりだった」という感想は、記録に書かず、数える列に落とします。

次の行動

まず条件AとBだけ、各3回の小さな版で試し、名前由来語の割合に差がありそうかを見てください。差が見えたら、自作の企画で「名前を先に決めてから案を出す」か「案を出してから名前を付ける」かを、自分の目的に合わせて選べます。作品を投稿するときは、名前と中身がそろった状態で紹介文を整えるとよいでしょう。アソバースの投稿画面にある「紹介文と遊び方を作成」は、公開済みのURLや本人が検証済みのアップロードを読み取って下書きを作る機能で、今回の実験とは別のものです。