手描きの絵を生成AIに渡すと、何が残り何が変わるのか:自分で確かめる実験の設計書

問いの立て方と準備するもの

問いは次の一文に絞ります。「手描きの絵を生成AIに渡したとき、どの要素が元絵に決められ、どの要素が生成側に決められるのか」。「良くなったか」は問いに含めません。好みの評価を混ぜると、記録が揺れて比較ができなくなります。

準備するもの

• 手描きの絵を2枚:キャラクターのラフ1枚と、背景か小物のラフ1枚を用意します。種類が違うと、残りやすさの違いも見えてきます。
• スキャンまたは撮影した画像:紙に描いた場合は、真上から同じ明るさで撮ります。斜めに撮ると、形のずれが生成のせいなのか撮影のせいなのか区別できなくなります。
• 画像を渡せる生成ツールを1つ:元画像を入力にして新しい画像を作れるものを使います。実験中はツールを変えず、更新があった日付も控えておきます。
• 変化の強さを調整できる設定:ツールによって「変化の強さ」「参照の強さ」など呼び名が違います。名前は気にせず、元絵への忠実さに関わるつまみを探します。見つからないツールでも、実験は条件を1つ減らして進められます。
• 指示文を2種類:たとえば、短い「この絵を仕上げてください」と、画風や色まで指定した長めのものです。絵の内容を細かく書き写した指示文は避けます。書き写すと、形を決めているのが絵なのか文章なのか分からなくなるためです。
• 記録用の表と、画像を重ねられる編集ソフト:透明度を変えて2枚を重ねられるものなら何でも構いません。

準備の段階で、絵の「見どころ」を先に書き出しておきます。耳の形、左手に持っているもの、目の高さ、帽子の傾きなど、5〜8個です。生成結果を見てから「ここが大事だった」と後付けすると、都合のよい項目だけが残ってしまいます。

手順:条件を揃えて、同じ絵から複数回つくる

変える条件は「変化の強さ」と「指示文」の2つだけにします。それ以外の、画像サイズ、生成枚数、その他の設定は固定します。

• 変化の強さ、内容：弱・中・強の3段階(ツールの設定範囲を3分割した値を事前に決めて記録)
• 指示文、内容：短い指示文、画風まで指定した指示文の2種
• 繰り返し、内容：各条件で3回ずつ生成

1枚の絵につき 3 × 2 × 3 = 18枚になります。2枚の絵なら36枚です。多く感じる場合は、まず1枚の絵で18枚から始めても構いません。ただし1回ずつの生成では、偶然の結果を傾向と取り違えます。「3回」は削らないほうが安全です。

生成のたびに、次のファイル名ルールで保存します。

1. 絵の名前、強さ(弱・中・強)、指示文の種類(AまたはB)、回数の順に並べた名前にします。
2. ツールが返した画像を加工せずにそのまま保存します。
3. 生成日時と、使った設定値を記録表の同じ行に書き込みます。

途中で気に入った結果が出ても、そこで止めたり、気に入らない結果を捨てたりしないでください。捨てた結果にこそ「変わった部分」の情報が含まれています。

記録の取り方:重ねて、項目ごとに4段階で判定する

記録は目で眺めるだけで済ませず、重ね合わせで行います。元絵を半透明にして生成画像の上に乗せ、輪郭や線がどれだけ動いたかを見ます。

判定の単位

準備で書き出した見どころの項目ごとに、生成画像1枚につき1つ判定します。判定は次の4段階です。

• 残った:位置・形・向きが元絵とほぼ同じです。
• ずれた:存在はするが、位置・形・大きさが変わっています。
• 消えた:元絵にあったものが見当たりません。
• 増えた:元絵になかったものが加わっています(背景、模様、装飾など)。

「ほぼ同じ」の基準は、実験の前に自分で決めておきます。たとえば、重ね合わせた状態で主要な点が画像の短辺の何%以内に収まれば「残った」とする、という決め方です。その数字はこの記事が示す正解ではなく、読者が自分の絵に合わせて先に固定するための例です。基準を結果の後に動かすと、実験の意味がなくなります。

見どころ以外にも記録する3項目

見どころ以外に、次の3項目は全生成画像で共通して見ます。

• 輪郭の線:太さや揺れが均されたか、手描きの癖が残ったか。
• 色:元絵の主な色に近いか。塗っていない白黒のラフなら、新しく付いた色の数を数えます。
• 画面の構図:被写体の位置と大きさ、余白の取り方。

記録表の例です。1行が生成1枚に当たります。

• (例)絵1-弱-A-1、強さ：弱、指示文：A、耳：残った、左手の道具：残った、目の高さ：ずれた、線の癖：均された、色：近い、増えた要素：なし

セルの内容はあくまで書式の例です。実際の記録は、読者自身の生成結果を見て埋めてください。

結果の読み方:同じ項目を、条件ごとに並べて見る

18枚の判定がそろったら、項目ごとに「3回のうち何回その判定だったか」を数えます。次の3つの見方で整理します。

見方1:3回で揃う項目と揃わない項目

同じ条件の3回で、いつも「残った」になる項目は安定して保たれています。3回のうち1回しか残らない項目は、偶然に左右されています。ゲーム素材として使う場合、後者を頼りにした制作は、再生成のたびに手戻りが出ます。

見方2:変化の強さを上げていったときの境目

弱から強へ上げる間に、ある項目が「残った」から「ずれた」へ切り替わる地点が見つかるかもしれません。その手前の強さが、「形は守りつつ質感を整える」仕上げに向く範囲です。逆に、弱でもすぐ項目が崩れる場合は、強さの設定よりも指示文やツールの癖が支配している可能性があります。その場合は、指示文を短いほうに揃えて再度比べてみます。

見方3:指示文を変えたときに動く項目と動かない項目

指示文AとBの間で判定が変わる項目は、言葉で制御できる部分です。指示文を変えても同じ判定が続く項目は、絵そのものが決めている部分だと考えられます。この対比が、実験の中心の読みどころです。

結果をゲーム制作の判断に結びつけるときは、次の観点で見ます。

• 輪郭と配置が強さを上げても保たれる、判断の方向：当たり判定や配置を決めたラフの仕上げに使いやすい
• 配置は保たれるが、小物が消える、判断の方向：小物は仕上げ後に手描きで描き足す工程を前提にする
• 3回で毎回結果が違う、判断の方向：同じキャラを複数枚並べる用途には向かず、1枚絵向きと考える
• 背景要素が毎回増える、判断の方向：背景を透過や単色で別に指定し、後で合成する
• 指示文を変えても同じ要素が残る、判断の方向：その要素は元絵に任せてよい。描き込みに時間をかける価値がある

誤りやすい点

実験の精度を落とす典型的な落とし穴を挙げます。

1. 1回の結果で結論を出す。 偶然の出来のよさや悪さを、ツールの性質と取り違えます。必ず同条件で3回生成します。
2. 見どころの項目を後から決める。 結果を見たあとで決めると、目立った変化だけが記録に残ります。
3. 撮影の歪みを生成のせいにする。 紙を斜めから撮ると、台形に歪んだ状態で入力されます。重ね合わせで全体が同じ向きにずれている場合は、まず撮影を疑います。
4. 指示文に絵の内容を書き写す。 「左手に杖を持った青い帽子の少女」と書くと、杖が残ったのが絵のおかげなのか指示文のおかげなのか分かりません。
5. 好みで判定する。 「こちらのほうが良い」と感じても、記録は残った・ずれた・消えた・増えたの4段階だけにします。好みは別の欄に書いておけば、混ざりません。
6. ツールの更新を見落とす。 実験の途中で、ツール側のモデルや設定が変わることがあります。実施日と設定値を記録しておけば、後から比べ直せます。

もう一つ、生成した画像を作品に使う場合は、利用するツールの利用規約と、素材の権利の扱いを確認してください。商用利用や公開の可否は、ツールごとに案内が異なります。迷う場合は公式の案内や専門家に確認するのが確実です。

次の行動

まずは、手描きの絵を1枚だけ選び、強さを「中」、指示文を短いものに固定して、3回だけ生成してみてください。元絵と重ねて、準備の段階で書き出した見どころが何個残ったかを数えるだけで、この実験の手応えがつかめます。そこから強さと指示文を増やして18枚に広げれば、「この絵のどこまでをAIに任せられるか」の線引きが、自分のデータで描けるようになります。

ゲームに使う素材を整えるときは、投稿前に画像のファイル数と合計サイズも確認しておくとスムーズです。アソバースのアップロードにはサイズやファイル数の上限があるため、生成した画像を大量に同梱する場合は、あらかじめ数を絞っておくと安心です。