マガジン

文字起こしで話者がずれる・混ざるときの原因と直し方

AIを使いこなす

執筆にClaudeを使用しています。

机の上で、会議メモの付箋を別の色に貼り替える手と、その横にある小型マイク、ヘッドホン、鉛筆
記事の内容をもとに制作したAI生成イメージです。実際の製品画面や検証結果の写真ではありません。

話者の取り違えは、AIの性能だけで決まるわけではありません。原因は大きく次の4つに分けられます(これは公式情報と一般的な音声処理の考え方をもとにした編集上の整理で、各社が精度条件を細かく公表しているわけではありません)。 1. 話者識別が有効になっていない、または入力方式が対象外 2. 一本のマイクに複数人の声が入っている 3. 声が重なる、短い相づちが多い 4. 参加者の名前と声が結びついていない 録音前に防げる原因と、録音後に人が直すしかない原因を分けて考えると、手戻りが減ります。この記事では、原因別の対処表、録音前のチェック、ラベルの修正手順、AIに修正案を出させる依頼文を順に示します。

この記事の目次
  1. まず確認:話者識別が働く設定か
  2. 原因別の対処表
  3. 録音前に打てる手
  4. 録音後の修正手順
  5. AIに修正案を出させる依頼文
  6. 直す手間をどこで止めるか

まず確認:話者識別が働く設定か

最初に、機能が有効かどうかと、使っている入力方式が対象かどうかを見ます。

Nottaのヘルプでは、入力方式ごとに扱いが違うと説明されています。画面収録とファイルアップロードは、収録前(アップロード時)に識別をオンにする方式で、全言語に対応し、最大10名です。Chrome拡張とマイク録音は初期状態で自動識別されますが、対象は日本語のみです。Notta Botは、各参加者が独立したアカウントで参加している前提で識別し、共有アカウントからの発言は一つにまとまります。詳細はNottaの話者識別の説明で確認してください。このページは、声の重なりや音質の条件までは述べていません。

会議ツール側も、名前の付き方は仕組みに依存します。Teams Roomsでは、室内参加者が話者認識(音声プロファイル)を設定していないと、AIノートでは音声が個人ではなく会議室に帰属すると案内されています。誤認識された人は、参加者一覧で「その他」から「Misrecognized」を選ぶと、その会議の間はゲスト扱いに変わります。必要なライセンスや機器の条件は同ページに明記がないため、管理者に確認してください(Teams Roomsで室内参加者を識別する)。

以上の内容は2026年10月28日時点の自動校閲で公式ページを確認したものです。仕様は変わるので、使う前に最新の案内を見てください。

原因別の対処表

  • 全員が「話者1」になる、起きやすい条件:識別が無効、非対応の入力方式、録音前の対処:識別を有効にしてから開始。方式と言語の対応を確認、編集時の対処:再文字起こしで識別を選び直す(Nottaの例は後述)
  • 1人が「話者1」「話者3」に分裂、起きやすい条件:声の大きさや距離の変化、咳や笑い、録音前の対処:話す位置を固定し、マイクとの距離を揃える、編集時の対処:同一人物のラベルを統合
  • 別の人が同じラベルに混ざる、起きやすい条件:似た声質、1本のマイクを共有、共有アカウントでの参加、録音前の対処:1人1マイク・1アカウント、または発言前に名乗る、編集時の対処:区間ごとに手がかりを見て振り分け
  • 相づちや短い返事だけずれる、起きやすい条件:「はい」「そうですね」など短い発話、録音前の対処:運用で減らしにくいので期待値を下げる、編集時の対処:内容に影響しない限り直さない
  • 同時発言の前後がずれる、起きやすい条件:声の重なり、録音前の対処:司会が順番を指名する、編集時の対処:該当区間を音声で聞き直す
  • 名前が人ではなく部屋や「Unknown」になる、起きやすい条件:声と名前が未登録、ゲスト、電話参加、録音前の対処:声の登録や表示名の統一ができる環境なら事前に行う、編集時の対処:名前を手で付与

録音前に打てる手

効果が大きいと考えられるものから並べます。

  1. 識別設定を録音前に入れる。 録音後にやり直すと、サービスによっては利用枠を再び消費します。
  2. 冒頭で名乗る。 「司会の○○です」と順に一言ずつ話すと、後でラベルと人を対応させる手がかりになります。
  3. 発言前に名前を呼ぶ。 「△△さん、お願いします」の一言が、AIにも人にも目印になります。
  4. 同時に話さない。 完全には無理でも、結論や数字を言うときだけ順番を守る運用は現実的です。
  5. 部屋では全員の声が均等に入る位置にマイクを置く。 端の人だけ声が小さいと、ラベルの分裂が起きやすくなります(一般的な傾向であり、効果は環境で変わります)。
  6. 表示名を揃える。 オンライン会議の名前が「iPhone」「ゲスト」のままだと、人と結びつけにくくなります。

録音後の修正手順

元データを残し、小さい単位で直します。

  1. 元の文字起こしを複製、または書き出す。 修正版だけにすると、間違いを戻せません。
  2. 人数を比べる。 参加者が5人なのにラベルが8個あれば「分裂」、3個なら「混在」の疑いがあります。
  3. ラベルと人の対応表を作る。 自己紹介、司会の指名、名指しの返答から「話者2=田中」のように仮置きします。
  4. 分裂を先に統合する。 混在の修正より簡単で、全体が一気に読みやすくなります。
  5. 混在は区間ごとに直す。 質問の直後の返答は、質問された人の可能性が高い、といった文脈を使います。
  6. 自信がない箇所は「話者不明」のままにする。 推測で名前を入れると、議事録で発言者を取り違える原因になります。
  7. 決定事項、担当、期限、金額を含む発言だけ、音声で確認する。 全文を聞き直す必要はありません。

ツール側の修正例

  • Zoom: クラウド録画の音声トランスクリプトで「Unknown Speaker」にカーソルを合わせると鉛筆アイコンが出ます。名前を編集し、チェックボックスをクリックして保存します。Pro、Business、Education、Enterpriseのいずれかのアカウントで、クラウド録画と音声トランスクリプトが有効なことが前提です(Zoomの案内)。編集できる人は、管理者が「なし」「ホストのみ」「会話に参加した社内メンバー」「アカウント内の全員」から選べます。この権限設定にはRevenue Acceleratorのライセンスなどの条件があります(編集権限の設定)。編集できないときは、権限を持つ人に依頼してください。
  • Notta: 識別をオンにし忘れた、または言語を間違えた場合は、Web版の「再文字起こし」で発話言語、話者識別、音声認識エンジンを選び直せます。ただし、実行のたびに音声の長さと同じ分数の文字起こし時間と、アップロード枠1回分を消費します。Notta BotによるWeb会議とYouTube動画は対象外です(再文字起こしの説明)。また、アップグレード後に全文をアンロックすると再度文字起こしが走り、話者情報を含む元のテキストが上書きされて消えることがあると案内されています。手作業で直した後は、先に書き出してから操作してください。

AIに修正案を出させる依頼文

ラベルの対応づけは、AIに「案」を出させ、人が確認する使い方が向いています。AIに任せるのは、手がかりの抽出と振り分け案までです。最終的な割り当て、特に決定事項に関わる箇所は人が音声で確認します。

渡すのは、参加者名簿(役割付き)、現在のラベル付き文字起こし、手がかり(誰が司会か、誰が名乗ったか)の3点です。

以下は説明用の例です。実際の会議のデータではなく、実行して確かめた出力でもありません。

あなたは議事録の校正者です。以下の文字起こしは話者ラベルが誤っている可能性があります。
発言内容は一切書き換えず、ラベルだけを見直してください。

【参加者】
- 司会:佐藤(進行担当)
- 田中(営業)
- 鈴木(開発)

【ルール】
- 判断の根拠を、行番号と一緒に1行で書く
- 根拠が弱い行は「要確認」とし、推測で名前を入れない
- 決定事項・担当・期限・金額を含む行は、確信度に関係なく「音声確認」欄に挙げる
- 出力は表:行番号 / 現在のラベル / 提案ラベル / 根拠 / 確信度(高・中・低)

【文字起こし】
01 [話者1] それでは始めます。司会の佐藤です。
02 [話者2] 田中です。先週の見積もりの件です。
03 [話者1] 納期はいつ頃になりますか。
04 [話者3] 来月の第2週を想定しています。
05 [話者2] 分かりました。では鈴木さん、仕様をお願いします。
06 [話者2] 仕様はこちらの資料の通りです。

この例では、06行目は直前に「鈴木さん、お願いします」と指名されているため、AIが「鈴木の可能性が高い」と提案しやすい箇所です。一方、04行目の「話者3」が誰かは名簿だけでは決まらず、納期という期限にも関わるので、「要確認」かつ「音声確認」に挙がるのが望ましい動きです。

AIの出力を受け取ったら、次の順で見ます。

  1. 「要確認」と「音声確認」の行だけ、録音の該当時刻を聞く
  2. 根拠が「文脈からそう思う」だけの行は、採用せず保留にする
  3. 採用した対応表を、文字起こし全体へ反映する

機密の扱い

実際の議事録を外部のAIサービスへ貼る前に、社名、人名、金額、取引先を仮名に置き換えてください。「学習に使われない設定」と「社外に出してよい」は別の話です。社内規程で入力が許されているサービスかどうかを先に確かめます。声そのものが個人を識別できる情報にあたる場合もあるため、録音の同意や保管の扱いは、社内の担当部署のルールに従ってください。

直す手間をどこで止めるか

全ての行を完璧に直そうとすると、元の会議より長い時間がかかります。目的別の目安は次のとおりです。

  • 議事録として配る場合: 決定事項・TODO・数字に関わる発言だけ、発言者を確認する。
  • 自分用のメモの場合: 分裂の統合だけで十分なことが多い。
  • 発言者の責任が問われる場合(人事面談、クレーム対応など): 全体を音声で確認し、機械の割り当てだけに頼らない。

同じ症状が毎回出るなら、修正手順を磨くより、録音前の対処(識別設定、名乗り、マイク配置、表示名)を先に見直すほうが、全体の工数は減ります。

出典・参考資料