話者分離とは?「誰がいつ話したか」を見分ける技術

話し手ごとに色分けされた音声の帯が並ぶ画面と二つのピンマイク。話者分離とは

この記事でわかること

  • 話者分離の一文の定義
  • 話者分離でできること
  • 話者分離のしくみと難しくなる条件
  • 字幕・吹き替えでの使われ方
  • 音声分離・話者認識との違い

まず読む: AI吹き替えの仕組みとは?声ができるまでの4つの段階と限界

話者分離とは?

話者分離とは、会議や対談などの録音の中で「誰がいつ話したか」を見分けて、話し手ごとに区切る技術です。英語では speaker diarization(話者ダイアライゼーション)と呼ばれます。録音の時間の帯に、「ここは話し手 A」「ここは話し手 B」と色を塗り分けていく作業を思い浮かべると分かりやすいでしょう。

2022 年に公開された話者分離の研究のまとめは、話者分離を「録音や動画に、話し手が誰かに当たる印を付ける作業、短く言えば『誰がいつ話したか』を見分ける作業」と定義しています[1]。

話者分離で何ができる?

話者分離は、それだけで使うより、ほかの音声の技術の「下ごしらえ」として役に立ちます。研究のまとめによると、話者分離はもともと、話し手が複数いる録音で音声認識を話し手に合わせて働かせるために作られ[1]、その後、音声の検索など後の作業に話し手ごとの情報を渡す、独り立ちした使い道も持つようになりました[1]。

身近な使い道には、次のようなものがあります。

  • 議事録・書き起こし:「A さん:…」「B さん:…」と、話し手ごとに文を分けます
  • 字幕:話し手が変わったことを字幕で示します
  • 吹き替え:話し手ごとに別の声を割り当てます
  • 検索:特定の人が話した場面だけを探します

字幕では、誰が話しているかを示すことが大切です。ウェブの見やすさの国際的な指針である WCAG は、キャプションが伝える話し言葉以外の情報の一つとして、話し手が誰かを挙げています[4]。

話者分離のしくみは?

話者分離は、おおまかに次の流れで行われます。

  1. 声のある所を探す
    録音の中で、人が話している時間と、話していない時間を分けます
  2. 短く区切る
    話している所を、短いまとまりに区切ります
  3. 声の特徴を取り出す
    まとまりごとに、声の高さや響きなど、話し手らしさを表す特徴を数字にします
  4. 似た声どうしをまとめる
    特徴が近いまとまりを同じ話し手として、「話し手 A」「話し手 B」と印を付けます

研究のまとめは、近年は深層学習(たくさんの層を持つ AI)の広がりで話者分離が急速に進み、音声認識と話者分離を一緒に組み立てる方向に進んでいるとしています[1]。

どんなときに難しくなる?

話者分離の研究の評価の場(DIHARD)は、録音の機材・雑音・会話の種類の違いに強い話者分離を目指して開かれました[2]。録音は、朗読の本から、会議、子どもの言葉の録音、夕食会、ウェブの動画まで、さまざまな所から集められています[2]。音声の研究の評価の場(CHiME)でも、家庭の夕食会の場面で、離れた所に置いた複数のマイクで録った会話を扱っています[3]。つまり、雑音が多い・マイクが遠い・会話が入り乱れる場面が、いまも研究の課題になっているということです。

話者分離の研究の評価の場(DIHARD)の課題の組み立て出典: 話者分離の研究の評価の場(DIHARD)の第 2 回の論文(Interspeech 2019)
比べた条件中身数
入力の条件マイク 1 本/複数のマイク2通り
区切りの条件話している所の区切りを与える/一から行う2通り
課題の数上の 2 つの条件の組み合わせ4通り
似た形の音声の波形を並べた画面とマイク。ボイスクローンの仕組みと注意点

どんな場面で使う?(研修・マニュアル動画の例)

研修やマニュアルの動画では、講師と受講者の対話、ふたりで掛け合う説明、インタビューなど、話し手が複数いることがよくあります。こうした動画を字幕や吹き替えにするとき、話者分離が役に立ちます。

場面話者分離が役に立つ所
講師と受講者の対話字幕で、質問と答えを話し手ごとに分けて示す
ふたりの掛け合いの説明吹き替えで、話し手ごとに別の声を割り当てる
現場の担当者へのインタビュー書き起こしで、誰の発言かを分けて残す

koevo では、吹き替えの声は動画の話し手に合わせて自動で選ばれます[5]。ただし、タイ語・ネパール語は決まった 1 つの声で読み上げるナレーションでお届けするため、話し手が複数でも同じ声になります[5]。

話者分離を間違いにくくするには、録音の条件を整えるのが近道です。話し手ごとに口元に近いマイクを付ける、同時に話さないよう順番に話す、静かな場所で録る、の三つが効きます。録音の条件と音声認識の正確さの関係は音声認識の精度は何で決まる?で説明しています。AI 吹き替えの全体の流れはAI吹き替えの仕組みにまとめています。

似た言葉とはどう違う?

「話者分離」という言葉は、場面によって別の技術を指して使われることがあります。違いを整理しておきます。

言葉何をするか結果
話者分離(ダイアライゼーション)誰がいつ話したかを見分ける[1]時間の区切りと「話し手 A・B」の印
音声分離重なった声や雑音を別々の音に分ける話し手ごと・声と雑音ごとの別々の音
話者認識声から、登録した誰の声かを当てる「この声は〇〇さん」という判定
声の複製(ボイスクローン)特定の人の声に似た声を作る新しく作った声

音声の評価の場の名前に「Speech Separation(音声分離)」が入っているように[3]、雑音や声の重なりに強くする技術と、話し手を見分ける技術は、組み合わせて研究されています。声を複製する技術と注意点はボイスクローンとはで説明しています。

よくある質問

話者分離で、話している人の名前まで分かりますか?

ふつうは分かりません。話者分離は「話し手 A」「話し手 B」のように声の違いで区切る技術です。名前を当てるには、あらかじめ登録した声と照らし合わせる話者認識など、別のしくみが要ります。

話者分離と音声分離は同じですか?

違います。話者分離は「誰がいつ話したか」の時間の区切りを決める技術です。音声分離は、重なった声や雑音を、別々の音に分けて取り出す技術です。両方を組み合わせて使うこともあります。

話者分離が間違いやすいのはどんなときですか?

雑音が多いとき、離れたマイクで録ったとき、複数の人が同時に話すとき、声の似た人が多いときです。録音の条件をよくするほど、見分けやすくなります。

話し手が複数の動画は、吹き替えで声が分かれますか?

しくみによります。koevo では吹き替えの声が動画の話し手に合わせて自動で選ばれます。ただしタイ語・ネパール語は決まった 1 つの声で読み上げるため、話し手が複数でも同じ声になります。

話者分離とは、録音の中で誰がいつ話したかを見分けて、話し手ごとに区切る技術です。字幕で話し手を示す、吹き替えで声を分けるといった場面の土台になります。雑音や声の重なりに弱いので、話し手ごとに口元のマイクで、順番に話して録るのが近道です。

おわりに

話者分離について、いかがでしたか?録音の中で誰がいつ話したかを見分けて話し手ごとに区切る技術で、字幕や吹き替えの土台になる一方、雑音や声の重なりがあると難しくなるのでしたね。

ちなみにスリーでは、「koevo」というサービスを提供しています。日本語の動画から、翻訳・字幕・吹き替えをまとめて作る動画の多言語化の仕組みです。研修やマニュアルの動画を、母国語の声で届けられます。話し手が複数いる日本語の動画から、字幕や吹き替えを言語ごとにまとめて作りたいときにお使いいただけます。よろしければ、サービスページものぞいてみてください。

koevo のサービスページを見てみる

よくある質問

話者分離で、話している人の名前まで分かりますか?

ふつうは分かりません。話者分離は「話し手 A」「話し手 B」のように声の違いで区切る技術です。名前を当てるには、あらかじめ登録した声と照らし合わせる話者認識など、別のしくみが要ります。

話者分離と音声分離は同じですか?

違います。話者分離は「誰がいつ話したか」の時間の区切りを決める技術です。音声分離は、重なった声や雑音を、別々の音に分けて取り出す技術です。両方を組み合わせて使うこともあります。

話者分離が間違いやすいのはどんなときですか?

雑音が多いとき、離れたマイクで録ったとき、複数の人が同時に話すとき、声の似た人が多いときです。録音の条件をよくするほど、見分けやすくなります。

話し手が複数の動画は、吹き替えで声が分かれますか?

しくみによります。koevo では吹き替えの声が動画の話し手に合わせて自動で選ばれます。ただしタイ語・ネパール語は決まった 1 つの声で読み上げるため、話し手が複数でも同じ声になります。

参考文献

論文 3海外の資料 1自社の一次資料 1

この記事は 5 本の出典をもとに書いています。うち 5 本は、引用した文が出典のページにあることを確かめています(2026年11月20日)。

  1. Park, Kanda, Dimitriadis, Han, Watanabe, Narayanan (2022) A Review of Speaker Diarization: Recent Advances with Deep Learning. Computer Speech & Language 72. arXiv:2101.09624. DOI: 10.48550/arXiv.2101.09624論文
  2. Ryant et al. (2019) The Second DIHARD Diarization Challenge: Dataset, Task, and Baselines. Interspeech 2019. DOI: 10.21437/Interspeech.2019-1268論文
  3. Barker, Watanabe, Vincent, Trmal (2018) The Fifth 'CHiME' Speech Separation and Recognition Challenge: Dataset, Task and Baselines. Interspeech 2018. DOI: 10.21437/Interspeech.2018-1768論文
  4. W3C「Web Content Accessibility Guidelines (WCAG) 2.2」用語「captions」海外の資料
  5. koevo ヘルプ(使い方・料金)自社の一次資料

この記事を書いた人

動画の多言語化に毎日向き合っている koevo のチームが書いています。数字や制度は、元の資料へのリンクを付けています。