AI吹き替えの仕組みとは?声ができるまでの4つの段階と限界

音声の波形が並ぶ編集画面とヘッドホン。AI吹き替えの仕組みを確かめる机

この記事でわかること

  • AI吹き替えが声を作るまでの4つの段階
  • どの段階で間違いが起きやすいか
  • 声は「まねる」方式と「選ぶ」方式がある
  • AI吹き替えに向いている動画・向いていない動画
  • 使い始めるまでの流れと費用の決まり方

まず読む: 動画を翻訳する方法は?字幕・吹き替え・ナレーションの違いと進め方

AI吹き替えとは?どんな仕組みで声ができる?

AI吹き替えとは、動画の中で話されている言葉を、AIが別の言語に訳し、その言語の声に置き換える仕組みです。人の翻訳者と声優が順番に行っていた作業を、AIが自動でつなげて行います。

仕組みは、大きく次の4つの段階に分けられます。

段階AIがすること例
① 聞き取り(音声認識)動画の音声を、元の言語の文字にする「ヘルメットのあごひもを締めてください」と文字にする
② 翻訳起こした文字を、別の言語に訳す英語やベトナム語の文にする
③ 声の合成(音声合成)訳した文を、その言語の声で読み上げる訳文を AIの声で話させる
④ 合わせ込み声を映像の場面に合わせ、BGM・効果音と重ねる話している場面に声の位置をそろえる

この4つは鎖のようにつながっています。①で聞き間違えると②の訳も間違え、③の声も間違えたまま読み上げます。どこかで人が確かめないと、最初の小さな間違いが最後まで残るのが、AI吹き替えの大事な性質です。③の声を作る技術そのものは、音声合成(TTS)とは?でやさしく解説しています。

動画を翻訳する方法全体(字幕・吹き替え・ナレーションの違い)は、動画を翻訳する方法にまとめています。

① 聞き取りの段階では何が起きる?

最初の段階では、音声認識のAIが音声を文字に起こします。近年の音声認識は大量の音声で学習されています。たとえば機械学習の国際会議 ICML 2023 で発表された音声認識の研究では、680,000時間分の多言語の音声と文字の組で学習させたとされています[1]。この論文は、人と比べたときに、その正確さと雑音への強さが人に近づいていると報告しています[1]。

ただし「人に近い」のは、研究で使われた評価用の音声での話です。実際の動画では、マイクから遠い声、機械の音、何人かが同時に話す場面などで、聞き取りの精度は下がります。koevo のヘルプでも、雑音が多い・音が小さい・聞き取りにくい音声は、文字起こしや吹き替えの精度が下がることがあると案内しています[4]。

会議の声を拾うマイクと波形の画面。音声認識の精度を左右する録音

聞き取りの段階の間違いを減らす、いちばん効く方法は、撮るときの工夫です。

  • 話す人の口元の近くにマイクを置く
  • 機械や車の音が少ない時間・場所で撮る
  • 何人かで話すときは、話す順番を決めて重ならないようにする
  • 専門用語や会社名は、はっきり区切って話す

② 翻訳の段階では何が起きる?

起こした文字を、AIが別の言語に訳します。いまの機械翻訳は、文の意味を前後の文脈から読み取って訳すので、一文ずつ単語を置き換えていた頃よりずっと自然な文になります。

それでも、会社名・製品名・社内だけで通じる呼び方などの固有名詞は取り違えやすい所です。また、「〜しないでください」の否定が抜ける、数字の単位が変わるといった間違いは、研修や安全の動画では大きな問題になります。AIの訳が人の訳と比べてどこまで来ているかは、研究の結果をAI翻訳の精度は人の翻訳に追いついたかで紹介しています。

翻訳の段階の間違いは、どう減らす?

効くのは、AIに渡す前と後の2つの工夫です。渡す前は、元の動画の話し方を短い文に区切り、主語と「だれが・何を・どうする」をはっきりさせます。日本語は主語を省きやすい言葉なので、そのまま訳すと「だれがするのか」が別の言語でぼやけることがあります。

渡した後は、訳を人が読んで確かめます。会社名や現場の呼び方など、何度も出てくる言葉は、社内で表記を決めた翻訳用の用語集を作っておくと、確かめる人がすぐに間違いに気づけます。訳を確かめる意味については、AIの訳を人が確かめる理由に作り手の考えを書きました。

③ 声の合成では、だれの声になる?

訳した文を声にする段階です。ここには、大きく2つの考え方があります。

方式何をするか良い所気をつける所
声をまねる方式元の話し手の声の特徴を写し取って、その声で別の言語を話させる本人が話しているように聞こえる本人の同意が要る。言語によっては不自然になる
声を選ぶ方式AIが用意している声の中から、合いそうな声を選んで話させる本人の声を写し取らない本人の声ではない

声をまねる方式について、AI吹き替えの技術を提供する海外の会社の公式資料は、元の話し手への似せ方を強めるほど、発音の特徴が大きく違う言語どうしでは不自然に聞こえることがあると説明しています[2]。また、似せ方を強めると、元の話し方のなまりも吹き替えに持ち込まれやすいとしています[2]。似ていることと、自然に聞こえることは、いつも両立するわけではありません。

koevo は声を選ぶ方式です。動画に映っている人(話し手)の声を写し取って吹き替えを作ることはなく[3]、吹き替えの声は AI の声の中から言語ごとに自動で選ばれます[3]。話し手が男性か女性かなど、おおまかな雰囲気に合わせて選ばれることはありますが、本人の声の再現ではありません[3]。今後も、本人の同意なく声を再現する機能は作らないと決めています[3]。声についての作り手の考えは、koevo の声の考え方で書いています。

話し手が何人もいる動画はどうなる?

多くの方式では、話し手を聞き分けて、話し手ごとに声を割り当てます。同じ会社の資料でも、複数の話し手を、声が重なっていても自動で見分けるとしています[2]。ただし、言語によっては1つの声で読み上げる方式になることもあります。koevo の場合、タイ語・ネパール語は決まった1つの声で読み上げるナレーションでのお届けとなり、話し手が複数でも同じ声で、BGM・効果音は入りません[4]。

いくつもの音声の帯が並ぶ動画の編集画面

④ 合わせ込みでは何をしている?

最後に、作った声を映像に合わせます。ここで大事なのは、声と背景の音を分けて扱うことです。元の動画の音には、話し声のほかに BGM や効果音、周りの音がまざっています。多くの AI吹き替えでは、声だけを取り出して差し替え、背景の音は残します。同じ会社の資料でも、元の背景の音は残されると説明しています[2]。koevo でも、タイ語・ネパール語以外は、BGM・効果音を残したまま声だけを吹き替えます[4]。

もう一つの課題は長さです。同じ内容でも、言語によって話すのにかかる時間は違います。訳した声が元の場面より長くなると、映像と声がずれていきます。AIは訳す段階や読み上げる段階で長さを調整しますが、言葉を詰め込みすぎると早口に聞こえます。元の動画の段階で、話す内容を短く区切っておくと、どの言語でも合わせやすくなります。話す人が一文を言い終えてから少し間を置くだけでも、訳した声を収める余裕が生まれ、聞き取りやすい吹き替えになります。

AI吹き替えに向いている動画・向かない動画は?

AI吹き替えは、内容を正しく伝えることが目的の動画で力を発揮します。

向いている向かない・工夫が要る
社内研修・業務マニュアルアニメ・映画・ドラマの吹き替え
安全教育・手順の説明CM・声の演技を味わう作品
施設や商品の案内本人の声そのものに意味があるあいさつ
スライドに沿った説明雑音が多く聞き取りにくい動画

koevo でも、アニメ・映画やドラマの吹き替え・CM・ナレーションの表現を味わう作品などは向いていないと案内しています[3]。こうした作品は、声優・ナレーターの仕事です。本人の声に意味がある動画は、字幕と吹き替えの違いで書いたように、字幕を選ぶ方法もあります。

使い始めるまでの流れと費用の目安は?

AI吹き替えを使うときは、次の流れで進めます。

  1. 映っている人の同意を取る
    動画に映っている人(声・姿)から、多言語にすることへの同意を事前に得ます。koevo でも利用者にお願いしています[3]。
  2. 聞き取りやすい音で撮る
    聞き取りの段階の間違いが、後ろの段階すべてに響きます。マイクの位置と周りの音を確かめます。
  3. 言語を選んで作る
    見る人の母国語を確かめて、言語を選びます。
  4. 訳を人が確かめる
    否定・数字・固有名詞を中心に、字幕を読んで確かめます。koevo では完成後にエディターで直せます[4]。
  5. 配る
    見る人に合った方法で届けます。

確かめるときに知っておきたいのが、字幕と声の関係です。koevo では、字幕を直しても吹き替えの音声は変わりません[4]。声まで直したい内容は、元の動画の言い回しを見直すほうが確実なこともあります。

費用の決まり方はサービスごとに違います。koevo の場合は動画の長さと言語の数で決まり、980円 / 1分・1言語(税込)です[4]。

よくある質問

AI吹き替えは元の話し手の声をまねるのですか?

サービスによって違います。話し手の声に似せる方式もあれば、AIの声の中から自動で選ぶ方式もあります。koevo は話し手の声をまねず、AIの声から言語ごとに自動で選びます。

AI吹き替えでBGMは消えてしまいますか?

多くの方式では、声と背景の音を分けて、声だけを差し替えます。ただし言語や方式によってはBGMが入らないこともあるので、使うサービスの説明を確かめてください。

AI吹き替えの精度はどれくらいですか?

元の音声の聞き取りやすさと、言語の組み合わせで大きく変わります。聞き取りの段階で間違えると訳も声も間違えるので、はっきりした音声で撮ることがいちばんの近道です。

話し手が複数いる動画でも吹き替えできますか?

多くの方式で、話し手ごとに声を分けて吹き替えられます。ただし一部の言語では1つの声で読み上げる方式になることがあるため、話し手の区別が必要な動画は事前に確かめてください。

AI吹き替えは、聞き取り・翻訳・声の合成・合わせ込みの4つの段階でできています。最初の聞き取りの間違いが最後まで残るので、はっきりした音で撮り、訳を人が確かめることが大切です。声は「まねる」方式と「選ぶ」方式があり、koevo は話し手の声をまねずに選ぶ方式です。

この分野の記事

おわりに

AI吹き替えの仕組みについて、いかがでしたか?文字起こし・翻訳・声づくり・映像との合わせ込みの4段階で作られ、前の段階の間違いが後ろへ引き継がれるので、訳を人が確かめる工程が欠かせないということでした。

ちなみにスリーでは、「koevo」というサービスを提供しています。日本語の動画から、翻訳・字幕・吹き替えをまとめて作る動画の多言語化の仕組みです。研修やマニュアルの動画を、母国語の声で届けられます。日本語の研修やマニュアルの動画から、翻訳・字幕・吹き替えをまとめて作りたいときにお使いいただけます。よろしければ、サービスページものぞいてみてください。

koevo のサービスページを見てみる

よくある質問

AI吹き替えは元の話し手の声をまねるのですか?

サービスによって違います。話し手の声に似せる方式もあれば、AIの声の中から自動で選ぶ方式もあります。koevo は話し手の声をまねず、AIの声から言語ごとに自動で選びます。

AI吹き替えでBGMは消えてしまいますか?

多くの方式では、声と背景の音を分けて、声だけを差し替えます。ただし言語や方式によってはBGMが入らないこともあるので、使うサービスの説明を確かめてください。

AI吹き替えの精度はどれくらいですか?

元の音声の聞き取りやすさと、言語の組み合わせで大きく変わります。聞き取りの段階で間違えると訳も声も間違えるので、はっきりした音声で撮ることがいちばんの近道です。

話し手が複数いる動画でも吹き替えできますか?

多くの方式で、話し手ごとに声を分けて吹き替えられます。ただし一部の言語では1つの声で読み上げる方式になることがあるため、話し手の区別が必要な動画は事前に確かめてください。

参考文献

論文 1海外の資料 1自社の一次資料 2

この記事は 4 本の出典をもとに書いています。うち 4 本は、引用した文が出典のページにあることを確かめています(2026年11月20日)。

  1. Radford et al. (2023) Robust Speech Recognition via Large-Scale Weak Supervision. ICML 2023, PMLR 202論文
  2. ElevenLabs Documentation「Dubbing」海外の資料
  3. koevo の声について自社の一次資料
  4. koevo ヘルプ(使い方・料金)自社の一次資料

この記事を書いた人

動画の多言語化に毎日向き合っている koevo のチームが書いています。数字や制度は、元の資料へのリンクを付けています。