リップシンクとは?吹き替えで口の動きと声を合わせる仕組み

話す人の口元と音声の波形を合わせる編集画面。リップシンクの作業

この記事でわかること

  • リップシンクの一文の定義と、3つの意味
  • AIで口の動きを作り変える技術の研究
  • リップシンクが大事な動画・そうでない動画
  • 似た言葉(音ズレ・吹き替え・ディープフェイク)との違い
  • 研修動画で口の動き以上に大事なこと

まず読む: AI吹き替えの仕組みとは?声ができるまでの4つの段階と限界

リップシンクとは?

リップシンクとは、映像に映る人の口の動きと、聞こえてくる声のタイミングを合わせることです。英語の lip(くちびる)と sync(同期)を合わせた言葉で、「口パクと声がぴったり合っている状態」と言いかえると分かりやすいでしょう。

この言葉は、使われる場面によって指すものが少しずつ違います。

  • 映像と音のタイミングを合わせること:撮影や配信で、映像と音がずれないようにすること。ずれた状態は「音ズレ」と呼ばれます
  • 吹き替えの訳文を口の動きに合わせること:人が吹き替えをするとき、訳文の長さや言い回しを、画面の人の口が動いている時間に収める工夫
  • AIで口の動きを作り変えること:新しい声に合わせて、映像の中の口の形そのものをAIで描き直す技術

映像と音のタイミングは、放送の世界では古くからの課題です。国際電気通信連合(ITU)は、放送での音と映像の相対的なタイミングについての勧告 BT.1359 を出しています[2]。吹き替えの話でリップシンクという言葉が出てきたときは、2つ目と3つ目のどちらの意味かを確かめると、話がかみ合います。

リップシンクで何ができる?

リップシンクが合っていると、見る人は「この人が、この言葉を話している」と自然に受け取れます。逆に合っていないと、内容とは関係なく違和感が残ります。

吹き替えの場合、元の言語と訳した言語では、同じ内容でも話すのにかかる時間が違います。日本語で3秒の文が、別の言語では長くなったり短くなったりします。リップシンクの工夫は、この差を目立たなくするためのものです。

  • 訳文を短く言いかえて、口が動いている時間に収める
  • 話し始めと話し終わりの位置を、元の話し声にそろえる
  • 口元が大きく映る場面では、口の開き方に近い音の言葉を選ぶ(人が吹き替えをするときの工夫)

AIで口の動きを作り変える仕組みは?

近年は、AIで口の形そのものを描き直す研究が進んでいます。ある研究チームが、マルチメディアの国際会議 ACM Multimedia 2020 で発表した研究は、どんな人が話している映像でも、口の動きを別の音声に合わせる問題に取り組みました[1]。

この研究によると、それまでの方法は、学習で見た特定の人や静止画ではうまくいっても、だれが映っているか分からない動きのある映像では口の動きを正しく変えられず、映像の大部分が新しい音声とずれてしまっていたといいます[1]。研究では、口と声が合っているかを見分ける別のAIを先生役にして学ばせることで、作った映像の口の動きの正確さが、もともと合っている映像にほぼ近づいたと報告しています[1]。

方式何をするか映像は変わる?
声だけを差し替える吹き替え話し声を別の言語の声に置きかえる変わらない(口の動きは元のまま)
訳文を口の動きに合わせる吹き替え訳の長さ・言い回しを調整して声を当てる変わらない
AIで口の動きを作り変える新しい声に合わせて口の形を描き直す変わる(映っている人の姿が変わる)

3つ目の方式は見た目の違和感を減らせますが、映っている人の姿をAIで作り変えることになります。声を写し取るボイスクローンと同じように、本人の同意がより大切になる技術です。

どんな場面でリップシンクが大事になる?

リップシンクの大切さは、動画の種類によって大きく変わります。

動画の種類口元が映る時間リップシンクの大切さ
映画・ドラマ・アニメ長い高い(違和感がそのまま作品の質になる)
CM・ブランドの紹介長いことが多い高い
社長のあいさつ・インタビュー長い高い(字幕で本人の声を残す方法もある)
スライドに沿った研修短い・映らない低い
画面操作・手元を映すマニュアルほとんど映らない低い
現場の作業説明短い(作業を映すことが多い)低め

研修やマニュアルの動画では、カメラはスライドや手元、作業の様子を映していることが多く、口元が大きく映る時間は長くありません。このような動画では、口の形を合わせるよりも、訳が正しいこと、話している場面と声の位置が大きくずれないことのほうが、見る人にとって大切です。

音声の波形が並ぶ編集画面とヘッドホン

似た言葉とはどう違う?

言葉意味リップシンクとの関係
音ズレ映像と音のタイミングがずれている状態リップシンクが合っていない状態の呼び方
吹き替え話し声を別の言語の声に置きかえることリップシンクは吹き替えの品質の一つの物差し
ボイスクローン特定の人の声を写し取って話させる技術声を変える技術。リップシンクは口の動きを合わせる話
ディープフェイクAIで本物そっくりの映像や音声を作ること口の動きを作り変える技術は、使い方によってはこれに当たる

AI吹き替えで声がどう作られるかは、AI吹き替えの仕組みで4つの段階に分けて説明しています。

koevo はリップシンクに対応している?

koevo のヘルプと «声について» のページでは、声だけを吹き替えると案内しており、口の動きを作り変える機能は載っていません。koevo の吹き替えは、内容を正しく伝えるための説明用ナレーションとして作っています[4]。タイ語・ネパール語以外の言語では、BGM・効果音を残したまま、声だけを吹き替えます[3]。タイ語・ネパール語は、決まった1つの声で読み上げるナレーションでのお届けです[3]。どちらも映像には手を加えないので、口の動きは元の動画のままです。

そのため、口元が長く映る動画や、声の表現そのものを味わう作品には向いていません。koevo でも、アニメ・映画やドラマの吹き替え・CM・ナレーションの表現を味わう作品などは向いていないと案内しています[4]。本人の声と口の動きに意味がある動画では、字幕で届ける方法も考えてみてください。字幕と吹き替えの選び方は、字幕と吹き替えの違いで比べています。

マイクとヘッドホンが置かれた録音室。AI吹き替えと声の権利

なお、動画に映っている人(声・姿)からは、多言語にすることについて事前に同意を得るよう、koevo でもお願いしています[4]。どの方式で多言語にする場合でも、映っている人への説明は欠かせません。

よくある質問

AI吹き替えをすると口の動きも合いますか?

サービスによって違います。声だけを差し替える方式では、映像の口の動きはそのままです。口の動きまで作り変える方式もありますが、映っている人の姿を変えることになるので、本人の同意がより大切になります。

koevo はリップシンクに対応していますか?

koevo の公開ページでは、声だけを吹き替える方式として案内しており、口の動きを作り変える機能は載っていません。内容を正しく伝える説明用の吹き替えとして作っています。

口の動きが合っていないと、見る人は困りますか?

ドラマや映画では気になりやすいですが、スライドや手元を映す研修動画では、口元が映る時間が短く、気になりにくいことが多いです。話している場面と声の位置が大きくずれないことのほうが大切です。

リップシンクと音ズレは同じ意味ですか?

近い意味で使われます。音ズレは、映像と音のタイミングがずれている状態を指すことが多く、リップシンクはそれを合わせることや、合っている状態を指します。

リップシンクは、映像の口の動きと声のタイミングを合わせることです。吹き替えでは、訳文を口の動きに合わせる工夫と、AIで口の形を作り変える技術の両方を指します。研修やマニュアルの動画では、口の形よりも、訳の正しさと場面と声がずれないことを優先するのが現実的です。

おわりに

吹き替えのリップシンクについて、いかがでしたか?口の動きと声のタイミングを合わせることで、研修やマニュアルの動画では口の形よりも、内容が正しく伝わることと場面と声がずれないことを優先するのが現実的でした。

ちなみにスリーでは、「koevo」というサービスを提供しています。日本語の動画から、翻訳・字幕・吹き替えをまとめて作る動画の多言語化の仕組みです。研修やマニュアルの動画を、母国語の声で届けられます。研修やマニュアルの動画の内容を、母国語の吹き替えと字幕で届けたいときにお使いいただけます。よろしければ、サービスページものぞいてみてください。

koevo のサービスページを見てみる

よくある質問

AI吹き替えをすると口の動きも合いますか?

サービスによって違います。声だけを差し替える方式では、映像の口の動きはそのままです。口の動きまで作り変える方式もありますが、映っている人の姿を変えることになるので、本人の同意がより大切になります。

koevo はリップシンクに対応していますか?

koevo の公開ページでは、声だけを吹き替える方式として案内しており、口の動きを作り変える機能は載っていません。内容を正しく伝える説明用の吹き替えとして作っています。

口の動きが合っていないと、見る人は困りますか?

ドラマや映画では気になりやすいですが、スライドや手元を映す研修動画では、口元が映る時間が短く、気になりにくいことが多いです。話している場面と声の位置が大きくずれないことのほうが大切です。

リップシンクと音ズレは同じ意味ですか?

近い意味で使われます。音ズレは、映像と音のタイミングがずれている状態を指すことが多く、リップシンクはそれを合わせることや、合っている状態を指します。

参考文献

論文 1海外の資料 1自社の一次資料 2

この記事は 4 本の出典をもとに書いています。うち 4 本は、引用した文が出典のページにあることを確かめています(2026年11月20日)。

  1. Prajwal et al. (2020) A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild. ACM Multimedia 2020(arXiv:2008.10010, DOI: 10.1145/3394171.3413532)論文
  2. ITU-R Recommendation BT.1359「Relative timing of sound and vision for broadcasting」海外の資料
  3. koevo ヘルプ(使い方・料金)自社の一次資料
  4. koevo の声について自社の一次資料

この記事を書いた人

動画の多言語化に毎日向き合っている koevo のチームが書いています。数字や制度は、元の資料へのリンクを付けています。