音声認識の精度は何で決まる?仕組みと聞き取りが落ちる原因

会議の声を拾うマイクと波形の画面。音声認識の精度を左右する録音

この記事でわかること

  • 音声認識が話し声を文字に変える仕組み
  • 論文で報告されている精度と、その数字の読み方
  • 精度を左右する要因(雑音・距離・会話・専門用語)
  • 研修動画の音声を聞き取りやすく録るコツ
  • koevo で文字起こしの誤りを見つけて直す方法

まず読む: AI翻訳の精度は人の翻訳に追いついた?比較の研究でわかったこと

音声認識とは?(結論)

音声認識は、話し声を文字に変える技術です。英語では Automatic Speech Recognition(ASR)と呼ばれます。スマートフォンの音声入力や会議の自動の書き起こし、動画の自動字幕などに使われています。

結論から言うと、いまの音声認識はとても正確になりましたが、精度は録音の条件で大きく変わります。整った評価用の音声で測ると良い数字が出ても、実際の会話や雑音のある場所の録音では誤りが増える、という研究があります。動画を多言語にするときは、最初の文字起こしの誤りが、そのあとの翻訳や吹き替えにも引き継がれます。だからこそ、仕組みと弱点を知っておく価値があります。

動画を翻訳する流れの全体は、動画を翻訳する方法にまとめています。聞き取ったあとの翻訳がどこまで正確になったかは、AI翻訳の精度を比べた研究で紹介しています。

音声認識の仕組みは?

音声認識は、おおまかに次の流れで動いています。

  1. 音を数字に変える:マイクが拾った空気の揺れを、細かい時間ごとの数字の並びにします
  2. 音の特徴を取り出す:声の高さや響きなど、言葉を聞き分けるのに役立つ特徴を取り出します
  3. 言葉を当てる:学習した AI が、その音の並びにもっともらしい文字の並びを選びます
  4. 文として整える:句読点を付けたり、数字の書き方をそろえたりします

以前は、音を聞き分ける部分と、言葉のつながりを見る部分を別々に作るのがふつうでした。いまは、音声と書き起こしの組をたくさん学んだ一つの大きな AI が、音から文字までをまとめて扱う形が広がっています。

代表的な研究が、2023年に機械学習の国際会議 ICML で発表された論文です[1]。この研究では、インターネット上にある大量の音声と、その書き起こしを予測するだけで学習させた音声処理のしくみを調べました[1]。学習に使ったのは、多言語・複数の作業を含む 680,000 時間ぶんのデータです[1]。

大量の音声で学習させた音声処理のしくみ(2023年の研究)出典: Radford, Kim, Xu, Brockman, McLeavey, Sutskever (2023) Robust Speech Recognition via Large-Scale Weak Supervision. ICML 2023
大量の音声で学習させた音声処理のしくみ(2023年の研究)
項目数
学習に使った音声と書き起こし680,000時間

この論文の題名にある «弱い教師(Weak Supervision)» とは、人がていねいに作った正解だけでなく、インターネットにあるそのままの書き起こしのような、多少の誤りを含むデータまで使って学ぶことを指します。一つひとつの正解の質はそろっていなくても、量を大きく増やすことで、さまざまな話し方や録音の条件に強くなるという考え方です。

裏を返すと、AI が «よく聞いたことのある言葉» ほど正しく文字にしやすく、めったに出てこない言葉ほど苦手になりやすい、ということでもあります。社内だけで使う略語や、新しい製品の名前、人の名前の読み方などは、学習したデータにほとんど出てきません。聞こえた音に近い、よく使われる別の言葉に置きかわるのは、この仕組みから考えると自然なことです。

精度・性能の目安は?(出典つきの数字)

論文では «人に近い» と報告されている

この論文は、こうして学んだモデルが一般的な評価用のデータでよく働き、特定のデータに合わせた追加の学習をしなくても、従来の手法と肩を並べることが多いと報告しています[1]。人と比べても、正確さと頑丈さで人に迫ったとしています[1]。

実際の会話では、数字ほど良くないことがある

一方で、評価の数字をうのみにしない方がよい、という研究もあります。2020年に発表された別の研究は、評価用のデータで報告されるとても低い誤り率(WER=単語の誤り率)に疑問を投げかけました[2]。この研究では、商用の音声認識を三つ選び、実際の自然な会話を集めたデータで比べています[2]。その結果、誤り率は報告されているいちばん良い数字よりかなり高かったとしています[2]。

誤り率は、正解の書き起こしと比べて、まちがえた・抜けた・余分に入った単語の割合で数えるのが一般的です。日本語は単語の区切りを書かないので、文字の単位で数えることもあります。いずれにしても、どんな音声で測った数字か を確かめることが大切です。

精度を左右する要因

研究や公開されている注意書きから、精度を左右する主な要因を表にまとめます。

要因起きやすいこと録るときにできること
雑音・音の小ささ声が埋もれ、言葉が抜ける・取り違える静かな場所で録る。機械の音が止まっているときに話す
マイクとの距離遠いと響きや周りの音が混ざる話す人の口元に近いマイク(ピンマイクなど)を使う
会話・言い直し言いよどみや話し言葉で文が崩れる研修では台本やメモを用意し、区切って話す
声の重なり複数の人が同時に話すと聞き分けにくい一人ずつ話す。質疑の場面は分けて録る
専門用語・固有名詞似た音のよく使われる言葉に置きかわるあとで一括で直す前提で、言葉の一覧を作っておく

会議や質疑のように何人もの声が入る録音で、だれがいつ話したかを見分ける技術は、話者分離とはで説明しています。

マイクとの距離と会話の難しさは、研究の世界でも大きなテーマです。音声認識の国際的な課題(CHiME)の第5回をまとめた 2018年の論文は、実際の家庭で、離れたところにある複数のマイクで会話を聞き取るという課題を取り上げています[3]。録音は、夕食会の場面を用意して、自然な会話になるよう集めたものです[3]。離れたマイクで自然な会話を聞き取ることが、それだけ研究の課題になっているということです。

koevo のヘルプでも、雑音が多い・音が小さい・聞き取りにくい音声は、文字起こしや吹き替えの精度が下がることがあると案内しています[4]。

機械翻訳の訳を直すポストエディットの作業をする手元

文字起こしの誤りは、そのあとにどう伝わる?

動画の多言語化では、音声認識の結果がすべての出発点になります。たとえば «保護具を外さない» が «保護具を外す» と聞き取られれば、その誤りは各言語の訳にも、吹き替えの声にも、そのまま引き継がれます。翻訳の AI は、元の日本語が正しいものとして訳すからです。

そのため、確かめる順番も大切です。まず日本語の文字起こしを確かめ、意味が変わる誤り(否定・数字・固有名詞)を直してから、各言語の訳を見ます。日本語の段階で直しておけば、言語の数だけ同じ誤りを探す手間が省けます。

録る前に確かめたいこと

撮影の前に、次の点を確かめておくと、文字起こしの誤りを減らせます。

  • 話す人の近くにマイクがあるか(カメラ本体のマイクだけに頼らない)
  • 周りで機械や車の音が鳴っていないか、鳴るなら止まるのを待てるか
  • 話す内容をメモや台本にしておき、言い直しを減らせるか
  • 社内の略語・製品名・人名の一覧を、あとで直すために用意したか
  • 何人かで話す場面は、一人ずつ話すように決めたか

どれも特別な機材は要りません。録音のしかたを少し変えるだけで、あとで人が直す量を減らせます。

向いている場面・向かない場面は?

向いている気をつけたい
一人の話し手が、マイクの近くで、台本にそって話す研修・説明機械の音が大きい場所での撮影
静かな会議室で録った講義・あいさつ何人もが同時に話す話し合い・質疑
ゆっくり、区切って話すマニュアル動画カメラ本体のマイクで、離れた人の声を拾った録音
一般的な言葉が中心の内容社内の略語・製品名・人名が多い内容

気をつけたい場面でも、使えないわけではありません。文字起こしのあとに人が確かめ、直す前提で使えば十分に役立ちます。建設現場のように騒がしい場所での朝礼の工夫は、建設の現場向けの記事「朝礼の翻訳」で扱っています。

三脚のスマートフォンとピンマイクで研修動画を撮影する現場

導入の流れと費用の目安は?

研修動画を多言語にする場合、音声認識は単独で使うより、翻訳・吹き替え・字幕の最初の一歩として使われることがほとんどです。おおまかな流れは次のとおりです。

  1. 聞き取りやすい音声で動画を撮る(上の表を参考に)
  2. 音声認識で日本語を文字に起こす
  3. 文字を各言語に翻訳し、字幕や吹き替えを作る
  4. 字幕と訳を人が確かめ、固有名詞や専門用語を直す

koevo では、動画をアップロードして言語を選ぶと、この流れが自動で進みます。料金は、ヘルプに書いている制作料金(1分・1言語ごと)で表示されます[4]。完成後は、エディターで字幕・翻訳文を直せます[4]。会社名や専門用語は «一括置換» で、全部の言語の字幕をまとめて直せます[4]。ただし、字幕を直しても吹き替えの音声は変わりません[4]。音声認識の誤りが吹き替えにも残らないよう、まず録音を聞き取りやすくしておくことが大切です。

文字起こしのあとの翻訳がどう評価されているかは、機械翻訳の評価とは?で、AI 吹き替えのどの段階で音声認識が使われるかは、AI 吹き替えの仕組みで説明しています。

よくある質問

音声認識の精度はどれくらいですか?

録音の条件によって大きく変わるため、一つの数字では言えません。論文で発表される良い数字は、整った評価用の音声で測ったものが多く、実際の会話では誤りが増えるという研究もあります[2]。

精度を上げるために、いちばん効くことは何ですか?

話す人の口の近くにマイクを置き、雑音の少ない場所で録ることです。離れたマイクや、何人もの声が重なる録音は、研究でも難しい条件とされています[3]。

人が聞き取るのとは何が違いますか?

人は、話の流れや場面から «たぶんこう言ったのだろう» と補って聞いています。音声認識も前後の言葉から推し量りますが、その場の状況や、社内でしか通じない事情までは知りません。人には当たり前に分かる言い間違いや略し方でも、文字にするとずれることがあります。

専門用語や会社名が間違って文字になるのはなぜですか?

音声認識は、学んだ言葉の中から、聞こえた音にもっともらしい言葉を選びます。めったに出てこない社内の言葉や固有名詞は、似た音の別の言葉に置きかわりやすくなります。

koevo で文字起こしが間違っていたら直せますか?

直せます。完成後にエディターで字幕・翻訳文を直せ、会社名や専門用語は一括置換で全部の言語をまとめて直せます[4]。ただし字幕を直しても、吹き替えの音声は変わりません[4]。

音声認識は、大量の音声から学んだ AI で、人に近い正確さに迫りました。ただし実際の会話・雑音・離れたマイク・専門用語では誤りが増えます。研修動画は口元のマイクで静かに録り、文字起こしのあとに人が確かめて直しましょう。

この分野の記事

おわりに

音声認識の精度を左右するものについて、いかがでしたか?精度は雑音やマイクとの距離、会話の話し方、専門用語などの録音の条件で大きく変わり、はっきり録ることがいちばんの近道でした。

ちなみにスリーでは、「koevo」というサービスを提供しています。日本語の動画から、翻訳・字幕・吹き替えをまとめて作る動画の多言語化の仕組みです。研修やマニュアルの動画を、母国語の声で届けられます。はっきり録った研修動画をもとに、翻訳した字幕や吹き替えまでまとめて作りたいときにお使いいただけます。よろしければ、サービスページものぞいてみてください。

koevo のサービスページを見てみる

よくある質問

音声認識の精度はどれくらいですか?

録音の条件によって大きく変わるため、一つの数字では言えません。論文で発表される良い数字は、整った評価用の音声で測ったものが多く、実際の会話では誤りが増えるという研究もあります。

精度を上げるために、いちばん効くことは何ですか?

話す人の口の近くにマイクを置き、雑音の少ない場所で録ることです。離れたマイクや、何人もの声が重なる録音は、研究でも難しい条件とされています。

人が聞き取るのとは何が違いますか?

人は話の流れや場面から言葉を補って聞いています。音声認識も前後の言葉から推し量りますが、その場の状況や社内だけの事情までは知らないため、人には分かる言い間違いや略し方でも、文字にするとずれることがあります。

専門用語や会社名が間違って文字になるのはなぜですか?

音声認識は、学んだ言葉の中から、聞こえた音にもっともらしい言葉を選びます。めったに出てこない社内の言葉や固有名詞は、似た音の別の言葉に置きかわりやすくなります。

koevo で文字起こしが間違っていたら直せますか?

直せます。完成後にエディターで字幕・翻訳文を直せ、会社名や専門用語は一括置換で全部の言語をまとめて直せます。ただし字幕を直しても、吹き替えの音声は変わりません。

参考文献

論文 3自社の一次資料 1

この記事は 4 本の出典をもとに書いています。うち 4 本は、引用した文が出典のページにあることを確かめています(2026年11月20日)。

  1. Radford, Kim, Xu, Brockman, McLeavey, Sutskever (2023) Robust Speech Recognition via Large-Scale Weak Supervision. ICML 2023, PMLR 202:28492-28518論文
  2. Szymański et al. (2020) WER we are and WER we think we are. Findings of EMNLP 2020. DOI: 10.18653/v1/2020.findings-emnlp.295論文
  3. Barker, Watanabe, Vincent, Trmal (2018) The Fifth 'CHiME' Speech Separation and Recognition Challenge: Dataset, Task and Baselines. Interspeech 2018. DOI: 10.21437/Interspeech.2018-1768論文
  4. koevo ヘルプ(使い方・料金)自社の一次資料

この記事を書いた人

動画の多言語化に毎日向き合っている koevo のチームが書いています。数字や制度は、元の資料へのリンクを付けています。