この記事でわかること
- 「AI翻訳が人に並んだ」という主張と、その確かめ直し
- 一文ずつの評価と文書全体の評価で結果が変わる理由
- プロの翻訳者が評価すると何が違うか
- 最新の評価の場(WMT25)で変わったこと
- 研修動画の翻訳で、この研究をどう生かすか
結論: この論文で分かったことは?
「AI翻訳が人の翻訳に並んだ」と言われることがあります。この主張を確かめ直した研究によると、一文ずつ比べると人の訳と見分けにくくても、文書全体で読むと人の訳のほうが好まれるという結果になりました[1]。
この記事では、その中心になった2018年の論文を、ほかの研究とあわせてやさしく紹介します。研修やマニュアルの動画を AI で翻訳するとき、「どこを、どう確かめればよいか」を考える手がかりになります。
Has Machine Translation Achieved Human Parity? A Case for Document-level Evaluation
著者: 3人の研究者(氏名は出典の一覧に記載)
発表: EMNLP 2018(自然言語処理の国際会議・査読つき)
DOI: 10.18653/v1/D18-1512[1]
要点: 機械翻訳が人の翻訳に並んだという主張を、一文ずつの評価と文書全体の評価で比べて確かめ直した。文書全体で評価すると、評価者は人の翻訳をよりはっきり好んだ。
論文の情報は?
紹介する論文は、3人の研究者による「Has Machine Translation Achieved Human Parity? A Case for Document-level Evaluation」です。2018年の自然言語処理の国際会議 EMNLP で発表されました。DOI は 10.18653/v1/D18-1512 です[1]。
あわせて、同じ年に同じ主張を別の角度から確かめた論文(以下「2つ目の論文」)[2]と、2021年にプロの翻訳者による大規模な評価を行った論文(以下「3つ目の論文」)[3]、2025年の機械翻訳の評価の場(WMT25)の報告[4]も紹介します。いずれも査読を経て発表されたものです。
何を調べた?どう調べた?
きっかけになった「人に並んだ」という主張
2018年、中国語から英語へのニュースの翻訳で、機械翻訳が人の翻訳と同じ水準に達したという研究が発表されました[2]。2つ目の論文は、この主張を「機械翻訳が中国語から英語へのニュース翻訳で人と同じ水準に達した」と主張したものとして取り上げています[2]。
一文ずつ読むか、文書全体で読むか
1つ目の論文の研究チームは、この主張を別の評価のしかたで確かめました。比べたのは、一文ずつ切り離して評価するやり方と、文書全体を通して評価するやり方です[1]。
一文ずつの評価では、評価する人は前後の文を見ません。そのため、前の文とのつながりがおかしい、同じ言葉が文ごとに違う訳になっている、といった間違いに気づけません。文書全体で読めば、そうした間違いも目に入ります。

| 評価のしかた | 評価する人が見るもの | 見つけやすい間違い |
|---|---|---|
| 一文ずつ | 切り離した1つの文 | 文の中の誤訳・不自然な言い回し |
| 文書全体 | 前後の文を含む文書 | つながりの不自然さ・訳語のばらつき・指すものの取り違え |
分かったことは?(数値は論文のまま)
文書全体で読むと、人の訳がより好まれた
この研究チームの実験では、訳の正しさ(意味が合っているか)と読みやすさを評価する人たちが、一文ずつ評価するときよりも文書全体を評価するときのほうが、機械の訳より人の訳をはっきり好みました[1]。
論文は、機械翻訳が良くなるにつれて、一文だけでは見つけにくい、あるいは見つけられない間違いが、訳の品質の差を決めるようになると述べています[1]。だからこそ、文書全体で評価する方向へ移る必要があると結論づけています。
もとの文が「翻訳された文」かどうかでも結果が変わった
2つ目の論文の研究チームは、評価に使った文の性質にも注目しました。評価用の原文の中には、もともと別の言語から訳された文がまざっていることがあります。論文は、もともとその言語で書かれた原文だけを使うと、人と同じ水準には達していないという結果が得られたと報告しています[2]。
プロの翻訳者が評価すると、差がはっきりした
同じ研究チームは、プロの翻訳者と、翻訳を専門としない評価者の判断も比べました。その結果、専門家の評価は評価者どうしの一致が高く、人の訳と機械の訳をよりよく見分けられたとしています[2]。
この点を大規模に確かめたのが、2021年に発表された3つ目の論文です。2020年の評価の場(WMT 2020)で上位だった翻訳システムの訳を、2つの言語の組で、文書全体を見られるプロの翻訳者に評価してもらいました[3]。その結果、一般の評価者による順位とは大きく違う順位になり、人の訳を機械の訳よりはっきり好むことが示されました[3]。この論文は、事前に学習したモデルを使った自動の評価指標のほうが、一般の評価者より良い判断をすることがあるという、意外な結果も報告しています[3]。
最新の評価の場では、何が変わった?
機械翻訳の性能を比べる国際的な場として、毎年 WMT(Conference on Machine Translation)が開かれています。2025年の報告では、参加者は30の言語の組から好きな組を選んでシステムを作りました[4]。評価したのは合わせて60のシステムで、そのうち36が参加者のもの、24が大規模言語モデル(LLM)や広く使われているオンライン翻訳サービスから集めた訳です[4]。
この年は、難しい評価用の文を選ぶ方法を作り、より複雑な原文を使うことに力を入れたとしています[4]。報告の題名も「簡単な評価用の文で評価するのはやめる時期だ」という意味のものです。原文は複数の段落からなる文書のまま渡し[4]、プロの評価者が誤りの範囲に印を付ける方法(ESA)で評価しました[4]。2018年の論文が求めた「文書全体で、専門家が評価する」という方向に、評価の場そのものが動いてきたことが分かります。
なお、ここで紹介した数値や結果は、それぞれの論文が対象にした言語の組と文章についてのものです。日本語の研修動画の翻訳にそのまま当てはまる数値ではありません。

研修やマニュアルの動画で、何に使える?
この研究から、研修動画を AI で翻訳するときの確かめ方について、3つのことが言えます。
1. 一文ずつではなく、動画全体を通して読む
研究が示したとおり、一文だけ見ると問題がなくても、通して読むと気づく間違いがあります。字幕を確かめるときは、一行ずつ正しいかを見るだけでなく、最初から最後まで通して読み、話のつながりがおかしくないかを見ます。
2. 同じ言葉が同じ訳になっているかを見る
研修動画では、「保護具」「立入禁止」のような大事な言葉が何度も出てきます。場面ごとに違う訳になっていると、見る人は別のものだと受け取りかねません。社内で表記をそろえる翻訳用の用語集を用意しておくと、確かめやすくなります。
3. できれば、その言語が分かる人に見てもらう
研究では、専門家ほど人の訳と機械の訳の違いを見分けられました。社内にその言語が分かる人がいれば、全部でなくても、大事な場面だけでも読んでもらうと安心です。いない場合は、否定・数字・固有名詞のように、言語が分からなくても確かめられる所から見ます。
koevo でも、AI の翻訳・読み上げは100点ではなく、大切な内容はエディターで字幕を確かめてから使ってほしいと案内しています[5]。作り手がなぜそう考えるかはAIの訳を人が確かめる理由に書きました。AI吹き替えのどの段階で間違いが起きやすいかは、AI吹き替えの仕組みで説明しています。
よくある質問
AI翻訳はもう人の翻訳と同じ精度ですか?
研究では、そう言い切れる結果にはなっていません。一文ずつ比べると差が小さく見えても、文書全体で読む評価やプロの翻訳者による評価では、人の翻訳のほうが好まれる結果が報告されています。
なぜ文書全体で読むと差が出るのですか?
前後の文とのつながりや、同じ言葉の訳し方のそろい方など、一文だけでは見つけにくい間違いがあるからです。論文は、機械翻訳が良くなるほど、そうした間違いが品質の差を分けるようになると述べています。
研修動画の翻訳では何に気をつければよいですか?
一文ずつではなく、動画全体を通して訳を読んで確かめることです。とくに同じ言葉が場面ごとに違う訳になっていないか、否定や数字が正しいかを見ます。
この記事の研究は日本語の翻訳についての結果ですか?
紹介している2018年の研究は、中国語から英語へのニュース翻訳を対象にしたものです。日本語の動画にそのまま当てはまる数値ではありませんが、評価のしかたで結果が変わるという考え方は、どの言語でも参考になります。
AI翻訳は大きく進歩しましたが、研究では「人の翻訳と同じ」とは言い切れていません。一文ずつではなく文書全体で、専門家が読むと差が見えてきます。研修動画の訳も、通して読み、言葉のそろい方と否定・数字を人が確かめましょう。
この分野の記事
- 機械翻訳の評価とは?BLEU・COMET・MQM と人手評価の違い
- 音声認識の精度は何で決まる?仕組みと聞き取りが落ちる原因
- AI翻訳の間違いはどこで起きる?固有名詞・否定・訳抜けの見つけ方
- LLMの翻訳とニューラル機械翻訳の違いは?研究からみた選び方
- ポストエディットとは?機械翻訳の訳を人が直す作業の基礎
- 機械翻訳とは?仕組みの移り変わりと、できること・できないこと
おわりに
AI翻訳の精度をめぐる研究について、いかがでしたか?精度は大きく上がったものの、文書全体で読むと人の翻訳が好まれるという研究があり、「人と同じ」とまでは言い切れないということでした。
ちなみにスリーでは、「koevo」というサービスを提供しています。日本語の動画から、翻訳・字幕・吹き替えをまとめて作る動画の多言語化の仕組みです。研修やマニュアルの動画を、母国語の声で届けられます。日本語の動画の翻訳・字幕・吹き替えをまとめて作り、母国語の声で届けたいときにお使いいただけます。よろしければ、サービスページものぞいてみてください。
よくある質問
AI翻訳はもう人の翻訳と同じ精度ですか?
研究では、そう言い切れる結果にはなっていません。一文ずつ比べると差が小さく見えても、文書全体で読む評価やプロの翻訳者による評価では、人の翻訳のほうが好まれる結果が報告されています。
なぜ文書全体で読むと差が出るのですか?
前後の文とのつながりや、同じ言葉の訳し方のそろい方など、一文だけでは見つけにくい間違いがあるからです。論文は、機械翻訳が良くなるほど、そうした間違いが品質の差を分けるようになると述べています。
研修動画の翻訳では何に気をつければよいですか?
一文ずつではなく、動画全体を通して訳を読んで確かめることです。とくに同じ言葉が場面ごとに違う訳になっていないか、否定や数字が正しいかを見ます。
この記事の研究は日本語の翻訳についての結果ですか?
紹介している2018年の研究は、中国語から英語へのニュース翻訳を対象にしたものです。日本語の動画にそのまま当てはまる数値ではありませんが、評価のしかたで結果が変わるという考え方は、どの言語でも参考になります。
参考文献
論文 4自社の一次資料 1
この記事は 5 本の出典をもとに書いています。うち 5 本は、引用した文が出典のページにあることを確かめています(2026年11月20日)。
- Läubli, Sennrich, Volk (2018) Has Machine Translation Achieved Human Parity? A Case for Document-level Evaluation. EMNLP 2018. DOI: 10.18653/v1/D18-1512論文
- Toral, Castilho, Hu, Way (2018) Attaining the Unattainable? Reassessing Claims of Human Parity in Neural Machine Translation. WMT 2018. DOI: 10.18653/v1/W18-6312論文
- Freitag et al. (2021) Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation. TACL 9. DOI: 10.1162/tacl_a_00437論文
- Kocmi et al. (2025) Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. WMT 2025. DOI: 10.18653/v1/2025.wmt-1.22論文
- koevo の声について自社の一次資料








