機械翻訳の評価とは?BLEU・COMET・MQM と人手評価の違い

色分けした評価の表を画面で確かめる担当者の手元。機械翻訳の評価

この記事でわかること

  • 機械翻訳の評価とは何か、何のために使うのか
  • BLEU・COMET・MQM・ESA がそれぞれ何を測っているか
  • 自動の評価と人手評価で、結果が食い違うことがある理由
  • 研修動画の訳を確かめるときに、評価の考え方をどう生かすか

まず読む: AI翻訳の精度は人の翻訳に追いついた?比較の研究でわかったこと

機械翻訳の評価とは?

機械翻訳の評価とは、AI などの機械が作った訳がどれだけ正しく、どれだけ自然に読めるかを確かめる方法のことです。身近な言い方をすると、«訳の採点のしかた» です。

採点のしかたには、大きく二つあります。一つは、計算で点数を出す «自動の評価»。もう一つは、人が訳を読んで良し悪しを判断する «人手評価» です。ニュースで «AI の翻訳が人に追いついた» と言われるとき、その裏にはかならず、どちらかの評価のしかたがあります。どの物差しで測ったのかを知っておくと、そうした話を落ち着いて読めるようになります。

AI 翻訳と人の翻訳を比べた研究そのものは、AI 翻訳の精度は人の翻訳に追いついた?で紹介しています。この記事では、その研究で使われている «物差し» の側を説明します。

機械翻訳の評価で何ができる?

評価をすると、主に次のことが分かります。

  • どの翻訳の仕組みが良いかを比べる:研究者や開発者は、新しい仕組みが前より良くなったかを評価で確かめます
  • どこが弱いかを見つける:誤りの種類まで調べれば、固有名詞に弱い、否定を取り違える、といった弱点が見えてきます
  • 使ってよいかを判断する:配る前の訳が、そのまま使える水準かどうかの目安になります

ただし、どの評価にも得意・不得意があります。ある物差しで良い点が出ても、別の物差しでは差が出ることがあるのです。そのため研究の世界でも、«どう評価するか» そのものが大きなテーマになっています。2021年に発表されたある研究は、人手評価についての研究は多いものの、広く受け入れられた決まった手順はまだ無いと述べています[3]。

グラフを並べた画面で翻訳の精度を比べる研究者の後ろ姿

評価にはどんな種類がある?仕組みは?

代表的な評価を表にまとめます。

名前だれが測る何を見る向いていること
BLEU計算(自動)手本の訳と、言葉がどれだけ重なっているか大量の訳をすばやく比べる
COMET計算(AI のモデル)原文と手本の訳をもとに、訳の品質を予想する意味の近さを見たい比較
MQM人(専門の翻訳者など)どこに、どんな種類の誤りがあるか誤りの中身を知りたいとき
ESA人(プロの評価者)誤りのある範囲に印を付けて評価する文書全体を読んだうえでの評価

BLEU とは?

BLEU は、2002年にある研究チームが自然言語処理の国際会議 ACL で発表した、機械翻訳を自動で評価する方法です[1]。あらかじめ人が作った «手本の訳» と、機械の訳を比べ、同じ言葉の並びがどれだけ出てくるかを数えて点数にします。点数の意味と読むときの注意は、BLEUの点数の意味を解説した記事でくわしく説明しています。

計算が速く、手本さえあればいくらでも採点できるため、長いあいだ研究で広く使われてきました。一方で、言葉が違っても意味が同じ訳を低く評価してしまうことがあります。2022年の機械翻訳の評価の場(WMT22)の報告では、評価の指標を人の評価とどれだけ一致するかで比べ、BLEU のように言葉の重なりを見る指標は人の評価との一致が弱いと、あらためて示しました[4]。報告の題名そのものが «BLEU を使うのはやめよう» という意味です[4]。

COMET とは?

COMET は、2020年に研究チームが発表した評価のしくみです[2]。たくさんの言語を学んだ AI のモデルを使い、原文と手本の訳の両方の情報から、訳の品質を予想します[2]。言葉が一字一句同じかではなく、意味が近いかを捉えやすいのが特徴です。

COMET のモデルは、人の評価を手本に学びます。論文では、直接の評価(Direct Assessments)、人が訳を直した量(HTER)、そして後で説明する MQM という、三つの種類の人の評価でモデルを学ばせたとしています[2]。WMT22 の報告でも、このように学習した AI の指標が、言葉の重なりを見る指標より人の評価に近いという結果が出ました[4]。

印刷した訳文に、赤ペンで誤りの印をつけていく手元

MQM とは?

MQM(Multidimensional Quality Metrics)は、人が訳を読んで、誤りの場所と種類に一つずつ印を付けていく評価の枠組みです。先に紹介した2021年の研究は、はっきりした誤りの分析にもとづく、MQM を使った評価のやり方を提案しました[3]。

この研究では、文書全体を読めるプロの翻訳者に評価してもらいました[3]。すると、一般の評価者(クラウドワーカー)による順位とは大きく違う順位になったと報告しています[3]。«だれが、どう読むか» で評価の結果が変わることを示した例です。WMT22 の報告も、専門家による評価のほうが頼りになるとして、MQM による人の評価を基準に使っています[4]。

ESA とは?

ESA(Error Span Annotation)は、評価する人が訳の中の誤りの範囲に印を付ける評価のやり方です。2025年の評価の場(WMT25)の報告では、プロの評価者が ESA の手順で訳を評価しました[5]。原文は、複数の段落がつながった文書のまま渡しています[5]。一文ずつではなく、文書としてどう読めるかを見る方向に評価が進んでいることが分かります。

どんな場面で使う?

機械翻訳の評価は、研究者だけのものではありません。研修動画やマニュアルを AI で翻訳する会社にとっても、考え方は役に立ちます。

たとえば研修動画の訳を確かめるとき、点数を一つ出しても «何を直せばよいか» は分かりません。MQM のように、どこに・どんな誤りがあるかを見るほうが、実際の手直しにつながります。とくに次のような誤りは、意味が大きく変わるので先に確かめます。

  • 会社名・製品名・現場の名前などの固有名詞
  • 数字・単位・時刻
  • «してはいけない» のような否定
  • 社内でしか使わない専門用語

koevo では、完成した字幕や訳をエディターで直せます[6]。会社名や専門用語は «一括置換» で、全部の言語の字幕をまとめて直せます[6]。訳を人が確かめる理由はAI 翻訳は人の確認が必要?で、AI 吹き替えのどの段階で翻訳が行われるかはAI 吹き替えの仕組みでくわしく書いています。

似た言葉との違いは?

言葉意味機械翻訳の評価との関係
翻訳の精度訳がどれだけ正しいかという、ふだんの言い方評価は、その精度を決まったやり方で測る手続き
人手評価人が訳を読んで判断する評価機械翻訳の評価の一つの種類(MQM・ESA など)
自動評価(指標)計算で点数を出す評価機械翻訳の評価のもう一つの種類(BLEU・COMET など)
手本の訳(参照訳)人が用意した正解に近い訳BLEU や COMET が比べる相手

«精度が高い» と言われたときは、どの評価で、どんな文章について測ったのかを確かめると、話の重みが分かります。研究の数字は、その研究が使った言語の組と文章についての結果です。日本語の研修動画にそのまま当てはまるとは限りません。

よくある質問

BLEU の点数が高ければ、良い訳だと考えてよいですか?

それだけでは言い切れません。BLEU は手本の訳との言葉の重なりを見る指標で、WMT22 の報告では、人の評価とのつながりが弱いという結果が出ています[4]。

COMET と BLEU は何が違いますか?

COMET は、多言語を学んだ AI のモデルを使い、原文と手本の訳の両方から訳の品質を予想する評価のしくみです[2]。言葉が一致しているかではなく、意味が近いかを見られる点が違います。

MQM とはどんな評価ですか?

人が訳を読み、どこに、どんな種類の誤りがあるかを一つずつ印を付けていく評価のやり方です。専門の翻訳者が文書全体を見ながら行う研究で使われています[3]。

自分たちの研修動画の訳を評価するにはどうすればよいですか?

点数を出すことよりも、MQM の考え方にならって «どこが・どう間違っているか» を見ることをおすすめします。固有名詞・数字・否定など、間違うと困る所から確かめます。動画の多言語化の全体の流れは動画を翻訳する方法にまとめています。

機械翻訳の評価とは、訳の正しさと自然さを確かめる方法で、計算で出す自動の評価と、人が読む人手評価があります。研究では、言葉の重なりを見る BLEU より、AI のモデルを使う指標や専門家の人手評価が頼りになるとされています。研修動画の訳では、点数よりも «どこが・どう間違っているか» を見ましょう。

この分野の記事

おわりに

機械翻訳の評価方法について、いかがでしたか?BLEU や COMET のように計算で点数を出す方法と、人が読んで誤りを数える人手評価があり、専門家による人手評価がいちばん頼りになると考えられているということでした。

ちなみにスリーでは、「koevo」というサービスを提供しています。日本語の動画から、翻訳・字幕・吹き替えをまとめて作る動画の多言語化の仕組みです。研修やマニュアルの動画を、母国語の声で届けられます。日本語の動画を、字幕や吹き替えで母国語にして届けたいときにお使いいただけます。よろしければ、サービスページものぞいてみてください。

koevo のサービスページを見てみる

よくある質問

BLEU の点数が高ければ、良い訳だと考えてよいですか?

それだけでは言い切れません。BLEU は手本の訳との言葉の重なりを見る指標で、2022年の評価の場の報告では、人の評価とのつながりが弱いという結果が出ています。

COMET と BLEU は何が違いますか?

COMET は、多言語を学んだ AI のモデルを使い、原文と手本の訳の両方から訳の品質を予想する評価のしくみです。言葉が一致しているかではなく、意味が近いかを見られる点が違います。

MQM とはどんな評価ですか?

人が訳を読み、どこに、どんな種類の誤りがあるかを一つずつ印を付けていく評価のやり方です。専門の翻訳者が文書全体を見ながら行う研究で使われています。

自分たちの研修動画の訳を評価するにはどうすればよいですか?

点数を出すことよりも、MQM の考え方にならって «どこが・どう間違っているか» を見ることをおすすめします。固有名詞・数字・否定など、間違うと困る所から確かめます。

参考文献

論文 5自社の一次資料 1

この記事は 6 本の出典をもとに書いています。うち 6 本は、引用した文が出典のページにあることを確かめています(2026年11月20日)。

  1. Papineni, Roukos, Ward, Zhu (2002) Bleu: a Method for Automatic Evaluation of Machine Translation. ACL 2002. DOI: 10.3115/1073083.1073135論文
  2. Rei, Stewart, Farinha, Lavie (2020) COMET: A Neural Framework for MT Evaluation. EMNLP 2020. DOI: 10.18653/v1/2020.emnlp-main.213論文
  3. Freitag et al. (2021) Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation. TACL 9. DOI: 10.1162/tacl_a_00437論文
  4. Freitag et al. (2022) Results of WMT22 Metrics Shared Task: Stop Using BLEU – Neural Metrics Are Better and More Robust. WMT 2022. DOI: 10.18653/v1/2022.wmt-1.2論文
  5. Kocmi et al. (2025) Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. WMT 2025. DOI: 10.18653/v1/2025.wmt-1.22論文
  6. koevo ヘルプ(使い方・料金)自社の一次資料

この記事を書いた人

動画の多言語化に毎日向き合っている koevo のチームが書いています。数字や制度は、元の資料へのリンクを付けています。