BLEUとは?機械翻訳の評価の点数の意味と注意点

訳の点数の表と、言葉の重なりに印をつけた二つの訳文。BLEUとは

この記事でわかること

  • BLEU の一文の定義
  • BLEU が使われてきた理由
  • BLEU のしくみ(手本の訳との重なり)
  • 研究で分かった BLEU の弱点
  • 訳を選ぶときの BLEU の読み方

まず読む: 機械翻訳の評価とは?BLEU・COMET・MQM と人手評価の違い

BLEUとは?

BLEU(ブルー)とは、機械翻訳の訳が、人が作った手本の訳とどれだけ言葉が重なっているかを計算して点数にする、自動の評価の方法です。発表した研究は、BLEU を「人の評価者の代役」として位置づけています。

2002 年にこの方法を発表した研究は、人による翻訳の評価は手間も費用もかかり、終わるまでに何か月もかかることがあり、その手間は使い回せない、と書いています[1]。そのうえで、早く・安く・言語を問わず使え、人の評価とよく合い、1 回測るごとの費用がほとんどかからない自動の評価として BLEU を提案しました[1]。

BLEU で何ができる?

BLEU の役目は、たくさんの訳を、すばやく何度でも比べることです。発表した研究は、BLEU を、早くまたは何度も評価したいときに熟練した人の評価者の代わりを務める「自動の代役」と位置づけています[1]。

  • 翻訳のしくみの改良を確かめる:設定を変える前と後で、点数が上がったかを見ます
  • 大量の訳をまとめて比べる:人が読むと何週間もかかる量でも、計算ならすぐ終わります
  • 研究の結果を数字で示す:同じ試験用の文で、しくみどうしを比べます

2021 年の大規模な研究は、自動の評価が、どの機械翻訳がより優れているかを決めるとき、それだけで判断する道具として使われることが多い、と指摘しています[3]。BLEU は、その代表です。

BLEU のしくみは?

BLEU は、機械の訳と手本の訳を見比べ、同じ言葉や、数語のまとまりがどれだけ重なっているかを数えて点数にします。重なりが多いほど点数が高くなります。2022 年の評価の場の報告も、BLEU を「重なりを見る指標」の一つとして扱っています[4]。

項目BLEU の考え方
比べる相手人が作った手本の訳
見るもの言葉・数語のまとまりの重なり
点数が高いのは手本の訳と同じ言い回しが多い訳
得意なこと大量の訳をすばやく何度も比べる
苦手なこと言い回しは違うが意味は正しい訳を見分ける

このしくみには弱点もあります。たとえば手本が「ヘルメットをかぶってください」のとき、機械の訳が「ヘルメットを着用してください」なら、意味は正しくても言葉の重なりが少ないぶん、点数は下がります。反対に、言葉はよく重なっていても、「かぶってください」が「かぶらないでください」になれば意味は正反対です。

色分けした評価の表を画面で確かめる担当者の手元。機械翻訳の評価

研究で分かった BLEU の弱点は?

BLEU は 20 年以上使われてきましたが、研究が進むにつれて弱点がはっきりしてきました。

① 計算の設定で点数が変わる:2018 年の研究は、BLEU は設定によって値が大きく変わる指標で[2]、よく使われる設定どうしで最大 1.8 の差が出たと報告しています[2]。主な原因は、手本の訳の区切り方や整え方の違いでした[2]。そのため、論文どうしの BLEU の点数はそのまま比べられないとしています[2]。

② 人の評価とのつながりが弱い:2021 年の研究は、230 万件の文ごとの人の評価と 4,380 の翻訳のしくみの結果を集めて調べ[3]、BLEU だけを使ったことが、よりよい翻訳のしくみの開発をさまたげ、誤った導入の判断につながったと指摘しています[3]。2022 年の評価の場の報告も、AI のモデルで学んだ新しい評価のほうが優れていて、BLEU のような重なりを見る指標は人の評価とのつながりが弱いと改めて示しました[4]。

BLEU の弱点を調べた研究の数字出典: 機械翻訳の評価の場(WMT)で発表された 2018 年・2021 年の研究
BLEU の弱点を調べた研究の数字
項目数
設定の違いによる BLEU の差(最大)1.8点
2021 年の研究で集めた人の評価230万件
その研究で比べた翻訳のしくみ4,380個

BLEU だけで訳のよしあしを決めないことが勧められている

同じ 2022 年の報告は、専門家による人の評価のほうが頼りになるとしています[4]。BLEU は「大まかな比べ物」としては今も便利ですが、点数だけで訳のよしあしを決めないことが大切です。

どんな場面で使う?(研修の訳を選ぶとき)

研修やマニュアルの動画を多言語にするとき、翻訳のしくみの説明や資料に BLEU の点数が出てくることがあります。読むときは、次の点に気をつけます。

  1. 点数だけで選ばない:BLEU は人の評価とのつながりが弱いことが分かっています
  2. 同じ条件かを確かめる:設定や試験用の文が違えば、点数はそのまま比べられません
  3. 自分の文で確かめる:社内の言葉や安全の言葉を含む、自分の研修の文で訳を見ます
  4. 相手の言語を話す人に読んでもらう:意味の取り違え・否定・数字・固有名詞を中心に確かめます

4 つ目の進め方は、ポストエディットとはで説明しています。koevo では、字幕・翻訳文をエディターで直せる[5]ので、自動の訳を人が読み直してから配る流れを組めます。

似た言葉とはどう違う?

言葉何を測るかどう測るか
BLEU機械翻訳の訳手本の訳との言葉の重なりを計算
COMET など機械翻訳の訳AI のモデルで意味の近さを予想
MQM など機械翻訳の訳専門家が誤りを数える人の評価
CER・WER音声認識の書き起こし置き換え・抜け・余計の割合を計算

翻訳の評価の方法の全体は機械翻訳の評価の方法、音声認識の物差しは文字誤り率(CER)・単語誤り率(WER)とは、AI の訳が人の訳にどこまで近づいたかの研究はAI翻訳の精度は人の翻訳に追いついた?で紹介しています。

よくある質問

BLEU の点数が高ければ、良い訳だと言えますか?

それだけでは言い切れません。BLEU は手本の訳と言葉が重なる量を見るため、意味は正しくても言い回しが違う訳は低く出ます。2022 年の評価の場の報告では、BLEU は人の評価とのつながりが弱いと示されています。

論文や資料の BLEU の点数は、そのまま比べられますか?

比べられないことがあります。2018 年の研究は、BLEU は計算の設定で値が変わり、設定が書かれていないことが多いため、論文どうしの点数をそのまま比べられないと指摘しています。

BLEU の代わりに何を使えばよいですか?

研究では、AI のモデルで意味の近さを見る新しい自動の評価や、専門家が誤りを数える人の評価が、より頼りになるとされています。自社の研修の訳なら、相手の言語を話す人に確かめてもらうのが確実です。

BLEU はなぜ人の評価の代わりに使われてきたのですか?

人の評価は手間と費用がかかり、終わるまでに何か月もかかることがあるためです。BLEU は早く安く、何度でも測れる「代役」として提案されました。

BLEU とは、機械翻訳の訳と手本の訳の言葉の重なりを計算する自動の評価です。早く安く何度でも測れる一方、人の評価とのつながりが弱く、設定でも点数が変わります。研修の訳を選ぶときは、点数だけで決めず、自分の文で人が確かめましょう。

おわりに

BLEUについて、いかがでしたか?手本の訳との言葉の重なりを計算する自動の評価で、早く安く測れる一方、人の評価とのつながりが弱く設定でも点数が変わるため、BLEU だけで訳を決めないのが大切でしたね。

ちなみにスリーでは、「koevo」というサービスを提供しています。日本語の動画から、翻訳・字幕・吹き替えをまとめて作る動画の多言語化の仕組みです。研修やマニュアルの動画を、母国語の声で届けられます。日本語の動画を多言語の字幕や吹き替えにし、訳を画面で確かめて直したいときにお使いいただけます。よろしければ、サービスページものぞいてみてください。

koevo のサービスページを見てみる

よくある質問

BLEU の点数が高ければ、良い訳だと言えますか?

それだけでは言い切れません。BLEU は手本の訳と言葉が重なる量を見るため、意味は正しくても言い回しが違う訳は低く出ます。2022 年の評価の場の報告では、BLEU は人の評価とのつながりが弱いと示されています。

論文や資料の BLEU の点数は、そのまま比べられますか?

比べられないことがあります。2018 年の研究は、BLEU は計算の設定で値が変わり、設定が書かれていないことが多いため、論文どうしの点数をそのまま比べられないと指摘しています。

BLEU の代わりに何を使えばよいですか?

研究では、AI のモデルで意味の近さを見る新しい自動の評価や、専門家が誤りを数える人の評価が、より頼りになるとされています。自社の研修の訳なら、相手の言語を話す人に確かめてもらうのが確実です。

BLEU はなぜ人の評価の代わりに使われてきたのですか?

人の評価は手間と費用がかかり、終わるまでに何か月もかかることがあるためです。BLEU は早く安く、何度でも測れる「代役」として提案されました。

参考文献

論文 4自社の一次資料 1

この記事は 5 本の出典をもとに書いています。うち 5 本は、引用した文が出典のページにあることを確かめています(2026年11月20日)。

  1. Papineni, Roukos, Ward, Zhu (2002) BLEU: a Method for Automatic Evaluation of Machine Translation. ACL 2002. DOI: 10.3115/1073083.1073135論文
  2. Post (2018) A Call for Clarity in Reporting BLEU Scores. WMT 2018. DOI: 10.18653/v1/W18-6319論文
  3. Kocmi et al. (2021) To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation. WMT 2021論文
  4. Freitag et al. (2022) Results of WMT22 Metrics Shared Task: Stop Using BLEU – Neural Metrics Are Better and More Robust. WMT 2022. DOI: 10.18653/v1/2022.wmt-1.2論文
  5. koevo ヘルプ(使い方・料金)自社の一次資料

この記事を書いた人

動画の多言語化に毎日向き合っている koevo のチームが書いています。数字や制度は、元の資料へのリンクを付けています。