CPUだけでテレビ放送を高精度に字幕にする「早耳」

テレビ放送ほうそうの字幕じまくを利用りようする人ひとにとって、話はなされた言葉ことばがどれほど正確せいかくに画面がめんへ表示ひょうじされるかは大おおきな関心かんしんの対象たいしょうだ。新あたらしく登場とうじょうしたオープンソースのシステム「早耳はやみみ（Hayamimi）」は、画像がぞう処理しょりなどに使つかわれるGPUやクラウドAPIに依存いぞんせず、パソコンのCPUだけで軽快けいかいに動うごく。必要ひつようなメモリも2ギガバイト未満みまんに抑おさえられているが、実際じっさいのテレビ放送ほうそうの日本語にほんご音声おんせいを対象たいしょうにしたテストで「文字もじ誤あやまり率りつ3.8％」という高たかい精度せいどを記録きろくした。

これまでCPUだけで音声おんせいを認識にんしきする方式ほうしきは、一ひとつの大おおきなモデルに頼たよることが多おおかった。しかし「早耳はやみみ」は、話はなした言葉ことばごとに言語げんごを判定はんていし、それぞれの専用せんようモデルに振ふり分わける独自どくじの手法しゅほうを採用さいようしている。モデルはINT8量子化りょうしかされたONNX形式けいしきで、sherpa-onnx上じょうで動うごくため、PyTorchやCUDAのような環境かんきょうは必要ひつようない。6コアのデスクトップCPUでは、実際じっさいの時間じかんの10倍ばいから50倍ばいの速度そくどを実現じつげんしている。発話はつわの途中とちゅうでも約やく0.5秒びょうごとにドラフト字幕じまくが更新こうしんされ、話はなし終おえてから約やく100ミリ秒びょうで確定かくていした文章ぶんしょうを出力しゅつりょくする。

「早耳はやみみ」は、リアルタイムで文字もじを表示ひょうじするだけでなく、配信はいしんや実務じつむに便利べんりな機能きのうも備そなえている。日本語にほんごや英語えいご、中国語ちゅうごくごなど多おおくの言語げんごをカバーし、指定していした言語げんごへのリアルタイム翻訳ほんやくや、話はなしている人ひとを区別くべつする話者わしゃラベル付づけにも対応たいおうする。また、2秒びょうの無音むおんの後あとに直前ちょくぜんの発話はつわをもう一度いちど処理しょりして「清書せいしょ」する二段にだんパス補正ほせいの機能きのうもあり、より正確せいかくな記録きろくを残のこすことができる。さらに、ライブ配信はいしんソフトのOBSに字幕じまくを重かさねて表示ひょうじできるオーバーレイや、ブラウザで状況じょうきょうを確認かくにんできるダッシュボードも備そなわっている。

一方いっぽうで、いくつかの制限せいげんも存在そんざいする。1つの文ぶんの中なかに複数ふくすうの言語げんごが混まざる発話はつわには対応たいおうしておらず、2人ふたりが同時どうじに話はなした声こえを分わけることもできない。また、効果音こうかおんやBGMの直後ちょくごにある短みじかい発話はつわでは言語げんごの判定はんていを誤あやまるおそれがあるほか、小型こがたモデルによる翻訳ほんやくでは数値すうちや金額きんがくのミスが起おこる可能性かのうせいもある。それでも、日本語にほんごと英語えいごだけに絞しぼれば約やく1.1ギガバイトの構成こうせいでも動うごくため、特別とくべつなGPUを持もたない個人こじんでも、手元てもとのパソコンでリアルタイムの字幕じまくを手軽てがるに使つかうことができる。