Googleが、従来のAI翻訳「Transformer」より、さらに長い文脈を理解できるAI翻訳「Reformer」を発表した。
Reformerは、現在機械翻訳において主流となっているAIモデルTransformerのシステムの課題であるメモリ消費と長文の翻訳精度の問題を解決し、100万ワードの文章を翻訳することが可能になった新しいAIモデル。
また、従来通り、文章の翻訳だけではなく、音楽や画像の生成にも利用できるため、今回の機能向上により、画像に関しては、断片的な画像を復元することができるようになったとのことだ。
断片画像からの復元例
同モデルは、あらかじめワードにハッシュ値を割り当て、これに応じてセグメントを分類。同じ、または隣接するセグメント内のワードを比較する機能を実装することにより、計算負荷の低下を実現した。
さらに、レイヤー移行におけるメモリ消費問題を解決するため、従来のようにキャッシュを蓄積するのではなく、レイヤー移行ごとに入力の再計算を実施。
従来のTransformerベースのモデルも、複数のWebページ程度のワード量であれば前後の内容をふまえた翻訳が可能だったが、この二つのアプローチを実施することにより、Reformerは16GBのメモリで、最大100万ワードの文章を扱えるようになったという。
Googleは今回の翻訳機能向上の一例として、Google Colabのノートブックに、『罪と罰』を全て処理したものを公開。今後もさらに長い文章に適用する方法と位置エンコーディングの処理を改善する方法を模索していくという。