LINE、国立国会図書館のデジタル化資料247万点のテキストデータ化を完了　昭和前期以前の資料に対応するOCRモデルを開発

LINE AIカンパニーは、国立国会図書館が保有するデジタル化資料247万点、2億2300万画像を対象とした「デジタル化資料のOCRテキスト化」作業を受託し、同プロジェクトにおいて、「CLOVA OCR」の技術によるモデル開発を実施、全文のテキストデータ化が完了したと発表した。

「CLOVA OCR」は、書類・画像に記載された文字等の情報をテキストデータへ変換するサービス。

今回テキストデータ化を行ったデジタル化資料の多くは昭和前期以前の資料であり、レイアウトも複雑なため、既存のOCRでは同プロジェクトに必要な精度に達しないことや、2億2300万枚を超えるデジタル化資料の処理に時間を要する点が課題であったという。

そのような中、同社のAI-OCRモデル研究開発チームにおいて、「CLOVA OCR」の技術（以下、ベースラインモデル）を元に、同プロジェクト用のOCRモデル開発を実施。

ベースラインモデルは、現代の書籍や文章、言葉・記号の用法に最適化されているモデルのため、今回のモデル開発において、文字サイズや字間・行間が不揃いな書籍や、本文と非本文（ルビ等）、書籍内のインク汚れや透けて見えている文字、右読みの文章など、昭和前期以前の資料特有の点についてチューニングを行ったという。

結果として、全33区分中、1970年代に出版された雑誌資料を除く32区分で国立国会図書館の目標値よりも高い認識性能を発揮するモデルが完成、全文テキストデータ化に寄与したとのことだ。

改善結果や同プロジェクト結果の詳細については、国立国会図書館がNDLラボで公開している。