モザイクは元々室内装飾の手法として考案され、古代から続く装飾方法のひとつだ。しかし、世の中でモザイクといえばモザイク処理の方が有名だろう。個人情報保護や規制のために、画像や動画などの該当部分をピクセル単位で改変するモザイク処理が行われる。モザイク処理には可逆変換と非可逆変換がある。可逆変換は縦横に分割した画像をランダムに並べ替えるだけなので、正しい位置に並べ替えれば元の画像になる。世の中で主に使われているのは非可逆変換で、一定領域の色から代表値をとって塗りつぶすなどの手法がとられる。元のデータをランダムに加工しているため、こちらは元に戻すことができない。

そんななか、アメリカのデューク大学研究チームが今までにない新手法でモザイク解析の方法を提案した。

無理に解像度を上げるのではなく、似ている画像で代替する

既存のモザイク解析ツールは、低解像度の画像に足りていないピクセルやディテールをアルゴリズムで分析・予測して補強することで高解像度画像の復元を目指している。しかし、低解像度の画像には欠損している部分が多くあるため、解像度を上げるとベタ塗りしたような印象が出てしまうことが課題だ。

その一方で、デューク大学が発表した「PULSE」は別の視点からアプローチをかけた。対象となる低解像度の元画像を元に、AIが生成した高画質画像を再度低解像度化し、低解像度の画像同士を比較して一番似ている画像を出すのだ。

©︎Duke University [http://pulse.cs.duke.edu/]

画像の自動生成技術は、GAN（敵対的生成ネットワーク）を応用している。
真の姿を再現するのではなく、真の姿に一番似ているとされる高画質画像を自動生成するのだ。

真の姿ではなくても、今まで解明できなかった多くの領域で有効に使える

©︎Duke University [http://pulse.cs.duke.edu/]

上記図のようにPULSEが生成する画像は、瓜二つの画像というよりかは、高画質な別人という感じだ。まだまだ完全に復元できるツールではないため、このツールの使用は制限されている。

©︎Duke University [http://pulse.cs.duke.edu/]

上の図は、他の高解像度化ツールとの比較である。PULSEだと髪の毛の細かい部分まで再現できていることがわかる。
改良を重ねることで精度が上がってくれば、古い画像資料を鮮明に復元したり、遥か彼方の宇宙画像を鮮明にしたりできるようになる。そうすることで、今まで解明が進んでいなかった領域でのさまざま発展が見込まれるだろう。

しかし、一般的に普及すれば犯罪利用などが加速する恐れもあるため、使用には慎重になった方が良い。今後の発展に注目したい。

Thumbnail-photo on [PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models], Duke University, 2020.