mieki256's diary

複数の画像から高解像度の画像を生成する技術があったはず、と思って検索。もしかすると、「超解像」と呼ばれるソレかもしれないけど。自分が今使えるデジカメは、どれも解像度が低いので、連写した画像から高解像度の画像を作れるなら、試してみたいなと。

_ImageD2 というフリーソフトに遭遇。試してみたところ、ン時間単位で処理時間がかかったにも関わらず、さっぱり高解像度画像には見えなくて。なんでだろうと思って調べ直したところ、自分はこの手の「超解像技術」について、ずっと勘違いをしていたことに気付いたり。

複数の画像から、高解像度画像を作る際には、えてして動画を使うらしい。というのも、カメラが微妙に動いていることを期待して、なのだとか。現在見ているフレームだけでは、拡大に必要な情報が足りてなかったとしても、前後のフレームなら、カメラが微妙に動いていることで、拡大に使える画素情報が含まれてる状態かもしれん ―― と考えて、前後のフレームから画素情報を、探して、拾って、現在のフレームに埋めていく、てのがその手の処理だそうで。

自分が実験に使った複数画像は、カメラを三脚でガッチリ固定して撮影したモノなので、カメラが全然動いてない。同じ場所を連写撮影しただけだから、拡大後にドットが足りてない場所を埋めるための画素情報がどの画像にも含まれてない。道理で、全く高解像度になっていかないわけで。

なら、手持ち撮影で連写した画像なら上手くいくのでは…。試しに、手持ち撮影画像を ImageD2 に処理させたら、エラーが発生して強制終了。どうやら、各画像の移動量が大き過ぎると落ちるらしい…。

何にせよ、色々と勉強になった。とりあえず調べた範囲で分かったことをメモ。超解像技術は、今のところ大別すると2つあるそうで。

• 複数の画像から高解像度画像を生成。
• 1つの画像から高解像度画像を生成。

前者は、「他の画像なら拡大に使える情報が含まれてるかも」と期待しながら処理をする方法だけど。後者の、1つの画像から高解像度画像を生成する方法も、ざっと眺めたところ2種類あるように見えた。

• 既存アルゴリズムで拡大するが、そのままだとぼやけて不自然なので、シャープフィルタ等色んなフィルタをかけてぼやけ具合を誤魔化す方法。巷の液晶TVその他がやっている、アップコンバータ(略してアプコン)と言われてるのは、ほとんどコレらしい。
• 辞書方式。あらかじめ様々な高解像度画像を縮小して、「この低解像度パターンなら、たぶんこのへんの高解像度パターンが元だったんじゃないか」と推測できる辞書を作っておく。その辞書と照らし合わせて、低解像の画像に、高解像度パターンを当てはめていく。

辞書方式は、かなり高解像度の画像が出てくるようで、サンプル紹介を見ていてビックリしたのだけど。原理からして、本当に元々そういう画像だったのか、大変疑問が残ってしまう方法なわけで。ただ、人の顔を復元するとか、ナンバープレートを復元するとか、ジャンルを限定してしまえば ―― 元々あり得たはずの高解像度パターンが結構限定されている状態なら、かなりイイ感じに推測できるっぽい。

◎ 辞書方式云々。 :