mieki256's diary

画像生成AI Stable Diffusion web UIを使って、白黒漫画の中の1コマを実写風画像に変換できないものかなと実験中。

これはちょっと失礼な話かもしれないけど、なんとなく思いついてしまったので…。かつて、写真をトレスして表紙イラストや漫画のコマを描いてることが判明して、ネット上で若干炎上してしまった漫画家さんが居たのだけど。そういった方々が描いた漫画のコマなら、写真を元にしてる可能性が高いだろうし、画像生成AIで実写風画像に変換しやすいのではなかろうかと閃いてしまった、という…。一般的には否定されがちなソレだろうけど、こういう実験をする時はとてもありがたい存在。何がプラスになるのか分らんもんだなと…。

そんなわけで、実際に変換しやすいのか試してたのだけど…。これが全然上手く行かない。仮説は完全に間違ってた。写真をトレスして描かれた(可能性の高い)線画だから、その分変換しやすい ―― そんなことはありえないのだなと分かった。

そもそも、実写風画像への変換どころか、イラスト風の着色処理すら上手く行かない。

• 肌と服を取り違えた状態で認識されてしまって、無いはずの手足が描かれたり、あるはずの手足が消滅したり。
• 何も描いてない背景部分に何かがあると強固に推測されて、妙なモノが必ず描かれてしまったり。

考えてみれば、本来そこには色があったはずの光景を白黒で描いてしまった時点で、そこに何が描かれているのか推測する際に必要になるであろう膨大な画像情報が欠落してるのだよなと…。

例えば、コマの中で縦方向に線が数本描かれて空間が区切られていたとして、その各空間が一体何を示しているのか推測せよと言われても、AIどころか人間ですら推測は難しいわけで。作者から、ここは人間の足、ここは腕、ここは背景、ここは木の幹、ここは電柱、などと説明でも受けない限り分かるわけがない。人間ですらそうなのだから、ましてAIに正しく認識させることなんて無理だよな…。


もっとも、漫画の場合、そこに描かれているものが何なのか、読者が推測できなかったら漫画として成立しないので、それが何なのか一目で分かるように、様々な工夫がされているわけだけど。

• スクリーントーンを貼ったりハッチングを描き加えて影の形状を示して立体感を提示したり。
• 各線の先端に特徴的な形状を加えることで人体のどの部分なのか伝えていたり。
• 前後のコマで明確に描かれている物体から、そのコマに描かれているものを推測できるようにしていたり。

漫画を読んでる側は一切気に留めてないけど、漫画として読めている時点で、様々な工夫が1コマ1コマに盛り込まれている。

画像生成AIを触り始めてからというもの、漫画、特に日本で普及した白黒漫画は、よくまあここまで色んな技を駆使しているなと感心しまくりというか。それと同時に、AIがスゴイぞ、AIヤバイぞ、などと言ってるけれど全然まだまだだよなー、と…。人間のように漫画をスラスラと読める状態には程遠い。そもそも、1コマの中に一体何が描かれてるか、真っ当に認識することすらできてない…。

コンピュータやメカトロニクスで人間がやってることの一部を再現しようとすると人間の凄さが実感できる、という話があるけれど。それってホントだなと。人間ってスゴイ。