mieki256's diary

画像生成AI、Stable Diffusion web UIを使って実験中。白黒で描かれた漫画っぽい画像の1コマを入力して実写っぽい画像を出力できたりしないものかな、と…。

ちょっと作業した感じでは、いくつか問題点がありそうだなと思えてきた。

問題その1。吹き出しや擬音をどうするか問題。

イラストならともかく、漫画の場合は吹き出しや擬音が描き込まれているので、漫画の1コマをそのまま画像生成AIに入力、と言うわけにはいかないよなと。AIは、ここが吹き出し、ここは擬音、などと判別できないのだろうから、そのあたりを奇麗に除去した画像を渡してやらないといかん気がする。

ということで、既存の画像編集ツールを起動して、吹き出しや擬音を消して、それらの後ろにあったのかもしれない何かしらを描き加えていく、という作業が発生してしまって…。これでは全然お手軽ではないよなあ、と…。

問題その2。線には色んな種類がある問題。

自分達は、線と言うと、形状の輪郭線を表現するために描かれた線ばかりを想像してしまうけど。漫画の場合、それ以外の線も多数描き込まれているわけで…。

• 陰影や色の違いを表現するためのハッチングの線。
• 汗だの動作だのを表現する漫符的な線。

劇画タッチの漫画であれば、顔の影、筋肉の影として、ハッチングが描き込まれているものだし。一般的な漫画でも、キャラの顔に汗が描き込まれてたり、震える動きでは周りにぷるぷるとした線が描き込まれてたりする。

漫画と言うメディアの表現力を増すために、漫画家さんが創意工夫で考案して、せっせと描き込まれた様々な種類の線が、AIに処理させる際には単に盛大なノイズになってしまうこの状況は、なんだか興味深いものがあるなと…。先人達の発明品を特に使ってない、漫画としてはダメダメな漫画絵ほど、AIにとっては処理しやすいかもしれない、という…。

問題その3。各コマの縦横比問題。

現状の画像生成AIは、512x512、1:1という縦横比で画像を学習してるわけだけど。漫画の各コマは、縦横比がバラエティに富んでいるわけで…。1:1にする際に、足りない部分はどうするか、という問題が…。

そんなわけで、少し試してみただけでも、白黒漫画をサクッと実写風に、というのは結構面倒臭い作業が発生するなと思えてきた。漫画という表現の、技の豊かさを再認識したというか…。似たようなものとして扱われがちだけど、只のイラストとは全然違うのですよ。みたいな。

それにしても、何でもそうだけど実際に手を動かして試してみると、そこでようやく色々な問題が見えてくるものなんだなと思ったりもして…。「そんなのAI任せでワンクリック」なんてまだまだ遠いなと。