AI中割り試してみた話

　またaiを試してみた記事です。今回はaiによる自動中割りで色々試してみました。

近頃2枚の絵から勝手に想像した動画を生成してくれるaiが話題になってますが、今回扱うのはそういう勝手なことするai中割りではありません。原画と原画のちょうど中間の絵を出力するだけ、つまり動画の均等割をするai中割りのことです。

それについて試してみた結果や感想を備忘録代わりにここに残します。

目次

1.ai中割り試したい経緯　

2.やり方と、つまづいたところ

3.入力画像

4.出力結果

5.問題点その1: 変化度合いが大きいと、グジャグジャの絵を出してしまう。

6.問題点その2: 指や髪がよく作画崩壊する

7.問題点その3: ドット絵で出力できない。

8.無理やりドット絵に戻してみる

9.ai中割り感想まとめ

10.前回のアンケート結果、記事更新

1.ai中割り試したい経緯

突然ですが、私がアニメーションを作る上で1番苦手な作業は動画の中割りです。デッサン割は別として、均等割という、ただただ前後の絵の真ん中の線を引くという単純作業は、「これ、機械がやった方がいいんじゃね。。心が死ぬ、、。」となんども思っておりました。

数年前から自動中割りができるソフト(CACANi,opentoons)自体はあるんですが、これらはベクターで書き順を指定しないといけないなど、とんでもなくめんどくさい制約があり、一度試してみたんですが、私には難しかったです。

前後の原画を画像ファイル入力したら、均等割された絵が出力される。この単純なことがなんでできないんだろうと不思議に思ってました。

そんなときこんな記事を見つけました。

ええ、あるやんけ、。すごすぎる、、、！これ動画マンいらなくなるじゃん！

もっと話題になっていいのに、、

ということでさっそく私が以前作ったアニメの原画を使って、この自動中割りが実際に使えるかどうか試してみました。

2.やり方と、つまづいたところ

基本的には上記urlの記事にある通りやってできました。以下個人的につまづいたところです。

・automatic betweenのjsonファイルを読み込んだ後、なかなかノードが現れないので、失敗したと思いました。その後、めちゃめちゃ画面を引いたらすみっこに発見しました。comfy uiのディフォルトの位置とだいぶ離れているようです。

・透過pngを入力画像にいれるとバグりました。なんで？

3.入力画像

こちらが今回の実験に使用する、数年前に私がせっせと自分で動画も中割りしたちさたきアニメーションです。

いろいろタイミングとかずらしてあるので、結構セルが分かれてます。前はちゃんとセルの名前(AとかBとか)決めてなかったんですが、頭がごっちゃになるので、改めて整理しました。

内訳は

Aセル(ちさとの右手首):原画2枚、動画5枚

Bセル(たきなとちさとの胸):原画2枚、動画5枚

Cセル(ちさとの頭):原画2枚、動画1枚

Dセル(ちさとの右手):原画2枚、動画5枚

原画枚数も少なく、基本的に均等割の簡単なアニメーションです。ただ、中割りする枚数と線量が多く、地味に辛かったです。

単純な作業とはいえ、線量が多いbセルなんかは1枚あたり30分、いや、４０分はかかっていたと思います。他の線量の少ないセルは10分くらい、、と仮に仮定して、単純計算で5時間くらい、、、こんなつまんない作業に5時間も、、。

そしてこちらが今回入力画像として用意した原画の画像です。(長ったらしくなるので一部)

まずはこれらの原画画像を使って中割りちゃんとできるか検証していきます。

4.出力結果

先程の原画画像からセルごとにai中割りさせて、最終的にそれらをまた合体させました。

そして出力されたものはこちら

・・すごくないですか？私が５時間もかけてやった中割りをaiは１分くらいで出してきました。

　なんといっても素晴らしいのが、きちんと真ん中の絵を出力していると言う点です。

　そのせいで指がおかしなことになってるんですが、言われた通りの中間の絵を出すという仕事をした結果であって、私が求めていたことはちゃんとできています。

しかし、アニメーションとして使うにはやっぱりいくつかの問題点があります。

①前後の絵の変化度合いが大きいと、グジャグジャの絵を出してしまう。

②指や髪がよく作画崩壊する。

③ドット絵で出力できない。無理やりドット絵に戻すのにも手間がかかる。

これらについて一つずつみていきます。

5.問題点その1:

変化度合いが大きいと、グジャグジャの絵を出してしまう。

中目ぱちのai中割りです。目のところを見るとわかりますが、靄がかかったような曖昧な感じになってます。

　変化度合いが大きいとこうなるというのは予想で来ていたんですが、この程度の変化量で出るとは思わなかったです。

　でも目ぱちだけなら手描きで描いてもそんなに大変じゃないので、ここはai使わなければ良い話です。

6.問題点その2:

指や髪がよく作画崩壊する

指の中割りの真ん中のAi出力結果です。・・・指六本になっちゃってます！

　詳しくみてみると、c1の人差し指と中指が途中で合体してc2の人差し指に変化し、代わりにc1の小指が途中で分裂してc2の薬指と小指に変化しています。

　案の定の結果です。学習もしてないのに、指というものを理解して中割りできるわけないと思ってました。aiはどれがどの指かというのを一切考慮せず、単純に1番近い指とで中割りしているだけみたいです。

　しかし、これについては自分で中割りを1枚描いてあげるだけで解決できます。

　試しに、中割り1枚追加して、再度ai中割りさせてみます。すると以下のようになりました。

合体とか分裂せずにちゃんと指が動くようになりました。

　もう、ほとんど自分で割ったのと変わらない出来だと思います。(人差し指の下の方の線が出てきたり消えたりしてるのはふつうに原画時のミスです。ごめんなさい。)

↓追記、入力原画が修正前の古い原画だったため、修正後の原画で再度ai中割りしまさた。

7.問題点その3:

ドット絵で出力できない。

　最後に1番致命的な問題、ドット絵に出力できない、そして無理やりドット絵にするにしても手間がかかるということについてです。

　よくみるとわかるのですが、入力画像は全てギザギザのドット絵で描いてます。これは実際のアニメの現場で使われる動画素材と同じやり方です。

　なぜドット絵にしなければいけないのかというと、基本的には撮影さんのためにあります。

　撮影で使うAfterEffectsというソフトでは色に対して処理をかけるので、アンチエイリアス有りの色がごちゃ混ぜになった素材では処理をかけることができないそうです。

　そして動画側からも以下のようなメリットがあります。

・原画より解像度を低くしてるので、単純に線を引く長さが短くなる

・絵をよりシンプルにわかりやすく捉えられる

・線に統一感がでる

・ミスを発見してあとで修正をする際に、ドット絵の方が修正が容易。何かを付け足すのも簡単。

・バケツ塗りで一気にペイントすることができる。

・セル同士のクミが発生するときにピったりと絵を合わせるにはドットでないと無理

など

　原画のニュアンスがうまく拾えないという唯一にして最大の欠点がありますが、それを考慮してもより多くのメリットがある気がするので、普段イラストを描く時もよく使ってます。

先ほどの手のai中割りの拡大です。一部グチャってなってるし、線のアウトラインも曖昧でさまざまな色が混在しています。

正直、このような素材だと扱いづらいし、あとで一部直したくなった時に修正がめちゃくちゃ大変です。

8.無理やりドット絵に戻してみる

　ということで、なんとかこのai出力結果をドット絵にするべく、クリスタの機能を使って試行錯誤してみました。

↑こちらがai出力されたCセルの中割りです。動画番号でいうとc5。これをドット絵に無理矢理変えてみます。

↑無理やりドット絵に変換したのがこちら。

ざっくり説明すると、色域選択→2値化→指定色に変更をそれぞれの色ごとに

繰り返しました。

最終的に色は4色(主線と肌色と肌の影色、髪の影色)のみになっているはずです。

めっちゃ手間がかかりましたが、これでギリギリ使える素材になるかと思います。(もうちょっとうまいやり方あるならだれか教えて、、。)

　・・ただ厳密なことを言うと、これだと細かいところが色々おかしくなってると思います、、ドット絵としてはすこし汚いです。実際のアニメの現場で使うことは難しいと思います。

　まず、無理やり2値化しているので、主線の太さがバラバラになってしまうし、影色を色域選択で一度分離してしまっているのできちんと塗れてないです。

　ai中割りを使うとしても、あとで人間の手による大幅な修正ありきでないと、アニメの現場で使えるようなきれいな素材にはならないと思います。

9.ai中割り感想まとめ

　Ai中割りを試してみた全体的にな感想としては、思ったよりずっとちゃんと中割りできていました。

　もちろん、変化量が大きいとぐじゃぐじゃの絵を出力する、手の指や髪の中割りがうまくできない。などの欠点がありますが、これは手描きで一枚中割りするなどの人間側が補助をしてあげれば解決します。　

　また、ドット絵で出力できないという致命的な問題もありますが、無理やりドット絵にすることも頑張れば可能でした。ただ実際のアニメーションの現場で使えるかというと結構厳しいです、きれいな動画素材にならないので、おそらく仕上げ、撮影といった後の方のセクションの方々に迷惑がかかります。

　しかし、個人でアニメーションを作る上では他のセクションのことは考えなくていいので、このやり方でai中割りを利用するのも悪くないかなと思っております。

　何よりも5時間くらいかけた作業が、ものすごーく短縮できるのは凄すぎます。変化度合いの大きい中割りは1枚は描かなきゃいけないのと、ドット絵に戻す作業にちょっと時間がかかりますが、それでもかなりの時短になります。

、、欲を言えば、もうちょっとアニメ業界的に使いやすいようにこのaiを進化してくれたらうれしいです。。誰かやってくれないですかね、、？

最後に自分で中割りした動画と、ai中割りした動画を再び比べてみます。

chisataki_Anime_old

↑自分で手描き中割りした動画

↑ai中割り

違い、、わかりますか？

手描き中割りに比べててそんなに見劣り、、感じますかね、、、？

私は、、正直そんなに感じません。。

↓追記、入力原画が修正前の古い原画だったため、修正後の原画で再度ai中割りしました。

↓変更点について詳しくはこちら

↓アンケ

・追記

アンケート最終的にこのような結果になりました。

分からないがギリ勝ちました・・！

いや、勝ち負けとかじゃないけど。

とりあえず、パッとみてすぐ気づく人はかなり少数派のようです。

この結果を見て改めて思いましたが、動画ってアニメーションにおいて、必要なことだけど、決して重要なとこじゃないってことですね。

ぶっちゃけai中割りにもまだまだ粗はあるんですが、めちゃめちゃ粗探しをする目で見なきゃ、通り過ぎてくただの残像なので・・。原画さえ良ければなんとか見栄えは保たれます。(もちろん動画も良ければ尚更いいんだけど)

ましてやスマホの画面とかで見ればなおさら気づきません。

商業アニメ的にはまだ使えないとは思うけど、こういうsnsでアップするようなやつには、使えると思いました。・・ていうか私が今後使っていきます。

自分一人だけじゃ、一般的な反応っていうものがわからなかったので、アンケート作ってみてよかったです。

投票してくださった方、ありがとうございました！

10.前回のai塗りアンケート結果

ちなみに前回行ったアンケート結果です。

みなさまたくさんのご回答ありがとうございました。オリジナル塗りが好みという意見が多くて、嬉しかったです。でも水彩も割と人気ですね。今後の参考にします！

　　最後に、前に描いたアイプリ絵のデータを、下記記事に追加しました。暇だったらみてやってくださいー

↑これ更新

↓ねこねこひまみつ🐈タイムラプス60s(ひまみつタイムラプス60s追加)

ひまみつ🐈タイムラプス60s

↓ ねこねこひまみつ🐈psd(ひまみつpsd追加)

ひまみつ🐈psd

↓タイムラプスfullデータ置き場（ねこねこひまみつ🐈タイムラプスfull更新）(ひまみつタイムラプスfullも追加)

タイムラプスfullデータ置き場