up:: sd
周りと同じものを学んでも知識交換はできない - 西尾泰和のScrapbox
SVD
stable video diffusion。txt2vid。というかimg2vid。
1024x576、25フレームが生成できる。
stabilityai/stable-video-diffusion-img2vid-xt-1-1 · Hugging Face
Stable Video Diffusion - SVD - img2vid-xt-1.1 | Stable Diffusion Checkpoint | Civitai
xtは14から25にフレーム伸ばしたバージョン。
1.1は特殊な設定のみと多様性を犠牲にする代わりに一貫した出力を得るバージョン。
comfyuiだと標準ノードだけで組める。
Interpolarionを挟めばいい感じ。
How to run Stable Video Diffusion img2vid - Stable Diffusion Art
Quickstart Guide to Stable Video Diffusion - Civitai Education
colabがあるので試したいなら。
GitHub - sagiodev/stable-video-diffusion-img2vid
動きを大きくする設定がある。
また、fpsを下げるとより動くようになる。
Reddit - Dive into anything
Reddit - Dive into anything
wav2lipを直接合わせると、一枚一枚にそれを適用してしまうためおかしくなる。
AnimateDiff
画像生成フローにMotion Moduleをくっつけ、一枚絵に動きを付ける。既存の画風を使える。
動きはMotionLoRAという物で制御可能。プロンプト制御もできるし、別の動画のモーションだけを取り出して適用するMotionDirectorというのもある。
🦊AnimateDiff - work4ai
guoyww/animatediff at cd71ae134a27ec6008b968d6419952b0c0494cf2
現在v3だが、結構ちらつきは気になる。
ちらつきはdeflickerエフェクトで何とかなるが、別にそれで自然なアニメーションになるわけではない。
Reddit - Dive into anything
All-In-One-Deflicker - work4ai
wav2lip Refine
Reddit - Dive into anything
[v3.0] LipSync Swapper + Face Fix | Patreon
1フレームごとに既にwav2lipした動画とReactorをかける手法。
2passにすることでより色などに左右されずにlipsync済の顔を作る。
mm_sd_v15は細かな動きに合わせて調整されている。mm_sd_v14はぼやける。
GitHub - ArtVentureX/comfyui-animatediff: AnimateDiff for ComfyUI
lightningバージョンがある。
ByteDance/AnimateDiff-Lightning · Hugging Face
V3ならSparsectrlにより、複数の画像を入力にできる。
【ComfyUI + AnimateDiff】SparseCtrlで一貫性のあるAIアニメーション作れるんじゃね？｜花笠万夜
Fizz-nodesのbatch prompt scheduleを使用すると、各フレームごとにプロンプトを指定できる。
motion_scaleは動きの量。
背景が動きすぎる場合は減らす。
背景を変更するために、一回作成→SAMで切り抜いてMASK化+ブラー、inpaintで描き直しという方法がある。
inpaint後にまた切り抜かなければならないのでカラーバックを使用する。カラーバックの値に再生成の色が影響を受けるので注意。
じゃあバック無きゃいいじゃんというとこだけど、いかんせんComfyUIも生成AIもαを扱えないみたいなので。
【Stable-Diffusion】🔰人物と背景を合成！ComfyUIでAnimatediff ＜マスクと合成編：後編＞ animatediff am ipadapter - YouTube
Reactor
顔スワップ。複数枚を処理して、Interpolationすることでちらつき少なめに動画を製作できる。
4フレーム落としがギリギリ使える。
ToonCrafter
二枚のアニメ画像の間を埋める。他にも複数枚のスケッチを合わせることでその移動を綺麗にしたり、スケッチの動画があるならそれに一枚絵の色を乗せたりできる。
GitHub - ToonCrafter/ToonCrafter: a research paper for generative cartoon interpolation
DragNUWA
方向をマウスで指定する。
GitHub - chaojie/ComfyUI-DragNUWA
Dynamicrafter
txt2vid。非商用。12f。
GPU メモリ : 18.3GB (576x1024)、12.8GB (320x512)、11.9GB (256x256)。
Reddit - Dive into anything
Doubiiu/DynamiCrafter_512 · Hugging Face
拡張機能にはキーフレーム生成機能がついてくるっぽい。
SVDと比べ、プロンプトで生成結果を操作できるのが良い。
VideoCrafterの派生らしい。
その他、スタイルを転写するStyleCrafterとかいろいろあって本当に研究。
AniPortrate
フォトリアリスティックなポートレートをオーディオ駆動で動かす。
champ
depthやsegmentのアニメーションから絵を作る。
既にVideoがある時用。
MotionDiff
Videoからdepthやsegmentのアニメーションを得る。