sd work

Sonolart

sdを使用した仕事のメモ。
多分日誌に近くなる。

キャラの指定が入るので、それを元にキャライメージ固め→ストーリーに沿った画像を生成する

主人公：没個性（フツメン）、ちょっと気の強いイメージ、サラリーマン
ヒロイン：黒髪、OL、ちょっと地味目、Cカップ→Gカップ
    ※ヒロインは大体 F ~ K カップ
鬼瓦：胸小さめ、美人ではない、ギャグキャラ、強面

sdwebui 問題確認

基本一枚、厳しければ背景とキャラで分けて編集で合わせる

rembgなどによる切抜き
白背景

[! note]
layerdiffuseが使えるなら使う。たまに足が透けるが綺麗。
i2iなどでは使えない点には注意。ControlNet、ReferenceやIP-Adapterなど画像を入力するものもうまくいかない。

背景を一緒に出力するjointはそんなに背景との整合性を保っている感じじゃない
なので出力した後普通にi2iした方がよさそう

キャラ以外に強調するべきものがある際には、背景のみの画像も必要

生成終わったらナンバリング
“画像通し番号_セリフ行数セリフ” とする

下着は切抜き、白飛ばし
キスシーンは一色塗りつぶし
大きく肌が見える場合は白靄、布面積拡大など加工
（ただし、広告じゃなく動画販売で収益上げる方針でもあるらしいので気持ち程度で）

■OK 着衣での胸や臀部のアップ胸の谷間（際どくてもOK）胸・肌色が透ける表現へそ出し水着（ビキニOK）レオタードアップではないパンチラキスシーン ■NG 下半身のアップ乳首出し乳首透け・ピンク色が透ける表現下着姿・ヌードパンチラのアップパンモロ

小物など出すのが難しいんのはi2iを使用する

[! tips]

顔アップ、バストアップ、lookingAtViewerが多いので出来るだけ差をつける

キャラのポーズもちょいちょい挟んで変化付ける（髪かきあげとか）

長尺がメインになるのでそれ想定
パンチラ、胸揺れの為にinpaintでその辺を修正できるとGood

一枚に時間を決める
- 仮に30枚つくるとして、報酬6000円
- 時給1000円、日に6時間働くとする
- 30枚を6時間以内に作るので、一枚0.2時間、12分になる
  - 実際は変動が生じるので8分くらいにはしたい
- 時給1500円だと2/3になるので、一枚8分になる

背景、前景どちらかを先に生成
背景先だとinpaintの手間がかかるので前景先がよさそう（キャラを目立たせる直感的にも）
しかし合わせて生成できないものに対してのみという感じ

なのでキャラ全生成

プロット

まず台本読んで画像決定
ざっくりどこに何が必要なのか、どのキャラなのか、キャラが居ないのか確認
ついでに枚数と想定時給から一枚何分かざっくり決めておく
この後のガチャで時間がかかる理由はキャラのポーズ等が決まってないからなので、出来ればラフも描く

ChatGPTやClaudeも使える
CSVを渡し、画像の割り振り付与
ここの付与はちょっとズレるので手動直し
そのままでもいいが、SD1.5用のプロンプトにしてDantaggenに放り込む方法がある
あまり必要はない

ありがとうございます。以下は完成した台本です。
この台本に15~20枚ほど画像を付け、Youtubeのshort動画にしようと考えています。
どの行にどのような画像を加えるかを、CSVフォーマットに則り、新たな列に付記してください。
また、画像はFawとSeikaの関係性によりフォーカスしたものにしてください。
動画制作のスペシャリストである貴方の意見をお聞かせ願います。

では、回答の長さ制限を考慮し、各行の本文とセリフ/ナレーション列をカットして、行番号と画像の説明のみが書かれたCSVフォーマットで回答してください。20枚の画像は台本全体にまんべんなく割り振ってください。ただし、話の流れで画像に疎密を付けたい場合はその限りではありません。
念のため、完成原稿をもう一度お送りします。こちらを元に回答してください。

Claudeじゃないと、キャラや背景をまず規定するという動作をしない
でもChatGPTじゃないとプライベートじゃない

タネ生成

キャラ

決まったらキャラ生成ガチャEndless
一枚に対して基本決定的な一枚が出た時点で終了する
多くて三枚まで
ここは後でComfyUIの情報も、webuiの情報も使うのでPrompt Readerを使用してpng保存

重視するのは想定する雰囲気にどれだけ近いか
手や小物の精細さや背景ではない、その辺は後で修正する

Hyper、cfg1、Negpip高速化、~~scribble~~

生成終了したらlama消し、webuiでinpaint
ざっくりそれっぽくなるまで
出来る限りシンプルでいい、どうせアプスケで変わる
ここで三回やって上手くいかなければ別の一枚を使用する

よっぽど背景がクソならAnimeSegで切って差し替え入れるが、それは

風景

風景の方は、一発で出すのは結構難しい
写真を使うならSoftedgeやDepth使用、M-LSDを混ぜたりする
i2iだとなかなか絵に近づけなかったりするので

これでラフが出来るので一気に渡す

アップスケール

最後にTileとTile Diffusionでアップスケール

Negative一例

((EasyNegative)), (worst quality:2), (low quality:2), (normal quality:2),((monochrome)), ((grayscale)), paintings, sketches, skin spots, acnes, skin blemishes, age spot, glans,extra fingers,missing fingers,strange fingers,bad hand, deformed, poorly drawn, extra limbs, close up, weird colors, blurry, watermark, blur haze, long neck, watermark, elongated body, cropped image, out of frame, draft, (((deformed hands))), ((twisted fingers)), double image, ((malformed hands)), multiple heads, extra limb, extra breasts, ugly, missing limb, cut-off, grain, bad anatomy, poorly drawn face, mutation, mutated, floating limbs, disconnected limbs, out of focus, long body, long nack, disgusting, extra fingers, (weird figure), missing arms, mutated hands, cloned face, missing legs,misaligned teeth, bad teeth,hat, cap,tattoo, straps, swim wears, closed eyes, under bust,cow boy hat, cap, dark circles,split,NSFW, ((tiara, headpieces, animal ears)), badhandv4, negative_hand-neg,crop_top, angel, short_tops, ((tie:1.4)), nude, topless, split_skirt, split, bed_room,

2024-06-08

6/13(木)
1080x1920
15~20枚
- C4~~C134、台本5~~6行に付き画像一枚
イメージは恋愛ゲーム一人称、男は基本映らない
吹き出しスペース確保
プロンプト例
- Notion – The all-in-one workspace for your notes, tasks, wikis, and databases.
各一枚 ✅ 2024-06-09
- ヒロイン：狭川スミレ ✅ 2024-06-09
- 妹 ✅ 2024-06-09
母や医者もいるがモブなので
本当は主人公がいるが、ショートなので不要
画像割り当てを台本に書き込み

小さく作るとプロンプトの正答率はかなり高い
ただし背景の書き込みは薄くなる

tile resampleをアップスケールに合わせて使う
i2iでresampleするときは入力と同じ画像をtileかけて入力すればいい

1024x576程度からスタートしないと背景が上手くいかない

use CN tile ✅ 2024-06-09
Spread sheet 左に値があればカウントする
long denim skirtをLECOで
cut2人 ✅ 2024-06-11
tiledksampler ✅ 2024-06-11
カムカム法ka ✅ 2024-06-14
LLM


基本的にi2iはやらない
写真を使うときはCN Softedgeをかますことで可能な限りモデルの絵を出す
HEDを使用し、シミとか映ってしまうならPiDiNetを使う

手など柔らかいものについてはDepthを併用してもいいかも
Cannyは調整がめんどくさいので非推奨　併用すると形がはっきりするが、写真に近づいてしまう

基本のワークフロー
- IP-Adapter、LoRAなどを適用した指定サイズの縮小版を生成
- 同じ適用で顔を補正（アップスケール時の崩れを避ける）
- 適用を外し、Tiled DiffusionとCN Tileを適用してアップスケール
    - Tile化してのCN入力、Tile化なしのi2i入力を忘れず
- 顔と手を補正

各キャラ一枚ずつ ✅ 2024-06-11
ストーリー冒頭3枚 ✅ 2024-06-11
メッセージに反応を返す ✅ 2024-06-11

水・土日祝
17時以降が業務外

xlsx項目リスト→各キャラ一枚ずつ生成
ストーリー冒頭3枚生成

思った以上に情報が無い、相当数が生成に委ねられている

事前にどの状況を撮るのか決めておかないと動かない

状況決めたらsdxl + resadapter + hyper(lcm)で高速ガチャ
dynamic poseを活用
いいのが出たらlama手直し顔直し、アップスケール

2024-06-12

01_C-04「あの時俺は１８歳の高校生だった」 ✅ 2024-06-12

画像自体は全く問題ないのですが、画像サイズが608×1080になっていたので1080×1920にサイズアップをお願いいたします。

04_C-18「スミレさんは俺より６つ年上でその愛くるしい笑顔と」 ✅ 2024-06-12

画像自体はスミレの雰囲気が伝わる良い画像なのですが、ここまでの二枚で腰から上の同じ画角が続いているので、例えば「03_C-14「はいはい毎度どうも」」からの流れで正面からの顔のアップ、もしくは状況説明のための花屋の外観の画像などになるとメリハリがついて良いと思います。他の案としては、「12_C-61「また来るから！」」のお店の画像をここに差し替え、「12_C-61～」には青空や、走って行く先の街の絵を生成して頂くというのもアリだと思います。生成しやすいもので構いませんので、差し替えをお願いいたします。

08_C-41「それは嬉しいけど」 ✅ 2024-06-14

こちらも表情や顎に添えた手などはとても良いです！ただ、向かって左手の花束の持ち方に違和感があるのと、絵の順番のバランス的に、バストアップなどで構いませんので違う画角の絵を生成して頂きたいです。この縦長サイズだと、どうしても画面いっぱいに立っている画像が生成されがちなので、 768×432などの小さめの横長画像を生成→縦長にトリミングして最終的に1080×1920にアップスケール、などを試していただいても良いかもしれません。よろしければ一度お試しください

09_C-44「だからと言って私じゃないんじゃない？」 ✅ 2024-06-14

ポージングや表情はとても良いので、スミレのお腹の辺りの余分な手の削除と、エプロンの紐と三つ編みが同化してしまっている部分の修正をお願いいたします。どちらもinpaintなどで修正で構いません。難しい場合はご相談頂くか、再生成して頂いた方が早いかもしれません Kanna66さんのやり易い方法でお任せいたします。

21_C-111「お兄ちゃん！久しぶり」 ✅ 2024-06-14

置き換えのご配慮ありがとうございます！おっしゃる通り次の画像との繋ぎとしても、初登場の一枚としてもかなり良いのですが、花たばの持ち方が不自然なのが惜しいです申し訳ないのですが、修正または再生成をお願いいたします。花束を持った画像が難しい場合、この次の「22_C-120「はい！これお見舞い！綺麗でしょ？」」で綺麗に全身と花束が出ているので、無理せず、バストアップ(片手を上げているなどの動きがあるのが望ましいです)などで構いません。

a1111metaテスト ✅ 2024-06-14

2024-06-14

元のキャラを出すための設定は練り上げて保存しておく
IP-AdapterはかけすぎるとIP-Adapterの絵になるので0.1とか

scribbleによる絵柄誘導を試す ✅ 2024-06-19
- 結論：マウスでゴミ発想力で書いても大して意味ない
- あとどうせfrom_sideとか挟まないと横顔にならない
SDXLを用いた全体図出力を試す ✅ 2024-06-19
- でやすい絵柄の傾向のようなものが違い、そもそも手が映らない構図が出やすい(Animagine)
- Ponyなら手が出るので、それを修正、BBOXとSAMで切ってDepthかければいい感じ
- 手のdepth取って入力しようとしたが、何故かComfyUIが落ちる（メモリ不足？）
- 既に保存した奴なら手のdepthは使えるが、そんなに効いてる感じではない
  - i2iとか、openposeと一緒でないといけないっぽい
  - それってPonyの傾向に引っ張られるよね、ということで没

結局ガチャ

画面を出力
→lamaで消す
→手や髪などinpaint修正する
→ComfyUIでアプスケ

修正は三回上手くいかなかったらポーズ変更を考える

i2iはただアプスケに放り込むだけでも結構その絵になる

ハグぐらい絡み合うならCoupleよりも専用のLoRAを使ったほうがいい