up:: ComfyUI
ComfyUI-MultiGPUは現在の使用対象GPUの関数をパッチして使っている。
Distrifusionはもっと根を書き換えないといけないのでこれは使えない。
具体的には最小でAttention分割関数、それぞれのGPUのオーケストレーション関数、設定関数とそれらで作ったmodelをk samplerから呼び出せるように関数追加を行う。
普通にやると本当に複雑なので、一回comfyui-diffusersで使えるようにしてからの方が良さげ。
あっ……xDiTもparaattentionそうだが、これはモデルをロードした後の推論計算の分散。
つまりモデルの分割ではない。頓挫。
cuda cppはunified memoryでCPUとGPUのメモリを一つにして扱えるらしい。