up:: Pygmalion
AIキャラクターに特化したテキスト生成AIのクライアント。
OodaBoogaかkoboldAIからAPIを貰って動かすのが一番安定。
どっち使うかは好みの問題。
GitHub - Cohee1207/SillyTavern: TavernAI for nerds
本当はTavernAIという元の奴があったが、その更新が遅いからとか拡張機能が入らないからとかでSillyTavernという別プロジェクトが派生した。
大体使うのはSillyの方なのでそっちのURLを張る。TavernAIも簡単にキャラクターを追加できるという点では優秀。
ただのクライアントなのでスマホでも動く。
その場合はColabでOodaを動かせばいい。
Ooda+ColabのURLが書かれてるReddit。
Which AI is best for phone? : r/PygmalionAI
Which one works best for you? : r/PygmalionAI
P1GM4L10Nは普通にPygmalionをモデルに変換したもの。
Googleからの検索避けかもしれない。
Regarding the recent Colab ban : r/PygmalionAI
Colab proじゃないと、GPUインスタンスにしても実際はGPUが動いておらずエラー吐いて止まるということがある。
Problem with TavernAI, Colab, and KoboldAI : r/PygmalionAI
ollama
Silly Tavern X Ollama
Use Ollama with any GGUF Model on Hugging Face Hub
簡単に動くが、早くはなく多機能でもない
koboldcpp
DuckDuckGoを介したウェブサーチが可能。
Release koboldcpp-1.81.1 · LostRuins/koboldcpp
ビジョンモデルの画像入力も受け付けている。
この入力はtabbyapiでもできる？
r/SillyTavernAI - Reddit
途中でモデルを切り替えることは出来ない。
Kaggleだといちいちモデル切り替えのために止めなければならない。
そうしたいならollamaを使ったほうが良い。
ただここはそもそもそんなモデル切り替える用事があるのかというところ。
テストならまだしも、本番の時にモデルちまちま切り替えるのは。
tabbyapi
裏でexllamaを動かす。
exl形式しか動かせない？
comfyui
r/SillyTavernAI - Reddit
AIメッセージに反応させて画像を生成させることは出来る。
r/SillyTavernAI - Reddit
r/SillyTavernAI - Reddit
expression生成ワークフロー。
sdxlはタグなので、llmから出力させるのは厳しい。
illustriousなら自然言語対応とハイブリッドなので、ある程度行けるか。
ワークフローをAPI形式で出力。%prompt%などのプレースホルダーを仕込めば、sillytavernから変更できる。
ILだとマスピとかは背景を一緒に書くのでないならいらない。
Web Search
Tavily AI、KoboldCppが有力。
Function Calling
LLMに画像生成させたりWeb検索させたいときに使う。
設定からEnable Function Callingを使用。
xtts
古い名前はcoqui-tts。
今はfork版に開発が移っている。
alltalk_tts経由。
Fish speech
openaudioというモデルを使用している。
sillytavernでは使えない。
CosyVoice
非公式対応。
WinとMacのぶんしかクライアントがない。