up:: AIt
ローカルでLLMに検索させる奴。Perplexityのクローン。
結構前からある。
バックはollama。
普通に使うのはsearXNGの設定が必要になり結構重い。
なのでdocker composeを使う。以下を参考に進めていけばいい。
Perplexica と Ollama で LLM を利用した検索エンジンを試す LLM - Qiita
ollamaもdockerで起動すること前提の設定（http://host.docker.internal:11434）。モデルのダウンロードもこのollamaで行う。
なので一回ollamaのコンテナに接続する。
docker exec
その後、ollama runで好きなモデルを取ってくる。
Ollama で Hugging Face Hub の GGUF をそのまま使ってみる｜ぬこぬこ
いちおうモデルファイルを自前で用意できればhuggingfaceでなくてもいけそう？
OllamaでローカルLLMを稼働させAPIサーバ化する
GGUFファイルで保存されたLLMをOllamaで読み込んで使う方法を調べてみました。 - CCCMKホールディングス TECH LABの Tech Blog