llmって呼ぶとマルチモーダルモデルとかの説明が削られるので。
Instructモデル
以下のURL先のようにチャットに適したモデル。
perplexity
検索サービスの先駆け。
ファイルを添付して調べられるのが強み。あとアプリがある。
文字がたくさん入る。
https://www.perplexity.ai
Genspark
ウェブページにまとめてくれる。内容指定してウェブページ作成も可能。
ファクトチェックもできる。つよい。
ただしファクトチェックは事実一つずつかつクローズな問い（y/n）じゃないとちゃんと動かない。
Genspark - 信頼できるAIの回答と偏りのない包括的な結果で検索を革新するAIエージェントエンジン。さまざまな研究やタスクのためにAIエージェントのチームで時間を節約しましょう。
データ検索等高度エージェントが使用可能になった。
無料版だと一日3回。
Consensus
研究特化。流石に新しすぎる論文(2024, 2024/09/29)とかには言及してくれない。
Consensus: AI-powered Academic Search Engine
Felo
マインドマップを作ってくれる。
スライドも作れる。
Felo - 無料のAI検索エンジン
ぱぷれに似すぎだが、日本製らしい。
日本発のAI検索エンジン「Felo」を使ってみたので、Feloの使い方とマインドマップ機能の活用方法を語ってみる｜斉藤 智彦(Tomohiko Saitoh)
有能だが、文字数がぱぷれに劣る。
ファクトチェックなどはPerplexityで。
拡張機能を入れると、URL末尾に?felosearch_translate=1を入れることで文字の下に翻訳した文を入れてサイト表示できる。有能。
Napkin AI
指定した画像を生成する。
PNGやSVGを出力できるのが強み。
パワポに合わせて出力するのが主目的？
App - Napkin AI
v0
next.jsのvercelが贈る、UIプロトタイピングAI。
コードに詳しいわけではないので、細かい修正を頼んでも直さない。UIの機能は思いつくけどどんな見た目にするんだ、みたいなときに使う。
あくまで見た目だけ、なのでこれを元にFigmaで詰めるみたいな使い方が主流。
bolt.new
フルスタックプログラムAI。
v0はフロントエンド限定だが、これはバックエンドも含めて作る。
Replit Agent
boltと同じタイプ
Replit Docs
LibrAI
ファクトチェック。
米国をメインにしてるっぽい。日本の話にはちょっと弱い。
ローカルバージョンがある。
GitHub - Libr-AI/OpenFactVerification: Loki: Open-source solution designed to automate the process of verifying factuality
tl;dv
会議の文字起こしとか共有とか行う。
Gladia
文字起こし特化。
Gladia
天秤AI
ChatGPT、Gemini、Claudeの3つの出力を比較できる。その出力をまとめてより考えさせる壁打ち機能も搭載。
なぜかOpusや1.5 Proなども無料で使える。
比較検索なら 天秤AI byGMO │ ChatGPT Claude Gemini等最新AIチャットボットが無料で試せる！
Gamma
スライドを制作する。
クレジットの回復方法は紹介とプランしかない。Freeで使い続けることは出来ない。
実力は割とある。コード投げ込むだけで大枠を捉えられる。
AIを使ったプレゼンテーションとスライドデッキ｜Gamma (ガンマ)
irusiru
日本人向けスライド制作。
真面目に文章を送ろうとすると1600文字しかない。
出力にPDF・PPTX形式があったり、自社テンプレートを使用できるのが強み。
Freeだと3個までしかドキュメントは作れない。
Simplified
書く、動画作る、デザインするなど全て一つでこなす。
Simplified: An Easy to Use All-In-One App For Modern Marketing Teams
ChatGPT
回答速度がいい。
コードも割とできる。
ちゃんとウェブ検索もしてくれる。必要だったら。
Claude
人間っぽさが強み。
コードにも強いが、最近はChatGPTが追い上げてるかも。
Gemini
分析に強いらしい。
APIがほぼタダ。
Gemini Deep Research
深めにサーチしてくれる奴。Gensparkのファクトチェックみたいな精度でリサーチするイメージ。
いまのとこ（2024/12/23）有料じゃないと使えなさそう。
Gemini Deep Researchを使う方法とレビュー｜矢野 哲平@耳で学ぶAI
PLaMO
日本のAI。
https://plamo.preferredai.jp/
minimax
cohereのようなマルチAIプラットフォーム。
中国系。
https://www.minimaxi.com/en
Markdown AI
マークダウンを書いてシンプルに公開する。
特徴はGPT-4oなどのモデルにアクセスできるテキストボックスを設置できること。
MarkdownAI β
生成AIを使いこなす！初心者向け導入手順とプロンプト作成のポイント(完全無料のMarkdown AI) MarkdownAI - Qiita
AIへの指示は、7Rというのがいいらしい。（2024/11/16）
【ChatGPT】野口竜司氏提示、7Rプロンプト ChatGPT - Qiita
| 英単語 | 和単語 |
|---|---|
| Request | 依頼 |
| Role | 役割 |
| Regulation | 形式 |
| Rule | ルール |
| Review & Refine | 評価・改善 |
| Reference | 参照知識・例 |
| Run Scenario | 実行シナリオ（実際のやり方、仕事の手順。定期的に質問しろなど） |
groq
現在（2024/08/02）無料で使えるLLMAPI。
GPT-4相当とされているllama-3 405bを使えるはずだがレートリミットが激しい。
[GroqCloud](https://console.groq.com/settings/limit
Reka
Gemini Proくらいの性能を持つマルチモーダルモデル。
外部ツールを積極的に使うっぽい？
動画の解説が欲しい時に。
Site Unreachable
Perplexica
OSSのPerplexityクローン。
SearXNGというローカル検索アプリを使うのだが、これのセットアップが少し面倒。
なのでdocker使用が推奨。
Perplexica
Jan
とにかく簡単にggufや他検索が使えるアプリ。他のアプリが面倒ともいう。npmとかpythonとか。
簡単すぎてAPIやggufの配置場所選択などがない。(2025/02/13)
LMStudio
APIを公開してくれるアプリ。ollamaと同じくらいいろんなところが対応している。
vllmがいけそう？
open-webui
ウェブ検索をローカルアプリで出来る奴。
埋め込みモデルの選択なども簡単にできる。comfyuiとの接続も可能。音声通話もできる。
インストールもpythonのライブラリ一個入れるだけ。pythonバージョンは3.11。
ユーザーの概念がある。複数人で動かせる模様。
日本語の高性能な文埋め込みモデルを試す｜ぬこぬこ
【日本語LLM】Ollamaで利用可能な日本語対応embeddingモデル【Ruri】｜Catapp-Art3D
GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, …)
（2025/03/09）今入れようとしたらライブラリとpythonバージョンで拒否られた。
uvで入れる場合は、$env:DATA_DIR="C:\open-webui\data"; uvx --python 3.11 open-webui@latest serveで入る。uvxなのでCに入ることに注意。
GitHub - reorproject/reor: Private & local AI personal knowledge management app for high entropy people.
Obsidianのようにローカルマークダウンを管理し、そこにAIエージェント機能をくっつけた奴。
ビルドした後はDATA_DIRのフォルダに入るっぽい？
設定してないとRoamingにいた。
読み込みには時間がかかるのでしばらく放っておく。これ大体embeddingのせいじゃないか。
obsidianで同じことをするsmart second brainというプラグインがあるのだが、それもembeddingに大分かかるので察し。
AnythingLLM
ダウンロードがJanレベルで楽なアプリ。
Docker版もある。
RAGが使えるため、ローカルで検索をしたい程度ならこれで充分。
AnythingLLM | The all-in-one AI application for everyone
GitHub - Mintplex-Labs/anything-llm: The all-in-one Desktop & Docker AI application with built-in RAG, AI agents, and more.
Morphic
ローカル検索機能だけに絞ったアプリ。
本当にローカル検索以外使わないならこれで充分。
GitHub - miurla/morphic: An AI-powered search engine with a generative UI
ollamaを使うなら./public/config/models.jsonを操作し、直接モデルを登録する必要がある？
morphic/docs/CONFIGURATION.md at aca141091812d40689abcae48c0e6de2d95d3601 · miurla/morphic
（2025/03/09）なんかうまくollamaと連携できない。
ragflow
difyよりも技術者向けらしいワークフロー。
rlhf
Preference Tuning LLMs: PPO, DPO, GRPO—A Simple Guide
RL
Reinforcement Learning。
実践とフィードバックを学習させる。
人間がやるのは遅すぎるので、最初の学習では代わりに報酬モデルが用いられる。
人間がやるとHuman FeedbackがついてRLHF。以下は人間の選好データを用いているのでみんなRLHF。
PPO
Proximal Policy Optimization。近似ポリシー最適化。OpenAI2017。
LLMにPolicyを持たせ、報酬モデルに加え、価値関数(critic)を追加する。価値関数はそのテキストの将来性を評価する。
LLMがテキストを生成、報酬モデルがスコアを付ける。ついで価値関数が価値を付け、さらにスコアと価値からそれぞれの単語選択がどれだけ優れているかを計算する。（GAEという式）
これらを元にポリシーを更新。これはPPO目的関数を最大化に寄せる。目的関数は高いスコア、ポリシー変更の程度制限、多様性（エントロピー）へのボーナスを満たすように作られる。
価値関数を更新。
GAE。Generalized Advantage Estimation、一般化優位性推定。他には全体評価で分散が高く学習が遅いMonte Carlo(MC)、単語ごとに評価するバイアス高のTemporal Difference(TD)などがある。
GAEはマルチステップTDのようなもの。複数の単語に渡る報酬を用意する。
DPO
Direct Preference Optimization。直接選考最適化。スタンフォード大学2023。
望ましい応答Aと望ましくない応答Bを用意し、応答AへLLMを偏らせる。
PPOは関数更新などの強化学習ループがあるが、これは直接偏らせるだけ。
要するにポリシー更新のみ。もっというと損失関数の調整らしい。
現在のモデルにAとBを入力。両方のロジット、確率計算前の出力スコアを取得。
さらに参照モデル（たいてい旧モデル）からも同様にロジットを取得。
あとはAのロジットと確率を増やし、Bは減らす。さらに安定のため参照モデルに近づくように少し調整。
GRPO
Group Relative Policy Optimization。グループ相対ポリシー最適化。DeepseekAI2022年。
PPOをスリムで高速にしたもの。criticを消した。代わりにGRAE、Group-Based Advatage Estimationが使われる。
これは同じプロンプトに対するLLMの応答をグループにまとめ、他のグループに対してどれくらいいいかを評価する方法。
まず応答グループを生成、報酬モデルでグループにスコアを付け、グループの平均スコアとそれぞれの回答スコアを比較し優位性を計算。
最後に目的関数に従ってポリシー更新。