コンテンツにスキップ

10. 自前の llama.cpp でチャットの推論を担う

この章の内容は、やりたいことごとのページに移りました。

やりたいこと ページ
llama-server を起動し、AF_LLM_URL で Control Plane に教え、モデルを登録する。借りていたエンジンからの切り替え、メンバー個人の接続先 LAN の llama.cpp でチャットする

エージェント向け

この指示をエージェントに送ると、このページを読ませられます。

https://agent-fleet.org/docs/ja/operate/10-llm-lan/index.md を読んで