@antseed/professor-local-llm (英语)
在Antseed P2P网络上提供本地LLM能力. 与Ollama,lama.cpp,以及任何OpenAI兼容的本地服务器合作.
安装
CLI 在添加使用该插件的提供者时安装插件 :
antseed config seller add-provider local-llm --plugin local-llm
使用量
# Configure once
antseed config seller add-service local-llm llama3.2:3b \
--input 0 --output 0 \
--categories chat,fast,free
antseed seller settings set --max-buyers 1
# With Ollama (default)
antseed seller start
# With a custom endpoint
export LOCAL_LLM_BASE_URL=http://localhost:8080
antseed seller start
配置
| 密钥 | 类型 | 需求 | 默认 | 说明 |
|---|---|---|---|---|
LOCAL_LLM_BASE_URL | 字符串 | 没有 | http://localhost:11434 | 本地 LLM 服务器 URL |
LOCAL_LLM_API_KEY | 隐藏 | 没有 | - 说吧 | 本地服务器的可选 API 密钥 |
ANTSEED_INPUT_USD_PER_MILLION | 编号 | 没有 | 0 个 | 投入代号价格(每100美元) |
ANTSEED_OUTPUT_USD_PER_MILLION | 编号 | 没有 | 0 个 | 产出代号价格(每100万美元美元) |
ANTSEED_SERVICE_PRICING_JSON | 字符串 | 没有 | - 说吧 | 作为JSON的人均服务定价 |
ANTSEED_MAX_CONCURRENCY | 编号 | 没有 | 1个 | 最大并行请求 |
ANTSEED_ALLOWED_SERVICES | 字符串 [] | 没有 | - 说吧 | 以逗号分隔的服务允许列表 |
如何运作
将请求转发到本地的 LLM 服务器 。 自您运行自己的硬件后, 定价默认为 0 (免费) 。 CLI 设置插件的通数 seller.maxConcurrentBuyers,默认为50个,因此降低 antseed seller settings set --max-buyers 1 (或您硬件可以处理的另一个数字)以避免超载本地推论. 插件本身的默认值 1 只适用于在 CLI 外加载时.