@bendyline/gezel-推论
由 Device 共享的推断运行时间 格泽尔 和嵌入它的应用程序。 它自己运行本地的AI模型 计算机,并通过OpenAI兼容的路由回答:
- 本地发动机 - 开始、缩小和停止lama.cpp、MLX和 其他的安装引擎, 与录入控制 所以模型适合内存.
- 模式管理 - 列出、下载、核实和准备当地 聊天模式.
- 嵌入和知识 —— 安装文本嵌入器
(单位:千美元)
model: "gezel:embeddings"搜索已安装的知识目录, 每个人的工人. - OpenAI 兼容路线 —— 说
/v1/chat, (中文(简体) ),/v1/responses, (中文(简体) ),/v1/embeddings, (中文(简体) ),/v1/models, (中文(简体) ),/v1/models/ensure, (中文(简体) ),/v1/knowledge,以及 引擎路线.
它没有产品状态: 没有胶囊,项目,聊天,工具,云供应商,
或UI. (英语). 这些是Gezel的全套服务, @bendyline/gezel-service, (中文(简体) ),
它使用同样的运行时间.
安装
npm install @bendyline/gezel-app-sdk @bendyline/gezel-inference
节点24或更新. 文本嵌入和可选相关性模型
还需要 @huggingface/transformers 端点 :
npm install @huggingface/transformers@^4.3.1
通过应用程序 SDK 使用
大多数应用程序不应直接导入此软件包 。 放在旁边
@bendyline/gezel-app-sdk
并且向SDK询问一个只推论的主机. SDK装入内部运行时间
您的流程, 因此没有第二个进程来监管, 没有单独的节点
可执行文件发运, 没有回回网络连接 :
import { connectOrHost } from '@bendyline/gezel-app-sdk/host';
const gezel = await connectOrHost({
appId: 'acme.editor',
appName: 'Acme Editor',
scopes: ['openai'],
host: { mode: 'in-process', inferenceOnly: true },
});
const { chatModel } = await gezel.ensureModel({ model: 'qwen3.5-0.8b-q4' });
const reply = await gezel.openai.chat({
model: chatModel, // 'mlx:qwen3.5-0.8b-q4' on Apple Silicon, 'llama-cpp:…' elsewhere
messages: [{ role: 'user', content: 'Suggest a title for these notes: …' }],
});
console.log(reply.choices[0].message.content);
await gezel.close();
运行时间从不自行下载模型 : 重量只有在
您的应用程序要求它们, 例如: ensureModel见
应用程序 SDK 读取器 页:1
同意,托管选项, 运输引擎和模型与您的应用程序,以及
知识目录.
入境点
| 导入 | 它提供的东西 |
|---|---|
@bendyline/gezel-inference | startService(),进程内托管应用程序 SDK 调用,以及 verifyNativeBinaries() |
@bendyline/gezel-inference/native-release | 被钉住的原生引擎发布及其存档文摘,作为数据. 导入它开始什么也没有 |
@bendyline/gezel-inference/packaging | 搭建时间辅助器,为Electron App推出被钉住的本地引擎 |
@bendyline/gezel-inference/speech | Kokoro 文本对语音的前端及其发音- 词典检索 |
软件包还包括生成的聊天模型和知识目录元数据
从被钉起 @bendyline/gilde
目录. 读音词典的执照在
dist/kokoro-lexicon/LICENSE。 。 。 .
稳定
以上入站点为出站点下的公共API.
@bendyline/gezel-inference/internal/* 不是,这是Gezel服务的方式
到达运行时间,总是安装在完全相同的版本,它可以
任何发行的更改。 不要导入它.
文档
麻省理工学院