@feltdb/webllm (英语)
工作室提出并预览. CLI适用于寄存器. FeltDB 验证并存储该提议为应用程序状态. 人类认可。 没有别的东西写源.
此套件执行本地推论并返回 hash 绑定的建议 。 它已经 没有仓库文件系统权限 .
过 model 以选择另一个与 WebLLM 兼容的本地模式。 主办方和其他
OpenAI 兼容模型配置为 feltdb ai model set; " 国家行动倡议 "
在浏览器中保留他们的证书。 所有供应商共同拥有核心
FlowSpec 向导,合同定地,验证,以及受限的修补通行证.
在浏览器中完全运行一个小语言模型, 并将其用作 FeltDB AI 供养. 提示和推断停留在用户的设备上;没有前沿模型 需要账户或主机推断 API.
安装
npm install @feltdb/webllm
该软件包需要带有WebGPU的浏览器. 首先,WebLLM下载 所选型号的文物并缓存到浏览器中.
本地生成
import { WebLLMProvider } from '@feltdb/webllm';
const llm = new WebLLMProvider({
onProgress: ({ progress, text }) => {
console.log(`${Math.round(progress * 100)}%`, text);
},
});
const answer = await llm.generate([
{ role: 'system', content: 'Return concise JSON.' },
{ role: 'user', content: 'Design a FeltDB task tracker.' },
], {
responseFormat: { type: 'json_object' },
});
输入语义决定
WebLLMDecisionRuntime 是一个只用于授权上下文的浏览器评估器。 这个
支持二进制、选择、分数和孤立 DecisionBatch 请求使用
温度 1 直接标签日志; 它没有数据库或持久性
权力.
const runtime = new WebLLMDecisionRuntime({ modelRevision: 'pinned-model-sha' });
const result = await runtime.decide({
kind: 'choice',
question: 'Which tier?',
options: ['free', 'pro'],
context: authorizedContext,
});
初始化很懒:第一次呼叫时的模型负载 generate() 或者说
stream()调用 initialize() 提前显示加载进度 .
选择一个模型
默认是 SmolLM2-360M-Instruct-q4f32_1-MLC一个刻意的小型模型
大约需要580 MB的 VRAM。 模型选择可配置 :
import { RECOMMENDED_MODELS, WebLLMProvider } from '@feltdb/webllm';
const llm = new WebLLMProvider({
model: RECOMMENDED_MODELS.balanced,
});
smallest: 默认360M模式balanced: SmolLM2 1.7B,用于在有能力的装置上进行更强大的生产lowMemoryWithShaderF16: 用于辅助设备的更小的360M量化 网络GPUshader-f16特性
从WebLLM预建的目录中传出任何模型ID,或呼叫
getAvailableModels() 检查已安装的目录.
FeltDB 应用程序生成
了解合同的流程建议书
generateFlow() 在无秘密的决定性合同中为提案提供依据
由Core,CLI,和Studio共享快照. 它保留了通用的
generate() 财务报告和审定财务报表 stream() 行为和从不写文件或发布文件
应用.
const llm = new WebLLMProvider({ contract: snapshot });
const proposal = await llm.generateFlow(
'Add invitations for organization owners.',
{ currentFlow },
);
提案载有基本合同和散列。 CLI拒绝停滞
提议、解析和简洁地验证提议的DSL、亮点
授权更改,在同步前需要人类批准
feltdb.flow 和生成的集成源。 该快照包含
计划和应用程序定义,而不是应用程序记录、证书、,
连接,或环境配置.
WebGPU仅需要本地推论. 减少 可选 WebLLM 依赖性保留完整的非AI FeltDB 体验.
WebLLMProvider 执行 FeltDB 的信息生成提供者合同 :
import { ApplicationFactory } from '@feltdb/ai';
import { WebLLMProvider } from '@feltdb/webllm';
const factory = new ApplicationFactory({
provider: new WebLLMProvider(),
});
const application = await factory.generateApplication(
'A collaborative, offline-first field inspection app',
);
@feltdb/ai 目前是一个实验性仓库工作空间。 这个包
可通过其 generate() 财务报告和审定财务报表 stream() APIs (英语).
工人和生命周期
推断在捆绑的 Web Worker 默认情况下运行, 所以执行不阻断
联合调查组. 设定 useWorker: false 主线执行,或通过
应用程序拥有 worker 用于自定义托管或CSP行为.
打电话 interrupt() 停止生产 shutdown() 卸下模型和
终止包工.
隐私和部署
模型在当地执行. 主机和分析代码仍然可以传输数据, 和模型文件在被缓存之前必须获取, 所以审查您的应用程序 网络和内容安全政策。 此软件包没有发送提示到 FeltDB或推论提供者.
麻省理工学院有执照.