@harness-engineering/local-models

中文文档
0.8.1发布于 2026/11/17MITTypeScriptESM + CJS构建来源已验证近 30 天下载 9624

Harness Engineering(LMLM)的硬件-有意识的本地模型推荐器、池管理器和提议引擎

中文使用文档
文档目录3 节
  1. 状态
  2. 目标(目标)
  3. 许可证

@harness-engineering/ 当地型号

Harness Engineering的硬件-有意识的本地模型推荐器、游泳池管理器和提议引擎 本地模拟生命周期管理器( LMLM)。 。 。 .

见 docs/changes/local-model-lifecycle-manager/proposal.md 整个细节.

状态

第3c阶段—— PoolManager 管弦乐器(带有第2d阶段) RankedModel 管弦乐师.

迄今为止,公共水面:

  • HardwareDetector 编号 : detectHardware (第1阶段) — Apple Silicon, NVIDIA, CPU profile 有倒置警告.
  • HuggingFaceClient (第2a阶段)——打入包装 /api/models 财务报告和审定财务报表 /api/models/:repo 带有稳定出错代码并注入 fetcher DI接缝.
  • HuggingFaceCache (第2a阶段)——用于高频响应的内膜+原子-盘上缓存(TTL 24h).
  • loadFrozenSnapshot (第2a阶段)——当活源无法到达时,管弦乐器又回到了捆绑的基准快照装载器(S4).
  • normalizeQuantId 编号 : QUANT_BITS_PER_WEIGHT (第2b阶段) – 犬形GGUF + MLX四分位表,有对大小写不敏感的别名解析并保守地倒置了未知ID.
  • estimateVram (第2b阶段)——任何设备的四期VRAM分解(重量+KV缓存+活化+框架间接费用) (sizeB, activeB?, quant, contextTokens, kvCacheQuant) tu. 教育部保留所有重量; activeB 与速度估计器相呼应.
  • estimateSpeed (第2b阶段)——带带带宽的信号通量投影,并带有后端效率乘数,MOE活式等离子处理,部分卸载混合到CPU地层,以及一个硬零短路,供不适应的考生使用. 永不掷出.
  • gradeEvidence 编号 : EVIDENCE_CONFIDENCE (第2阶段c)——五重证据梯子direct, (中文(简体) ), variant, (中文(简体) ), base, (中文(简体) ), interpolated, (中文(简体) ), self-reported),有校正的置信乘数;自报观测被吸收.
  • applyRecencyDecay (第2阶段c)——指数年龄衰减(半衰期为9个月)加上可选的世系阶梯处罚(× 0.6 目标之后的每代人)。 重量夹住 MIN_RECENCY_WEIGHT = 0.05。 。 。 .
  • openLlmLeaderboardSource 编号 : huggingFacePopularitySource (第2阶段c) - 其后两个种子适配器 BenchmarkSource 接口。 两个都注射了 Fetcher 因此, CI 永远不会触碰网络; 每个失败路径都以结构化的外表显示 SourceWarning 而不是扔东西.
  • mergeBenchmarks (第2阶段c) – 将证据折叠为正反相×源重 { score (0–100), confidence: 'high' | 'medium' | 'low', contributions } 每个候选人。 空输入短路到 confidence: 'low'永远不要扔出.
  • PoolStateStore (第3a阶段)——原子在磁盘上的持久性 PoolState 改为 ~/.harness/local-models/pool.json (tmp + 重名, O2). 具有优雅退化的版本计划 EmptyPoolState() 在缺少/ 格式错误/ 版本匹配的文件上。 单突变路径( E)update)总是重算得出 diskUsedGb 从入分数.
  • planEviction (第3a阶段)——纯净得分最低的LRU计划员. 排序集合条目 (currentScore, lastUsedAt, installedAt) 递升(处理) lastUsedAt: null 并累积驱逐,直到提出要求 freeBudgetGb 或者池子已经耗尽.
  • InstallAdapter 编号 : OllamaInstallAdapter 编号 : AdvisoryInstallAdapter (第3b阶段)——运输-不可知安装合同外加两个具体实施。 Ollama适配器说话 /api/pull (NDJSON流出与类型 InstallEvents),(c), /api/delete, (中文(简体) ), /api/tags,以及 /api/show 通过注射 Fetcher。咨询适配器使复制-粘贴命令(lms get …, (中文(简体) ), vllm serve …, (中文(简体) ), llama-server -m …用于生命周期由操作员驱动的后端(D4); install编号 :evict编号 :inspect 拒绝 InstallError('advisory_only', …)。 。 。 . InstallError.code 是稳定的分层分层 : advisory_only, (中文(简体) ), failed_target_missing (D13), (中文(简体) ), installer_unavailable 页:1, install_failed (补7), not_in_pool (D12), (中文(简体) ), parse_failed。 。 。 .
  • nullInstallAdapter (第3b阶段) - InstallAdapter 他们的方法是否认的 installer_unavailable。当 LMLM 禁用时,测试接合和管理器的默认值.
  • rankModels 编号 : RankedModel (第2d阶段)——有硬件意识的编剧 estimateVram + 键 estimateSpeed + 键 mergeBenchmarks 进入排序 RankedModel[]. Won't-fit 候选人默认被过滤(F3 / Q3); options.includeUnfit 把它们放在最下方 score: 0。每行 evidence 反映 最弱者 捐款的等级,因此,单次自报的观察标出一行,而全部捐款的分数则在 benchmarkScore.contributions 为仪表板工具提示。 决定性类型: 得分 = estimatedTokPerSec 国家 hfRepoId 代码点 asc. scaleScore 折叠合并的 confidence 标签和速度估计器 confidence 乐团的乐谱 'high'- 自信会超越 'low'- 信心1,与生值相等(问题4,Q5)。 永不抛出;已退化路径表面为 RankerWarning[] (例如:. snapshot_unavailable 用于空弹弓呼叫, S4.
  • LiveObservation (第二阶段d) - BenchmarkObservation 以 hfRepoId 因此管弦乐手可以将源适应器输出与候选的配对,而无需重排模型维度. 第6阶段的排程器会给源适配器进行再造,直接放出这个形状.
  • 均等定型(第2d阶段) - tests/ranker/parity/m3-max-36gb.json 财务报告和审定财务报表 rtx-4090-24gb.json 将顶端1型号 id + a 标出 [scoreMin, scoreMax] 用于光谱成功标准Q1 + Q2中调出硬件的波段 捆绑的种子基准快照是断言的真相来源;CI从未引用过whichllm.
  • PoolManager (第3阶段c)——高级别指挥员 PoolStateStore + 键 planEviction +一个 InstallAdapter。 。 。 . install 在一个呼叫中运行全插槽管道(allullast gate → 等同电源短路 → 可选 installer.inspect 能力检查 + 承诺前 installer.evict 按最低得分的LRU顺序 installer.install 附录+持续)。 预算执行在引擎层很困难(S5: budget_exceeded 使用安装器前的短路). install_failed 通过 installer.evict (补7); installer_unavailable 没有(S6); failed_target_missing 没有(D13). evict 首先引用安装器, 只有在成功或 D12 校正后才会变换池态(not_in_pool )),以失败而寂静地和解. reconcile() prunes 池内输入安装器不再报告(D12 原始;F10的调度器将定时器接入第6阶段). 账簿接缝 markUsed 财务报告和审定财务报表 updateScores 持续每次呼叫一次; configurePool(partial) 是第七阶段CLI接合器,用于 pool {set-budget, allow-org, allow-family}· ; snapshot() + 键 isAllowed({ hfRepoId, family? }) 是解析器/提议引擎/仪表板的只读接合.

这个 LocalModelResolver 集成(第4阶段),建议引擎+计划通则(第5阶段),背景排程器(第6阶段),以及每个规格的HTTP / WS / CLI /仪表板表面(第7-8阶段).

目标(目标)

  • 检测操作员的硬件(Apple Silicon / NVIDIA / CPU),并对该硬件的Hugging Face模型进行排序.
  • 在操作员批准的Org/家族许可列表中管理一个磁盘预算限制的已安装 Ollama 模型集合.
  • 通过单一批准/拒绝UX的现有母体阶段-4审查队列提出集合变化.
  • 通过现场HuggingFace API驱动推荐,同时为下线环境提供冷冻-snapshot回落.

许可证

麻省理工学院

版本与发布记录

@harness-engineering/local-models 共发布 26 个版本,首次发布于 2026/06/03;过去 12 个月发布了 26 个版本。最新版本附带 npm provenance 构建来源证明,可追溯到公开的 CI 构建记录。

版本发布日期距今
0.8.1latest2026/11/17今天
0.8.02026/11/125 天前
0.7.122026/10/2027 天前
0.7.112026/09/092 个月前
0.7.102026/09/082 个月前
0.7.92026/09/052 个月前

关于 @harness-engineering/local-models 的常见问题

@harness-engineering/local-models 是什么?

Harness Engineering(LMLM)的硬件-有意识的本地模型推荐器、池管理器和提议引擎

如何安装 @harness-engineering/local-models?

在项目目录运行 npm install @harness-engineering/local-models,或使用 pnpm add / yarn add / bun add。

@harness-engineering/local-models 支持 TypeScript 吗?

支持。包内自带 TypeScript 类型声明(package.json 声明了 types 入口),安装后即可获得类型提示,无需再安装 @types 包。

@harness-engineering/local-models 支持 ESM 还是 CommonJS?

同时提供 ES Module 与 CommonJS 入口,import 和 require() 都可以使用,打包工具会自动选择合适的版本。

@harness-engineering/local-models 可以商用吗?

@harness-engineering/local-models 使用 MIT 许可。宽松许可:允许商业使用、修改和再分发,通常只需在分发时保留原版权与许可声明。以上为概括,不构成法律意见,请以许可原文为准。

@harness-engineering/local-models 的下载量有多少?

根据 npm 官方下载统计,@harness-engineering/local-models 在 2026/10/17 – 2026/11/15 这 30 天内被下载 9,624 次,日均约 321 次。下载量会把 CI 构建、镜像同步和作为其他包依赖的安装一并计入,适合横向比较热度,不能直接等同于使用人数。

@harness-engineering/local-models 还在维护吗?

最新版本 0.8.1 发布于 2026/11/17(今天);至今共发布 26 个版本,其中过去 12 个月发布了 26 个;首次发布于 2026/06/03。发布频率只是参考信号:功能稳定的工具可能很少需要更新,建议结合源码仓库的 issue 和提交记录判断。