@harness-engineering/ 当地型号
Harness Engineering的硬件-有意识的本地模型推荐器、游泳池管理器和提议引擎 本地模拟生命周期管理器( LMLM)。 。 。 .
见 docs/changes/local-model-lifecycle-manager/proposal.md 整个细节.
状态
第3c阶段—— PoolManager 管弦乐器(带有第2d阶段) RankedModel 管弦乐师.
迄今为止,公共水面:
HardwareDetector编号 :detectHardware(第1阶段) — Apple Silicon, NVIDIA, CPU profile 有倒置警告.HuggingFaceClient(第2a阶段)——打入包装/api/models财务报告和审定财务报表/api/models/:repo带有稳定出错代码并注入fetcherDI接缝.HuggingFaceCache(第2a阶段)——用于高频响应的内膜+原子-盘上缓存(TTL 24h).loadFrozenSnapshot(第2a阶段)——当活源无法到达时,管弦乐器又回到了捆绑的基准快照装载器(S4).normalizeQuantId编号 :QUANT_BITS_PER_WEIGHT(第2b阶段) – 犬形GGUF + MLX四分位表,有对大小写不敏感的别名解析并保守地倒置了未知ID.estimateVram(第2b阶段)——任何设备的四期VRAM分解(重量+KV缓存+活化+框架间接费用)(sizeB, activeB?, quant, contextTokens, kvCacheQuant)tu. 教育部保留所有重量;activeB与速度估计器相呼应.estimateSpeed(第2b阶段)——带带带宽的信号通量投影,并带有后端效率乘数,MOE活式等离子处理,部分卸载混合到CPU地层,以及一个硬零短路,供不适应的考生使用. 永不掷出.gradeEvidence编号 :EVIDENCE_CONFIDENCE(第2阶段c)——五重证据梯子direct, (中文(简体) ),variant, (中文(简体) ),base, (中文(简体) ),interpolated, (中文(简体) ),self-reported),有校正的置信乘数;自报观测被吸收.applyRecencyDecay(第2阶段c)——指数年龄衰减(半衰期为9个月)加上可选的世系阶梯处罚(× 0.6目标之后的每代人)。 重量夹住MIN_RECENCY_WEIGHT = 0.05。 。 。 .openLlmLeaderboardSource编号 :huggingFacePopularitySource(第2阶段c) - 其后两个种子适配器BenchmarkSource接口。 两个都注射了Fetcher因此, CI 永远不会触碰网络; 每个失败路径都以结构化的外表显示SourceWarning而不是扔东西.mergeBenchmarks(第2阶段c) – 将证据折叠为正反相×源重{ score (0–100), confidence: 'high' | 'medium' | 'low', contributions }每个候选人。 空输入短路到confidence: 'low'永远不要扔出.PoolStateStore(第3a阶段)——原子在磁盘上的持久性PoolState改为~/.harness/local-models/pool.json(tmp + 重名, O2). 具有优雅退化的版本计划EmptyPoolState()在缺少/ 格式错误/ 版本匹配的文件上。 单突变路径( E)update)总是重算得出diskUsedGb从入分数.planEviction(第3a阶段)——纯净得分最低的LRU计划员. 排序集合条目(currentScore, lastUsedAt, installedAt)递升(处理)lastUsedAt: null并累积驱逐,直到提出要求freeBudgetGb或者池子已经耗尽.InstallAdapter编号 :OllamaInstallAdapter编号 :AdvisoryInstallAdapter(第3b阶段)——运输-不可知安装合同外加两个具体实施。 Ollama适配器说话/api/pull(NDJSON流出与类型InstallEvents),(c),/api/delete, (中文(简体) ),/api/tags,以及/api/show通过注射Fetcher。咨询适配器使复制-粘贴命令(lms get …, (中文(简体) ),vllm serve …, (中文(简体) ),llama-server -m …用于生命周期由操作员驱动的后端(D4);install编号 :evict编号 :inspect拒绝InstallError('advisory_only', …)。 。 。 .InstallError.code是稳定的分层分层 :advisory_only, (中文(简体) ),failed_target_missing(D13), (中文(简体) ),installer_unavailable页:1,install_failed(补7),not_in_pool(D12), (中文(简体) ),parse_failed。 。 。 .nullInstallAdapter(第3b阶段) -InstallAdapter他们的方法是否认的installer_unavailable。当 LMLM 禁用时,测试接合和管理器的默认值.rankModels编号 :RankedModel(第2d阶段)——有硬件意识的编剧estimateVram+ 键estimateSpeed+ 键mergeBenchmarks进入排序RankedModel[]. Won't-fit 候选人默认被过滤(F3 / Q3);options.includeUnfit把它们放在最下方score: 0。每行evidence反映 最弱者 捐款的等级,因此,单次自报的观察标出一行,而全部捐款的分数则在benchmarkScore.contributions为仪表板工具提示。 决定性类型: 得分 =estimatedTokPerSec国家hfRepoId代码点 asc.scaleScore折叠合并的confidence标签和速度估计器confidence乐团的乐谱'high'- 自信会超越'low'- 信心1,与生值相等(问题4,Q5)。 永不抛出;已退化路径表面为RankerWarning[](例如:.snapshot_unavailable用于空弹弓呼叫, S4.LiveObservation(第二阶段d) -BenchmarkObservation以hfRepoId因此管弦乐手可以将源适应器输出与候选的配对,而无需重排模型维度. 第6阶段的排程器会给源适配器进行再造,直接放出这个形状.- 均等定型(第2d阶段) -
tests/ranker/parity/m3-max-36gb.json财务报告和审定财务报表rtx-4090-24gb.json将顶端1型号 id + a 标出[scoreMin, scoreMax]用于光谱成功标准Q1 + Q2中调出硬件的波段 捆绑的种子基准快照是断言的真相来源;CI从未引用过whichllm. PoolManager(第3阶段c)——高级别指挥员PoolStateStore+ 键planEviction+一个InstallAdapter。 。 。 .install在一个呼叫中运行全插槽管道(allullast gate → 等同电源短路 → 可选installer.inspect能力检查 + 承诺前installer.evict按最低得分的LRU顺序installer.install附录+持续)。 预算执行在引擎层很困难(S5:budget_exceeded使用安装器前的短路).install_failed通过installer.evict(补7);installer_unavailable没有(S6);failed_target_missing没有(D13).evict首先引用安装器, 只有在成功或 D12 校正后才会变换池态(not_in_pool)),以失败而寂静地和解.reconcile()prunes 池内输入安装器不再报告(D12 原始;F10的调度器将定时器接入第6阶段). 账簿接缝markUsed财务报告和审定财务报表updateScores持续每次呼叫一次;configurePool(partial)是第七阶段CLI接合器,用于pool {set-budget, allow-org, allow-family}· ;snapshot()+ 键isAllowed({ hfRepoId, family? })是解析器/提议引擎/仪表板的只读接合.
这个 LocalModelResolver 集成(第4阶段),建议引擎+计划通则(第5阶段),背景排程器(第6阶段),以及每个规格的HTTP / WS / CLI /仪表板表面(第7-8阶段).
目标(目标)
- 检测操作员的硬件(Apple Silicon / NVIDIA / CPU),并对该硬件的Hugging Face模型进行排序.
- 在操作员批准的Org/家族许可列表中管理一个磁盘预算限制的已安装 Ollama 模型集合.
- 通过单一批准/拒绝UX的现有母体阶段-4审查队列提出集合变化.
- 通过现场HuggingFace API驱动推荐,同时为下线环境提供冷冻-snapshot回落.
许可证
麻省理工学院