@kortix / llm-catalog

这个包提供捆绑的提供程序目录（models.dev快照）和共享的目录帮助程序。它不支持Kortix托管模型：API拥有运行时路由、实时服务目录和托管阵容。

Kortix管理的模型：Platinum Inference

Kortix管理的模型是一个提供商，像任何其他的，白金推理，从Kortix积分支付。白金乐队的阵容是什么 GET {PLATINUM_INFERENCE_URL}/models： id，名称，限制，图像输入，推理努力和每1M代币的价格。API在启动时和每5分钟读取一次(loadManagedLineup 在 apps/api/src/llm-gateway/models/managed-models.ts， replica/managed-lineup.ts）. 一个模型白金添加或重新定价达到用户没有更改Kortix。

1. 每个管理模型都有一个上游，白金(managedCandidates 在 apps/api/src/llm-gateway/resolution/descriptors.ts)，达成协议 PLATINUM_INFERENCE_API_KEY （pt_live_、范围 inference）. 没有钥匙，还是有钥匙 KORTIX_MANAGED_PROVIDER_ENABLED 关闭时，未列出、提供或服务任何托管模型。
2. Platinum拥有上游、订单、故障转移和零数据保留条款。
3. 网关发送 x-platinum-session （Kortix会话，否则API密钥，否则用户）。白金钥匙上游提示缓存由它。
4. 铂金公司报告其收费为 usage.cost (美元)。网关账单花费x KORTIX_LLM_MARKUP (默认 1.055）. 所列价格仅适用于没有 usage.cost.
5. usage_events.metadata.upstreamProvider 是 platinum． 客户端只看到Kortix。
6. 平台默认值为 LLM_GATEWAY_DEFAULT_MODEL 当白金服务时，否则第一款白金列表。模型级回退(LLM_GATEWAY_FALLBACK_POLICIES， policy-config.ts)不变。
7. 每个客户端都在网关提供程序(kortix/<id>)。没有客户端持有托管id列表。

存储会话的退役id可能仍然携带(LEGACY_MANAGED_IDS， RETIRED_MANAGED_MODEL_IDS)留在API中，所以旧的会话移动到它的继任者。

网关将每个溢出响应为HTTP 400 context_length_exceeded，包括错误作为第一个 data: 流的框架(packages/llm-gateway/src/http/call-upstream.ts）. OpenCode将该代码读取为上下文溢出并进行压缩。

目录

CATALOG 是捆绑的models.dev快照。它生活在 src/catalog-data.ts，不是在 index.ts因此，打包器为从未读取的消费者丢弃了大约7.6 MB的JSON CATALOG 或者 catalogModelForWireModel． 运行时目录从配置的models.dev URL中刷新。

许可证

弹性- 2.0。