@jeffusion / bungee-llms
纯协议会话,规范消息/工具,流状态机和令牌记账。
网关插件消耗 llm-protocol-adapter 公共服务。适配器在每个工作线程中本地执行编解码器;生成体从不经过控制RPC。提供程序运行时抽象仍然对其他包消费者可用,但不是第二个网关转换路径。
import {createProtocolSession, describeProtocolConversion} from '@jeffusion/bungee-llms/plugin-api';
const session = createProtocolSession({sourceProtocol: 'responses', targetProtocol: 'chat_completions', model: 'model'});
const request = session.convertRequest({input: 'Hello'});
// Feed the target JSON response or parsed SSE events into the same session.
session.dispose();
矩阵有四个直通对,11个直接转换和一个被拒绝的双-响应对。显式推理控制需要经过验证的连接策略。当工具、历史记录和输出约束的语义无法保留时,它们会以安全的原因和参数失效。看到 LLM协议适配器.