@fishaudio/ agent-protocol (英语)
电线合同 鱼声 代理会话:代理运行时间和终端用户客户端之间交换的实时室道消息,以及会话创建交换的形状. 它只包含TypeScript类型和主题常数. 零运行时间依赖,没有代码.
这是一个半内部包. 它住在空地上 所以在电线上行走的东西 完全可以审计 所以SDK和代理运行时间 符合一个公布的合同 它不是应用程序的API 。 不要直接依赖它. @fishaudio/agent-client 已经再导出应用程序代码所需的类型 : SessionToken, (中文(简体) ), SessionOverrides,以及 AgentSessionCreateRequest。只有在建立实时通道的自定义消费者或审计协议本身时,才能获取此软件包.
里面的东西
实时频道( E)realtime.ts(中文(简体) )
每个信道有一个主题常数,加上载荷类型:
| 专题 | 方向 | 有效载荷 |
|---|---|---|
AGENT_EVENT_TOPIC | 代理人 客户 | AgentSessionMessage。会话控制,例如 client_tool.call,则 tool.started 编号 : tool.completed 编号 : tool.failed 生命周期, session.ended (带有 SessionEndedReason),以及 error (类别代码加 stage 财务报告和审定财务报表 recovered) (中文(简体) ). 每个消息一个完整的JSON对象. |
CLIENT_EVENT_TOPIC | 客户 / 代理人 | ClientSessionMessage. 文字注入、工具结果、优雅挂起、音频准备状态报告(client.audio_ready) (中文(简体) ). |
两个参与者属性完成房间级合同. 它们作为常量发布 所以客户端和运行时共享一个定义:
| 常数 | 设定 | 含义 |
|---|---|---|
AGENT_READY_ATTRIBUTE (单位:千美元)fish.agent.ready(中文(简体) ) | 代理人 | 粘着 有价值的时代 输油管已直播,开通者已排队. 打开上面的"连接"UI lk.agent.state 作为旧时间的倒数. |
CLIENT_AUDIO_READY_ATTRIBUTE (单位:千美元)fish.client.audio_ready(中文(简体) ) | 客户端 | CLIENT_AUDIO_READY_PENDING (单位:千美元)"pending")在加入后宣布一个客户端将报告准备状态. epoch-ms值表示代理的音频音轨被附加并被浏览器允许回放. 跑步时间等待一个限定的时间 然后再说开场白 发布它需要一个加入符让参与者更新自己的属性. 现值也作为 client.audio_ready 信件内容 CLIENT_EVENT_TOPIC,因为 LiveKit 延迟了未发布音轨(麦克风关闭会话)的参与者的属性更新。 跑步时间需要先到者. |
译名(流程助理回复和用户ASR,临时和最终)不是本合同的一部分:他们在LiveKit的内置旅行 lk.transcription 文本流,按键 lk.segment_id 属性,与 lk.transcription_final 标记最终结果和流的发送者身份 区分用户和代理.
会话创建( O)session.ts(中文(简体) )
这个 POST /v1/agent/sessions 交换 :
AgentSessionCreateRequest是请求体。 它携带的代理身份,每会SessionOverrides,动态变量,归属字段,以及两个字段,意在后端的会话创建调用,而不是SDK的公共代理选项:llm_extra_body(转发到自定义 LLM 端点)和record_audio(每期录制超过).SessionOverrides是允许列表的每会话配置替换。 它涵盖第一信息,系统即时,语音,语言,和语音识别模型.SessionToken是回应。 它是一个歧视工会transport并逐字交给客户.
公约
- 克兴. 会话创建形状是
snake_case,因为客户逐字地使用回应。 实时消息字段是camelCase。 。 。 . - 相容性只有添加剂. 已发布字段从不改变名称、含义或类型 。 新字段是可选的 。 语义变化的船作为新的
type消费者必须忽略未知type值和未知字段。 然后老客户端继续工作 随着协议的增长. - 运输业.
SessionToken.transport是一个受歧视的工会。 不识别谈判臂的消费者必须以明显的升级出错而失败,永远不要沉默.