语音助理
语音控制终端助理,作为单一本地服务运行.
快速启动
# Install dependencies
npm install
# Copy environment variables
cp .env.example .env
# Edit .env and add your API keys (OpenAI, Deepgram)
# Run development servers
npm run dev
# Open browser to http://localhost:5173
建筑
- 快捷服务器 (港口3000) - 服务于API并建设了UI生产
- Vite Dev 服务器 (5173口) - 开发中的热-再装入 React UI
- 网络安全套 (单位:千美元)
/ws- 实时双向通信 - 探员 - 装有终端控制装置的输油管
- 守护进程 - 基于tmux的终端管理(进行中)
发展
# Run both servers (recommended)
npm run dev
# Or run separately:
npm run dev:server # Express on port 3000
npm run dev:ui # Vite on port 5173
# Type checking
npm run typecheck
# Build for production
npm run build
# Start production server
npm start
项目状况
++ 已完成 (第1-2阶段):
- 软件包设置和配置
- 带有 WebSocket 的快取服务器
- 用 Vite 反应 UI
- 有乒乓球测试的 WebSocket 客户端
执行中 (第3阶段):
- 终端控制( tmux 集成)
计划数 (第4-9阶段):
- LLM 整合( OpenAI GPT-4)
- 经纪人
- 语音对文本( 深色)
- 文字对语言( OpenAI)
- 音频流
- UI 抛光
见 执行 PLAN.md 完整的细节.
环境变量
OPENAI_API_KEY=your-openai-key-here # GPT-4 and TTS
DEEPGRAM_API_KEY=your-deepgram-key-here # Streaming STT
STT_MODEL=whisper-1 # Optional: override to gpt-4o-transcribe, etc.
STT_CONFIDENCE_THRESHOLD=-3.0 # Optional: reject low-confidence clips
STT_DEBUG_AUDIO_DIR=.stt-debug # Optional: persist raw dictation audio for debugging
CLISBOT_HOME=~/.clisbot # Runtime state directory (agents/, etc.)
CLISBOT_LISTEN=127.0.0.1:6868 # Listen address (host:port or /path/to/socket)
CLISBOT_HOME 默认为 ~/.clisbot 并隔离运行时的文物,如 agents/。 。 。 . CLISBOT_LISTEN 控制守护进程听取地址 。 对于蓝色/绿色测试,您可以在不触碰生产状态的情况下运行并行服务器:
CLISBOT_HOME=~/.clisbot-blue CLISBOT_LISTEN=127.0.0.1:7777 npm run dev
技术堆栈
- 服务器:快取, TypeScript, ws (WebSocket)
- 客户端: 反应 18, Vite, 类型脚本
- 终端: tmux (通过子进程)
- 大赦国际: OpenAI(LLM + TTS),深克(STT)
测试
目前通过:
- 启动服务器 :
npm run dev - 开放 http://localhost:5173
- 测试 WebSocket 连接( 绿色状态指标)
- 点击“ 发送平” 按钮测试通信
更多测试指南作为特点得以实施.
许可证
麻省理工学院