Skip to content

v0.1.0

Choose a tag to compare

@nancheung nancheung released this 23 May 16:21

v0.1.0

基于 Web 技术实现的小智 AI 客户端,通过 WebSocket 协议与小智设备通信,支持实时语音对话。

功能

实时语音通话

  • 基于 AudioWorklet 实现低延迟麦克风录音与扬声器播放
  • 使用 Opus 编解码器(opusscript / WebAssembly)对音频流进行实时编解码
  • 录音侧实时音量条(VolumeBar)、AI 回复侧波形动画(WaveformBars)可视化反馈
  • 支持麦克风多种监听模式切换

WebSocket 连接管理

  • 完整实现小智 WebSocket 协议,覆盖 hello / listen / tts / mcp / iot 消息类型
  • 连接状态机:未连接 → 连接中 → 已激活 → 通话中
  • 设备 ID 自动生成,支持手动配置;连接配置与界面设置持久化至 localStorage

协议调试面板

  • 实时展示所有 WebSocket 消息,方向着色区分收发
  • 自定义 JSON 发送面板(Ctrl+Enter 快捷发送)
  • IoT 指令描述符编辑器与接收指令列表
  • HTTP 面板支持 update_config / restart 服务端操作
  • 设置面板可调整 hello 握手参数、音频配置、连接超时

npm 发布

  • 包名 open-xiaozhi-client-webui,支持 npx 一键启动

技术栈

Vite · React · TypeScript · shadcn/ui · Tailwind CSS · Zustand · AudioWorklet · opusscript (WebAssembly)