Skip to content

Server@2.86.53 - Client@2.95.56

Choose a tag to compare

@wangzongming wangzongming released this 18 Aug 13:59
· 15 commits to master since this release

Server - Nodejs

  • ✨ 新增 ASR 插件新增 getClientAudioConfig 用于获取客户端传入的音频配置,详情见文档。
  • ✨ 新增 支持传入文本来进行对话,详情见:传入文本对话
  • ✨ 新增 music_gen_ing 的指令回调,用于标识开始创作音乐
  • ✨ 新增 服务请求中可以增加 AUDIO_BUFFER_SIZE 、LITTLE_ROM 用于告诉服务端设备的能力
  • ✨ 新增 服务请求中可以增加 spk_sample_rate 、spk_channels 、spk_format 、spk_bitrate 用于控制服务器返回的音频采样率 、声道数量 、 音频格式 、 音频比特率
  • 💄 优化 LLM 提示词
  • 💄 优化 流量控制逻辑优化,并且支持客户端传入缓冲区大小。
  • 💄 优化 VAD 机制优化
  • 💄 优化 鉴权失败机制
  • 💄 优化 文本间隔的流畅性
  • 💄 优化 TTS 插件可以返回任意格式或者采样率的音频流, 框架内部增加 codec
  • 🐞 修复 文字和表情下发不同步的问题
  • 🐞 修复 部分其他问题

Install

npm i esp-ai@2.86.53

docker Install

docker exec -it esp-ai-server  npm i esp-ai@2.86.53

Client - Arduino

  • ✨ 新增 esp32c3开发板兼容
  • ✨ 新增 灯珠数量设置
  • ✨ 新增 会话监听 onSessionStatus 形参增加 session_end 状态。
  • ✨ 新增 onVolumeCb 回调函数用于监听音量变化。
  • 💄 优化 内部音频文件全部改为 16khz 的。
  • 💄 优化 配网方式默认使用蓝牙配网。
  • 💄 优化 动态内存占用情况进行深度优化
  • 💄 优化 小程序配网时的提示语修改为“打开微信小程序配网”
  • 💄 优化 音量变化时发出提示音
  • 🤔 调整 蓝牙配网只使用 ble 配网。
  • 🤔 调整 打断会话时不回复问候语,这样响应会快一些。
  • 🤔⚠️调整 全局变量 esp_ai_pixels 改为指针,使用时请使用 esp_ai_pixels->xxx。
  • 🤔⚠️调整 ESP_AI_wifi_config.html_str 改为const char*类型,避免大量内存被占用。
// 旧版
char html_str[] = "<html><body>配网页面</body></html>";

// 新版
const char html_str[] PROGMEM = R"rawliteral( 
xxx
)rawliteral";
  • 🤔⚠️调整 所有回调函数的形参改为 const String& 类型,在提高数据安全性的同时避免大量内存被占用。
// 旧版
void on_command( String command_id,  String data)
{ 
    // ... 
}

// 新版
void on_command(const String &command_id, const String &data)
{ 
    // ... 
}
  • 🐞 修复 聆听指示灯有时候过快亮起来
  • 🐞 修复 网络连接成功回调执行延迟比较大

Install
esp-ai-2.95.56.zip