Repository navigation
Server@2.86.53 - Client@2.95.56
Server - Nodejs
- ✨ 新增
ASR插件新增getClientAudioConfig用于获取客户端传入的音频配置,详情见文档。 - ✨ 新增 支持传入文本来进行对话,详情见:传入文本对话
- ✨ 新增
music_gen_ing的指令回调,用于标识开始创作音乐 - ✨ 新增 服务请求中可以增加
AUDIO_BUFFER_SIZE、LITTLE_ROM用于告诉服务端设备的能力 - ✨ 新增 服务请求中可以增加
spk_sample_rate、spk_channels、spk_format、spk_bitrate用于控制服务器返回的音频采样率 、声道数量 、 音频格式 、 音频比特率 - 💄 优化 LLM 提示词
- 💄 优化 流量控制逻辑优化,并且支持客户端传入缓冲区大小。
- 💄 优化 VAD 机制优化
- 💄 优化 鉴权失败机制
- 💄 优化 文本间隔的流畅性
- 💄 优化 TTS 插件可以返回任意格式或者采样率的音频流, 框架内部增加
codec - 🐞 修复 文字和表情下发不同步的问题
- 🐞 修复 部分其他问题
Install
npm i esp-ai@2.86.53docker Install
docker exec -it esp-ai-server npm i esp-ai@2.86.53Client - Arduino
- ✨ 新增
esp32c3开发板兼容 - ✨ 新增 灯珠数量设置
- ✨ 新增 会话监听
onSessionStatus形参增加session_end状态。 - ✨ 新增
onVolumeCb回调函数用于监听音量变化。 - 💄 优化 内部音频文件全部改为
16khz的。 - 💄 优化 配网方式默认使用蓝牙配网。
- 💄 优化 动态内存占用情况进行深度优化
- 💄 优化 小程序配网时的提示语修改为
“打开微信小程序配网” - 💄 优化 音量变化时发出提示音
- 🤔 调整 蓝牙配网只使用
ble配网。 - 🤔 调整 打断会话时不回复问候语,这样响应会快一些。
- 🤔
⚠️ 调整 全局变量esp_ai_pixels改为指针,使用时请使用esp_ai_pixels->xxx。 - 🤔
⚠️ 调整ESP_AI_wifi_config.html_str改为const char*类型,避免大量内存被占用。
// 旧版
char html_str[] = "<html><body>配网页面</body></html>";
// 新版
const char html_str[] PROGMEM = R"rawliteral(
xxx
)rawliteral";- 🤔
⚠️ 调整 所有回调函数的形参改为const String&类型,在提高数据安全性的同时避免大量内存被占用。
// 旧版
void on_command( String command_id, String data)
{
// ...
}
// 新版
void on_command(const String &command_id, const String &data)
{
// ...
}
- 🐞 修复 聆听指示灯有时候过快亮起来
- 🐞 修复 网络连接成功回调执行延迟比较大
Install
esp-ai-2.95.56.zip