Voice Input Interface (PC Microphone Support)

[ZiryaNoov]

Feature request / 功能建议

Add support for voice input via the host computer's microphone. Instead of typing python main.py "task", allow a mode where the user can speak the command, and the script uses a Speech-to-Text (STT) model (like Whisper) to convert it to the prompt.

Motivation / 动机

This aligns with the goal of a true "AI Assistant". It allows for hands-free operation and makes the interaction more natural, similar to the movie "Her" or "Jarvis".

Your contribution / 您的贡献

I can suggest using OpenAI/Gemini/Sesame Whisper (local or API) for the transcription layer

[StupidStudentInSchool]

Phone Agent目前的设计是运行在电脑上，通过终端输入任务指令，然后通过ADB与手机通信并执行操作。它本身不直接支持手机端的语音唤醒功能。

不过，你可以通过以下方式扩展实现语音唤醒功能：

1. 手机端语音助手集成 ：

   • 在手机上安装或开发一个语音助手应用
   • 该应用监听语音指令，将其转换为文本
   • 通过网络（如TCP/IP）将文本指令发送到运行Phone Agent的电脑
   • Phone Agent接收指令并执行相应操作

2. 电脑端语音识别 ：

   • 在电脑上安装语音识别软件（如Windows语音识别）
   • 将语音指令转换为文本
   • 通过脚本自动将文本输入到Phone Agent的终端界面

3. 自定义手机应用 ：

   • 开发一个手机应用，实现语音唤醒和指令发送功能
   • 应用与Phone Agent建立通信连接（如WebSocket）
   • 语音指令通过应用发送到Phone Agent执行
     要实现这些扩展，你需要：

• 了解网络通信编程（如TCP/IP、WebSocket）
• 熟悉语音识别API（如Google Speech-to-Text、百度语音识别等）
• 开发相应的手机应用或电脑脚本
  当前的Phone Agent提供了核心的自动化功能，你可以基于它进行扩展来满足语音唤醒的需求。