Skip to content

Files

Latest commit

 

History

History
245 lines (207 loc) · 10.8 KB

README.zh-CN.md

File metadata and controls

245 lines (207 loc) · 10.8 KB

アイリ VTuber

[试试看] [English Docs]

深受 Neuro-sama 启发

与其他 AI 和 LLM 驱动的 VTuber 开源项目不同，アイリ VTuber 从开始开发的第一天开始就支持多种 Web 技术，涵盖诸如 WebGPU、WebAudio、Web Workers、WebAssembly、WebSocket 等已经广泛应用或仍在大量实验的 API。

这意味着 アイリ VTuber 能够在现代浏览器和设备上运行，甚至能够在移动设备上运行（已经完成了 PWA 支持），这为我们（贡献者们）带来了更多的可能性，让我们得以更进一步构建和扩展 アイリ VTuber 的外部功能，而与此同时也不失配置的灵活性——可以有选择地在不同设备上启用会需要 TCP 连接或其他非 Web 技术的功能，例如连接到 Discord 的语音频道一起开黑，或是和朋友们一起玩 Minecraft（我的世界）、Factorio（异星工厂）。

Note

アイリ VTuber 仍处于早期开发阶段，我们欢迎优秀的开发者加入我们，一起将它变为现实。

即使不熟悉 Vue.js、TypeScript 和所需的其他开发工具也没关系，我们也欢迎艺术家、设计师、运营策划的加入，你甚至可以成为第一个用 アイリ VTuber 直播的博主。

如果你使用的是 React、 Svelte，甚至 Solid 也没关系，您可以自己创建一个子目录，添加您希望在 アイリ VTuber 中看到的功能，或者想实验的功能。

我们非常期待以下领域的朋友加入：

  • Live2D 模型师
  • VRM 模型师
  • VRChat 模型设计师
  • 计算机视觉（CV）
  • 强化学习（RL）
  • 语音识别
  • 语音合成
  • ONNX 推理运行时
  • Transformers.js
  • vLLM
  • WebGPU
  • Three.js
  • WebXR (也可以看看我们在 @moeru-ai 组织下另外的这个项目)

如果你已经感兴趣了，为什么不来这里和大家打个招呼呢？Would like to join part of us to build Airi?

当前进度

  • 思维能力
    • 玩 Minecraft
    • 玩 Factorio
    • 在 Telegram 聊天
    • 在 Discord 聊天
    • 记忆
      • 纯浏览器内数据库支持（基于 DuckDB WASM 或者 sqlite）
      • Alaya 记忆层（施工中）
    • 纯浏览器的本地推理（基于 WebGPU）
  • 语音理解
    • 浏览器音频输入
    • Discord 音频输入
    • 客户端语音识别
    • 客户端说话检测
  • 语言能力
  • 身体动作
    • VRM 支持
      • 控制 VRM 模型
    • VRM 模型动画
      • 自动眨眼
      • 自动看
      • 空闲眼睛移动
    • Live2D 支持
      • 控制 Live2D 模型
    • Live2D 模型动画
      • 自动眨眼
      • 自动看
      • 空闲眼睛移动

开发

pnpm i
pnpm dev

原生支持的 LLM API 提供商列表（由 xsai 驱动）

从这个项目诞生的子项目

%%{ init: { 'flowchart': { 'curve': 'catmullRom' } } }%%

flowchart TD
  Core("Core")
  Unspeech["unspeech"]
  DBDriver["@proj-airi/drizzle-duckdb-wasm"]
  MemoryDriver["[WIP] Memory Alaya"]
  DB1["@proj-airi/duckdb-wasm"]
  ICONS["@proj-airi/lobe-icons"]
  UI("@proj-airi/stage-ui")
  Stage("Stage")
  F_AGENT("Factorio Agent")
  F_API["Factorio RCON API"]
  F_MOD1["autorio"]
  SVRT["@proj-airi/server-runtime"]
  MC_AGENT("Minecraft Agent")
  XSAI["xsai"]

  subgraph Airi
    DB1 --> DBDriver --> MemoryDriver --> Memory --> Core
    ICONS --> UI --> Stage --> Core
    Core --> STT
    Core --> SVRT
  end

  STT --> |Speaking|Unspeech
  SVRT --> |Playing Factorio|F_AGENT
  SVRT --> |Playing Minecraft|MC_AGENT

  subgraph Factorio Agent
    F_AGENT --> F_API -..- factorio-server
    subgraph factorio-server-wrapper
      subgraph factorio-server
        F_MOD1
      end
    end
  end

  subgraph Minecraft Agent
    MC_AGENT --> Mineflayer -..- minecraft-server
    subgraph factorio-server-wrapper
      subgraph factorio-server
        F_MOD1
      end
    end
  end

  XSAI --> Core
  XSAI --> F_AGENT
  XSAI --> MC_AGENT
Loading 
%%{ init: { 'flowchart': { 'curve': 'catmullRom' } } }%%

flowchart TD
  subgraph deploy&bundle
    direction LR
    HFUP["hfup"]
    HF[/"HuggingFace Spaces"\]
    HFUP -...- UI -...-> HF
    HFUP -...- whisper-webgpu -...-> HF
    HFUP -...- moonshine-web -...-> HF
  end
Loading

使用的模型

同类项目

开源项目

非开源项目

项目状态

Repobeats analytics image

鸣谢