ChatLLM Web

English / 简体中文 / 日本語

🗣️ 使用 WebGPU 在浏览器中与 LLM（语言模型）进行聊天，完全安全、私密，无需服务器。由 web-llm 提供支持。

Features

🤖 一切都在浏览器内运行，无需服务器支持，并且使用 WebGPU 进行加速。
⚙️ 模型在 Web Worker 中运行，确保不会阻塞用户界面，提供无缝体验
🚀 通过在 Vercel 上单击一次即可轻松免费部署，不到 1 分钟，即可获得自己的 ChatLLM Web。
💾 支持模型缓存，因此您只需要下载模型一次。
💬 多对话聊天，所有数据都存储在浏览器中，以保护隐私。
📝 支持 Markdown 和流式响应：数学、代码高亮等。
🎨 响应式和设计良好的 UI，包括暗黑模式。
💻 支持 PWA，在下载后可完全离线运行。

Instructions

🌐 要使用此应用程序，您需要使用支持 WebGPU 的浏览器，例如 Chrome 113 或 Chrome Canary。不支持 Chrome 版本 ≤ 112。
💻 您需要具有约 6.4GB 的内存的 GPU。如果您的 GPU 内存较少，则应用程序仍将运行，但响应时间会较慢。
📥 第一次使用应用程序时，您需要下载模型。对于我们当前使用的 Vicuna-7b 模型，下载大小约为 4GB。初始下载后，模型将从浏览器缓存中加载，以加快使用速度。
ℹ️ 有关更多详细信息，请访问 mlc.ai/web-llm

Roadmap

[✅] LLM：使用 Web Worker 创建 LLM 实例并生成答案。
[✅] 对话：支持多对话。
[] 桌面版：使用 Tauri 构建桌面版，它将使用系统缓存（而不仅仅是浏览器缓存）并在本地和离线运行。
[] UI：暗黑和明亮主题。

Deploy to Vercel

单击，按照说明操作，只需 1 分钟即可完成。
尽情享受吧 😊

Development

git clone https://github.com/Ryan-yang125/ChatLLM-Web.git
npm i
npm run dev

Screenshots

LICENSE