Repository navigation
Releases
Releases · deluxebear/colabllm
v1.2.4
修复
- 消除
r2-migrate并发文件/目录前缀冲突竞态:在DriveDirCache中增加路径级活跃写入追踪与条件变量同步,使ensure_dir_locked在重定向同名冲突文件至<dir>/__r2_object__前等待在途写入完成;同时在write_file_direct中增加已知目录前置重定向、写入后S_ISDIR校验与多轮ENOENT/EISDIR冲突重试,彻底修复高并发小文件迁移在 macOS/Linux 上偶发[Errno 21] Is a directory的竞态失败,并同步重新生成r2-migrate.ipynb。
v1.2.2
新增与变更
colabllm web多视图历史路由与跨平台页面精细化:新增/fleet、/copilot、/workbench、/network、/doctor语义化路由、pushState/popstate历史回退与视图切换过渡,补充实例/目录多平台筛选、工作台活跃实例快捷填充及结构化环境体检看板。colabllm webAI 演练场(Copilot Studio)全 7 个子页面业务化升级:支持子页面 URL 状态同步与按当前能力面板动态生成 cURL / Python OpenAI SDK / 标准库urllib代码;补全对话首字/总耗时遥测、消息重试/重新生成与 System 角色预设;新增图生图多参考图缩略图编排(一键插入<imageN>/<Picture N>标签、生成结果一键续编辑与可取消 4K 异步轮询);新增 TTS 语速、drama3批量多角色对白、indextts8 维情绪滑块预设及合成音频一键送入转写/克隆联动;支持 ASR 时间戳播放实时高亮与 SRT/TXT 导出、Embeddings RAG Top-K 检索排序与余弦相似度热力矩阵、kaggle-web-probe等专有运行时原生控制台增强及同源 HTTP 探针响应头与历史重放。
修复
- 区分 Colab 未纳管远端会话与体检状态配色:在“隧道与账户”看板中将非
colabllm纳管的远端 Colab 会话明确标注为未纳管远端,并修正环境体检页PASS状态的绿色徽章映射与异常项统计。
v1.2.1
变更
colabllm web“隧道与账户”视图重构:新增顶部 4 卡指标总览条(传输后端、全局主域名、Colab CCU 算力池、Kaggle 每周 GPU/TPU 配额池)、基于容器查询自适应的双栏全局隧道与 FRP 配置卡、多平台快速筛选栏以及全宽 Colab/Kaggle 账户配额明细表与原生<progress>配额条,消除原三列等宽挤压导致的表单控件拉伸与状态胶囊多行折行。
修复
- 修复
colabllm web全局 FRP 配置显示与页签刷新触发:对齐tunnel_overview()的frp.enabled、frp.server_ip、frp.server_port与frp.ssh字段(修复已启用全局 FRP 时仍显示“未配置”的问题),并修正切换至“隧道与账户”(network)视图时的按需配额刷新条件。 - 消除 macOS CI 看门狗测试时序竞态:将 Kaggle 四分支看门狗单元测试由固定时长线程等待改为确定性状态队列驱动,并为测试内建 HTTP/WebSocket 服务器启用守护工作线程与有界读超时,避免高延迟 CI 节点阻塞超时。
v1.1.0
新增
- 多运行时 OpenAI / Anthropic 兼容数据面网关(
colabllm gateway):- 新增纯标准库本地 HTTP/1.1 聚合网关守护进程(默认监听
127.0.0.1:8787,支持-d/--detach、--status、--stop、--allow-remote与多级通配--allow-host),通过<upstream_model>@<runtime>[:<instance_id|default>]显式目标语法与GET /r/{qwen3-tts,indextts,drama3}[:<inst>]/v1/audio/voices前缀音色路由,零重启自动发现本机READY的文本/视觉推理、生图、语音合成、音效及语音转写运行时,并在 JSON、SSE 流与multipart/form-data请求/响应间对称改写model标识。 - 提供命名客户端凭据生命周期管理(
colabllm gateway token {create,list,rotate,revoke}),~/.colabllm/gateway/tokens.json(0600)仅存储SHA-256摘要并支持运行时热加载(兼容Authorization: Bearer与 Anthropicx-api-key);默认阻断/api/ct/*控制面、Google Drive 读写字段/请求头、外部http(s)://媒体引用、受限视频域名及生图response_format="url",并输出0600轮转 JSONL 审计日志(gateway.log)。 - 内置按副本槽位信号量并发控制、30 秒单飞
/v1/models探测缓存、协议感知根前缀 KV-Cache 亲和 LRU 与短宽限排队、分阶段connect/prefill/stream_idle超时控制(自动将 Cloudflare Quick Tunnel524映射为诊断性504)以及首包前跨副本故障切换。
- 新增纯标准库本地 HTTP/1.1 聚合网关守护进程(默认监听
- Web 控制台多账户 Colab CCU 配额与活跃 VM 遥测:
- 新增 45 秒单飞缓存的账户配额采集器与
GET /api/accounts/usage[?refresh=1]接口(兼容colab-extJSON 输出与原生colab usage回退),在隧道与账户看板及启动表单账户选择器中实时展示各账户 CCU 余额、消耗速率、远端活跃 VM 与汇总指标。
- 新增 45 秒单飞缓存的账户配额采集器与
性能优化
- 原生 Colab WebSocket 保活多路复用器(
mux.py)与 Web SSE 连接上限:- 新增纯标准库 RFC 6455
AsyncWebSocketJupyter Kernel 客户端(colab_ws.py)与单进程异步保活守护进程(mux.py),通过--exec-backend {auto,native,cli}与--no-mux将多个 Colab 会话保活收敛至单一本地进程(支持colab status自动刷新令牌、.runner.lock文件锁存活校验、空闲自动退出及异常无缝回退colab exec)。 - 为
colabllm web增加服务端 SSE 并发流上限淘汰、BroadcastChannel多标签页状态共享与页面可见性感知流释放,消除浏览器同源 HTTP/1.1 六连接池耗尽阻塞。
- 新增纯标准库 RFC 6455
修复
colabllm web交互细节修复:修复复制按钮中文文本换行挤压并统一三视图舰队卡片与工作台命令预览的声明式复制气泡反馈;将 Copilot 演练场目标下拉框收敛为仅展示当前运行中的实例。
文档
- 新增网关架构设计规范(
docs/designs/colabllm-gateway.md),同步更新README.md、通用操作指南、随包分发用户技能(skills/colabllm/)及仓库维护者开发技能(.agents/skills/colab-llm-service/)。
v1.0.0
新增
- 零依赖本机 Web 控制台(
colabllm web):- 采用回环优先监听与一次性启动令牌认证,自动签发
HttpOnly; SameSite=Strict会话 Cookie,并强制启用X-ColabLLM-CSRF、来源校验及严格CSP + Trusted Types防护;支持--read-only、--port、-d/--detach、--status、--stop后台守护以及基于fcntl.flock的单实例互斥锁。 - 提供卡片/紧凑表格/按服务聚合三视图舰队看板,支持多账户/分类/状态筛选、折叠已停止实例抽屉、声明式一键复制、右上角排队通知以及与后台任务状态联动的即时启动/停止进度与日志流追踪;同时内置基于
argparse契约动态解析的工作台命令表单、隧道与多账户总览及一键环境体检 (doctor)。
- 采用回环优先监听与一次性启动令牌认证,自动签发
- AI 演练场(Copilot Studio)与全局快捷
<CopilotSidebar />抽屉:- 升级本机同源安全代理
/api/proxy/<service>/<instance>/<subpath>,支持GET/HEAD/POST/PUT/DELETE、128 MiB 请求体、SSE (text/event-stream) 与 Ollama 原生 NDJSON (application/x-ndjson) 流式转发以及音频采样率 / Drive 保存路径响应头透传,浏览器全程零密钥暴露。 - 覆盖全部 19 个现有运行时的 API 能力档案,并支持对后续新增 OpenAI 兼容或自定义服务按文档与子命令启发式自动发现;集成多会话历史、流式 Reasoning 思考折叠卡片、前端 Generative UI 工具调用循环(在聊天流内直接渲染 KPI 指标卡与对比表格)、图像/语音克隆/8 维情绪调节/Nemotron SALM CTC 时间戳转写/向量余弦矩阵/原生专有 API 控制台与通用 HTTP 探针,实时生成同源代理 cURL 与 Python OpenAI SDK 代码。
- 升级本机同源安全代理
- Cloudflare R2 → Google Drive 迁移运行时(
r2-migrate):- 新增纯标准库 SigV4 S3/R2 客户端、CPU 高内存服务脚本与内置 Web UI,通过 Google Drive 挂载直通执行高并发 Direct 同步与
512 MiBPAX.tar分片归档;内置 SQLite 检查点断点续传、R2 免费额度护栏、宽松 Drive 文件收敛、云端校验后安全清理与自适应删除控制。
- 新增纯标准库 SigV4 S3/R2 客户端、CPU 高内存服务脚本与内置 Web UI,通过 Google Drive 挂载直通执行高并发 Direct 同步与
变更
- 文本与代码推理运行时升级:
qwen-flash、deepseek-coder、deepseek-qwen-9b统一升级至llama-serverv1.0.0并更新deepseek-qwen-9bGGUF 版本固定,同时在colabllm web舰队卡片中为llama-server系列暴露“打开 Web UI”快捷按钮。
修复
- 热内核模块化重载与
colab exec预检容错:Setup Cell 在导入嵌入式辅助模块前自动淘汰旧sys.modules缓存并失效导入缓存,避免温内核重复执行残留旧代码;为colab exec与colab dfs mount注入REQUEST_TIMEOUT=60防止过早握手超时,并可在远端 VM 存活时自动回收卡死进程后安全重试 Cell 1 前的瞬态断连。 unsloth-studio首次启动凭据对账与密钥收敛:在发出CT_READY前自动通过/api/auth/login与/api/auth/change-password将初始密码统一对账为CT_AUTH_PASS,在info/ps --show-secrets中严格按服务认证模式收敛公开字段,并在同源代理登录/api/auth/login时自动注入本机state.json凭据。
文档
- 在 README 顶部加入使用实机
indextts(IndexTTS-2.5)合成中文旁白的1080p全景实操演示视频与封面预览,并新增可复现录制与配音合成脚本tools/record_walkthrough_video.py。
v0.1.10
新增
- 原生集成
colab-ext(https://github.com/deluxebear/colab-ext)多账户与共享 Google Drive 绑定能力:- 全链路支持
--account/COLABLLM_ACCOUNT/COLAB_ACCOUNT(按档案名或邮箱解析)及up --drive-account/doctor --drive-account共享网盘账号覆写(up与doctor同时支持短参数-a,不影响minimax-h3-image等子命令自有的-a/--aspect)。 up启动时将解析后的account与drive_account写入实例state.json,并在ensure_session读取~/.config/colab-cli/accounts/<账户>/sessions.json;后续--auto-restart断线重连/停机重建、status、down、nemotron-transcribe网盘操作均锁定原账户,不受之后终端colab account use切换活动账户影响,同时对未初始化accounts.json的旧版单账户环境保持 100% 向后兼容。info、ps/list与doctor展示账户与共享 Drive 状态,doctor与离线 Shell 补全(读取账户目录/注册表,不触及凭据或 Keyring)原生适配accounts.json与分账户dfs_credentials.json。
- 全链路支持
修复
qwen-flash:移除llama-server启动前的evict_gguf_page_cache()调用(保留加载完成后的重复文件缓存释放),避免清空分片拉取阶段预热在主机 DDR5 内存中的 Linux Page Cache 而退化为限速磁盘冷读;同时改进就绪探针对 HTTP503错误响应体的分类(区分"Loading model"与异步加载失败状态并立即触发显存溢出卸载递增或快速报错)。
文档
- 将 README、通用操作文档与分发/维护者 Agent 技能从
colab-dfs-ext更新为colab-ext(colab account/colab drive/colab ext),补充多账户轮换与跨号共享模型缓存示例。
v0.1.9
变更
--auto-restart增加秒级停机检测与立即恢复:将就绪后断连的默认--restart-delay从15s缩短至3s,并在静默保活期间新增每10s一次的轻量公网边缘探针——一旦隧道网关返回502/503/530或连接异常即刻联动colab status核实(无需苦等 5 分钟--idle-check),确认 VM 已回收时0s等待立即重建实例(若远端 VM 仍存活则维持60s冷却期避免误杀内部重启或高负载实例)。up复用已存活且公网探针正常(HTTP 2xx/3xx)的远端 Colab 会话时,自动继承ready=True与服务地址并直接接管保活守护,支持本机升级 CLI 后零停机无缝切换守护进程。
v0.1.8
变更
--auto-restart半开连接静默巡检默认阈值从900s(15 分钟)缩短为300s(5 分钟,支持--idle-check SECONDS自定义),首次静默未检出missing时改为每60s快速复查直至收到新输出或确认回收,并将长周期运行时保活心跳统一加密至<= 4分钟。
修复
--auto-restart在本地网络闪断后重连仍存活的远端 VM 时,若服务端认证探针已返回200,立即恢复ready=True且不再受ready_timeout影响重复断开重连(避免远端 Jupyter Kernel 阻塞在上一轮保活 Cell 时本地status误显示ready: false)。
v0.1.7
新增
- 所有运行时
up新增--auto-restart掉线自动重拉守护模式(可配合--restart-delay与--max-restarts):结合容器内ct_watchdog、colab exec退出监听、保活心跳静默半开连接巡检与colab status远端会话文本核实,自动区分本地网络闪断(复用原 VM 保住 SSD 缓存)与 Colab 强收停机(清理残留记录并按原 GPU 规格重新colab new+colab dfs mount恢复服务),首次未就绪支持指数退避与熔断保护,手动down时安全退出。
v0.1.6
新增
- 新增
minimax-h3-image运行时(默认 G4,兼容 H100/A100,SGLang DiffusionBearer API Key):部署MiniMaxAI/MiniMax-H3-Image(33.1B DiT + 33.4B Qwen3-VL 编码器 + MiniMaxH3ImageVAE,6 步融合 PDD 蒸馏调度 + 在线 AdaLN 预计算释放 24.6 GiB 显存),默认启用fp8-all全组件常驻显存(峰值~50.4 GiB,G4 GPU 推理实测 2K 约2.6s、原生 4K 16:9 约15.7s)并支持--quantization bf16无损常驻(~92.2 GiB);CLI 默认走网络友好的内部/api/ct/*协议(本地参考图裸二进制上传 + SHA-256 零字节去重、异步后台任务与轻量 JSON 轮询、HTTP Range断点续传下载与服务端 WebP/JPEG 转码、Google Drive 零公网流量直读直写),同时完整保留标准 OpenAI/v1/images/generations与/v1/images/edits兼容接口及 1–16 张<Picture 1>..<Picture 16>多参考图编辑。
文档
- 补充 G4 文生图 / 图编辑选型指南(
minimax-h3-imagevsqwen-imagevsflux-klein),并同步更新使用文档与 Agent Skills。