Skip to content

Latest commit

 

History

20 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 

Repository files navigation

🔭至顶AI实验室硬核评测

至顶AI实验室是至顶科技旗下,专注于生成式人工智能前沿技术研究与实际应用探索的专业实验室。

实验室以“技术可理解、应用可落地”为核心理念,持续跟踪大模型、智能应用及相关生态的发展趋势, 深入研究AIGC在不同场景、不同行业中的创新潜力。 我们希望通过系统化研究与实践,缩短AI技术从“可用”到“好用”的距离,加速企业的AI落地。 AI时代,每个人都需要AI计算机,每个业务都需要接入AI模型。

《至顶AI实验室硬核评测》 ——面向真实使用价值的AI产品深度评测。

我们提供独立、客观的AI算力产品评测,无论是大模型、AI应用还是AI硬件,都从最终用户的视角出发,结合实际场景进行深度试用和横向比较。评测报告旨在揭示产品的真实能力、应用价值与潜在局限,帮助用户做出更明智的购买和使用决策。

✨ 评测视频

image

============================================================================================

✨ 评测产品

类别 内容
评测编号 20260720
评测时间 2026年7月20日
评测机构 至顶AI实验室
评测产品 戴尔 Pro Max 工作站,搭载 NVIDIA GB10 超级芯片,测试 NemoClaw 五路 AI Agent 本地并发运行能力
设备参数 工作站型号:Dell Pro Max
芯片:NVIDIA GB10 超级芯片
CPU:20 核
统一内存:128GB
推理框架:vLLM,通过 Ollama 接口调用
Agent 框架:NemoClaw
安全隔离机制:基于 OpenShell 的沙箱隔离
部署模型:Nemotron-3-super-120b NVFP4
模型参数量:1200亿,即120B
模型精度:NVFP4
模型内存需求:约87GB
评测方法 本次评测围绕 Agent 沙箱部署、工作空间安全隔离和五类市场任务并发执行三个维度展开。首先在戴尔 Pro Max 工作站上部署 NemoClaw,通过命名沙箱、统一选择 Nemotron-3-super-120b 模型、加载不同 SKILL 的方式,建立五个相互独立的 Agent 沙箱。五个 Agent 分别承担前沿 AI 技术跟踪、产品宣传资源检索、营销页面生成、产品推广方案撰写和内容合规审核任务。
五个沙箱配置完成后同步触发任务,通过任务管理器全程记录 CPU、内存和 GPU 占用曲线,观察任务执行期间是否出现卡顿、排队、资源异常飙升或系统崩溃。
工作空间隔离采用反向验证方式,由其中一个 Agent 主动尝试读取主机文件目录及其他 Agent 沙箱内的文件。只有全部越界访问失败,才能证明文件系统隔离有效。
所有任务仅进行一次完整生产运行记录,用于模拟企业岗位中的实际使用过程,不计算多轮测试平均值。
评测数据 部署效率:五个 Agent 沙箱从配置到就绪耗时数分钟,每个沙箱均拥有独立运行环境、文件目录和资源边界。
安全隔离:读取主机文件目录和其他 Agent 沙箱文件的尝试全部失败,跨沙箱访问成功次数为0,工作空间串扰事件为0。
并发 Agent 数量:5个,全部完成任务。
系统崩溃次数:0。
工作站卡顿次数:0。
每个 NemoClaw 沙箱资源占用:约2个 CPU 核心和4GB内存。
理论最大沙箱数量:约10个,依据20核 CPU 和128GB统一内存估算。
Agent 1 前沿 AI 技术跟踪助手:完成热门 AI 技术报告检索与整合,输出包含核心趋势和技术路线的结构化技术简报,可用于内部汇报。
Agent 2 产品宣传资源检索助手:完成产品特性分析和外部活动资源检索,按照匹配度、活动时间和推荐理由输出结构化资源索引表。
Agent 3 营销页面快速生成助手:根据活动主题、核心卖点和配色风格生成完整 HTML 与 CSS 代码,页面可在浏览器直接预览,响应式布局和动效运行正常,经微调后可达到上线标准。
Agent 4 产品推广方案助手:检索团队本地历史案例库,输出包含封面、产品分析、推广资源和推广方案四个模块的完整 PPT 结构。
Agent 5 内容合规自检助手:一次性审核十多篇公众号推文、电商详情页和短视频脚本,依据绝对化用语、竞品引用和广告法红线三类规则标注问题,并给出修改建议。
系统稳定性:五路任务同步运行期间,CPU、内存和 GPU 占用曲线保持平稳,未出现明显资源飙升、任务排队或系统崩溃。
模型运行:Nemotron-3-super-120b NVFP4 模型约需87GB内存,可在128GB统一内存架构下正常加载并响应五路 Agent 请求。
至顶AI实验室洞见 至顶AI实验室实测表明,一台搭载 NVIDIA GB10 超级芯片和128GB统一内存的戴尔 Pro Max 工作站,可以在本地同时运行五个相互隔离的 AI Agent,支撑技术跟踪、资源检索、页面生成、方案撰写和内容审核等典型市场工作,任务运行期间未出现卡顿、崩溃和工作空间串扰。
128GB统一内存是本次配置能够运行120B级 NVFP4 模型的重要基础。模型约占用87GB内存后,系统仍能为多个 Agent 沙箱和其他运行组件保留资源空间。采用独立显存的消费级工作站,可能会受到显存容量限制。
NemoClaw 基于 OpenShell 建立的文件系统隔离通过了跨沙箱访问测试。不同 Agent 接入的历史案例、待审核文案和任务文件互不可见,适合处理产品路线图、客户信息、内部定价及未公开营销资料等敏感数据。此次评测未单独测试网络层隔离,企业部署时仍需结合网络访问控制、权限管理和审计策略完善安全体系。
按照每个沙箱约占用2个 CPU 核心和4GB内存计算,20核 GB10 工作站理论上可部署约10个沙箱。该数字属于资源规格估算,若多个 Agent 同时执行长文档处理、大批量代码生成等高计算强度任务,仍需针对具体工作负载进行压力测试。
这套方案适合无法将数据上传公有云、Agent 调用量处于中等规模、任务类型相对固定且需要持续使用 AI 的企业市场、销售支持和内容运营团队。对于百路以上高并发、跨节点调度或高度动态的探索性任务,单台本地工作站存在性能和扩展上限。
本地部署能够降低数据外传风险,避免按 Token 持续计费,并提高长期成本的可预测性,同时需要承担较高的前期硬件投入。企业应结合调用频率、数据敏感程度、运维能力和设备使用周期进行总体拥有成本核算。
类别 内容
评测编号 20250720
评测时间 2025年7月20日
评测机构 至顶AI实验室
评测产品 戴尔 Pro Max T2 工作站(搭载 NVIDIA RTX PRO™ 5000 72GB 显卡)
设备参数 工作站型号:戴尔 Pro Max T2
显卡:NVIDIA RTX PRO 5000,72GB 显存
内存:128GB DDR5
推理模型:Qwen3.6-35B,int8 量化
语音识别:Whisper
视频生成:Wan2.2 14B,通过 ComfyUI 调用
Agent 框架:OpenClaw
视频合成:Adobe Premiere
测试素材:约1小时英文发布会视频
评测方法 本次评测面向发布会高光视频生产场景,将高光筛选、视频切片、字幕识别与翻译、字幕烧录、片头片尾生成及素材输出等环节交由本地 AI Agent 处理,验证戴尔 Pro Max T2 在长线程、多工具并发工作流中的执行效率、显存占用和运行稳定性。
至顶AI实验室在 OpenClaw 中设计视频高光提取 Skill,将工作流拆分为六个阶段:第一阶段自动提取音频;第二阶段检测有效内容起点;第三阶段由 AI 分析并输出高光片段;第四阶段通过 FFmpeg 对视频进行精确到帧的切片与重新编码;第五阶段完成中英双语字幕翻译;第六阶段按需转换视频尺寸并统一输出。
高光片段和字幕处理完成后,通过 ComfyUI 调用 Wan2.2 14B 模型生成片头片尾动态视频,最后在 Adobe Premiere 中进行素材拼接和成片输出。
所有计时从任务启动开始,至 Premiere 合成前结束。显存占用通过脚本实时采集,并记录各阶段任务峰值。
评测数据 任务启动后,系统完成音频提取、字幕识别、有效内容起点检测、高光分析和字幕翻译,共识别出571条字幕,最终输出5条带中英双语字幕的高光视频。
第一阶段为高光片段提取与字幕翻译,耗时30分钟。Qwen3.6-35B int8 模型本体占用显存32GB,Whisper 占用3.2GB,FFmpeg 及相关处理进程占用0.9GB,系统及其他 AI 工具占用1.2GB,字幕翻译阶段的 KV Cache 峰值占用8.5GB,合计峰值约45.8GB。72GB 显存在该阶段剩余约26GB,可继续加载后续视频生成任务,无需卸载推理模型。
字幕翻译属于长上下文任务。以一场约1.5小时、字幕量约2万字的发布会为例,模型通常需要进行2至3次翻译和校对,单轮任务上下文消耗可超过10万 token,对 KV Cache 和显存容量提出较高要求。
第二阶段为片头片尾生成,通过 ComfyUI 调用 Wan2.2 14B 视频模型,耗时20分钟。Wan2.2 14B 模型占用显存约56GB,前序任务残留缓存及工作环境占用约4GB,合计峰值约60GB,未超出72GB显存容量,无需清空缓存或重新加载工作环境。
第三阶段为 Premiere 合成输出,人工操作时间约10分钟。
全流程耗时约60分钟,其中高光提取、字幕翻译与烧录由 OpenClaw、Whisper 和 Qwen3.6-35B 自动完成,耗时30分钟;片头片尾由 ComfyUI 和 Wan2.2 14B 自动生成,耗时20分钟;Premiere 合成输出由人工完成,耗时约10分钟。AI 自动处理时间约50分钟,占全流程的83%,人工介入时间约10分钟。
至顶AI实验室洞见 戴尔 Pro Max T2 搭载的 NVIDIA RTX PRO 5000 72GB 显卡,能够在约60分钟内完成从原始发布会视频到5条双语字幕高光视频及片头片尾素材的生产,端到端效率明显高于传统人工流程。
大显存的价值不仅体现在能否加载35B参数量级的大模型。长上下文字幕翻译产生的 KV Cache、Whisper 语音识别、FFmpeg 视频处理、Agent 调度环境以及视频生成模型都会持续占用显存。第一阶段峰值约45.8GB,视频生成阶段峰值约60GB,常见的24GB或32GB显卡难以在不卸载模型、不清理缓存的情况下连续完成整套工作流。
72GB显存为多工具并发和连续任务保留了足够余量,可以减少模型卸载、缓存清理、素材转移和环境重新加载造成的等待,有助于保持长线程 Agent 工作流的执行速度和稳定性。对于这类本地大模型与视频生成模型连续运行的业务,大显存已经成为保障工作流完整性的关键配置。
该方案适合日常需要批量生产发布会、采访或活动高光视频的内容团队、品牌传播部门和视频制作工作室,也适用于要求模型本地部署、素材不离开内网的企业内容生产场景。
类别 内容
评测编号 20260604
评测时间 2026年6月4日
评测机构 至顶AI实验室
评测产品 元脑 Z3 AI 工作站
设备参数 元脑 Z3 AI 工作站核心配置:24 核 CPU、128GB 内存、48GB 显存、50 多 T 存储。
本地模型部署方案一:Q4 量化 GPT-OSS-120B,1200 亿参数模型,加载需要 65GB 显存以上。
本地模型部署方案二:FP8 量化版本 Qwen3.6-35B,350 亿级别模型,适合在本地工作站上运行。
多实例部署方案:工作站运行 OpenClaw 和本地业务流程,AI Server 集中提供大模型推理能力。
管理组件:基于开源软件 ClawManager,支持多个 OpenClaw 实例的统一管理、权限配置、日志追踪、成本管控、安全防护和模型接入。
评测方法 本次评测围绕“一台 AI 工作站同时运行多个 OpenClaw 智能体”的企业级应用场景展开。
第一步,先在元脑 Z3 AI 工作站上部署本地大模型,验证本地模型推理能力,包括响应速度、首 Token 延迟和 TPS 表现。
第二步,在本地工作站部署 OpenClaw,并让 OpenClaw 直接调用本地部署的 Qwen3.6 模型,验证单机环境下的文件读取、网页检索、工具调用、Skill 执行和内容生成能力。
第三步,选择两个真实业务场景进行单实例测试:AI 论文解析 Skill 和 AI 会议检索 Skill。AI 论文解析用于读取 Hugging Face 热门论文、筛选选题、下载论文、结构化分析论文内容、截取论文图片并生成深度解读文章。AI 会议检索用于整理近三个月国内外适合企业参加的 AI 会议,输出会议时间、地点、议题、嘉宾、适合人群、评分和参会建议。
第四步,进入企业级并发测试。在 ClawManager 上接入部署在 AI Server 上的模型,同时创建五个 OpenClaw 实例,对应 AI 论文解析、AI 会议检索、Vibe Coding、销售推广方案和内容审核五类任务。
第五步,观察五路 OpenClaw 同时运行时的任务完成情况、系统资源负载变化、CPU 调度、内存占用、磁盘读写、工具调用和整体稳定性。
评测数据 本地模型推理测试中,模型响应较为流畅,首 Token 延迟为 43 毫秒,TPS 达到 93 token/s。
原文中标注:该数据需要填入真实数据,发布前建议根据最终实测结果确认。
单实例测试场景包括 2 个 Skill:AI 论文解析 Skill、AI 会议检索 Skill。
并发测试场景包括 5 路 OpenClaw:AI 论文解析、AI 会议检索、Vibe Coding、销售推广方案、内容审核。
资源配置估算:1 个企业办公类 OpenClaw 实例通常需要约 2 个 CPU 核心,用于支撑工具调用、文件读写和任务调度。
基于 24 核 CPU、128GB 内存、48GB 显存和 50 多 T 存储的元脑 Z3 AI 工作站,按照元脑服务器推荐配置,理论上可支撑 10 路以上 OpenClaw 并行,覆盖企业日常 80% 的基础 AI 助手需求。
五路 OpenClaw 并发测试中,五类任务均完成输出,资源监控能够显示整机在并发任务下的负载变化。
至顶AI实验室洞见 企业部署 OpenClaw 智能体时,核心问题不只是模型能力,还包括数据安全、Token 成本、多实例管理和整机并发承载能力。
云端大模型适合快速尝鲜,但在企业级高频使用场景下,Token 成本会持续放大;同时,员工简历、客户资料、报价、业务数据等核心信息上传云端,也会带来合规和数据安全压力。
对于单部门、单用户场景,把模型能力搬到企业本地,可以先解决数据不出本地的问题,也能支撑论文解析、会议检索、售前方案、内容审核等常见办公任务。
当企业开始规模化使用 OpenClaw 时,多实例并发会带来新的系统压力。每一路 OpenClaw 都不是简单聊天,它还要读取文件、检索资料、执行工具、生成文档,并维护任务上下文,因此会同时考验 CPU、内存、磁盘读写、工具调用和系统调度能力。
更适合企业规模化落地的路径,是采用“AI 工作站 + AI Server”的部署方式:AI 工作站负责运行 OpenClaw 和本地业务流程,AI Server 负责集中提供大模型推理能力,ClawManager 负责统一管理多实例、权限、模型、日志和安全策略。
从本次测试看,元脑 Z3 AI 工作站能够支撑多路 OpenClaw 并发运行,测试重点已经从单纯的大模型推理,扩展到企业级 Agent 并发工作负载。
企业落地智能体可以分三步推进:先用单机 OpenClaw 验证本地模型和本地数据能跑进业务流程;再用 ClawManager 统一管理多实例、权限、模型和日志;最后让多路 OpenClaw 在企业级 AI 工作站上协同工作。
未来企业竞争的一个重要变量,将是 AI 员工的数量、质量以及协同效率。
类别 内容
评测编号 20260428
评测时间 2026年4月28日
评测机构 至顶AI实验室
评测产品 Dell Pro Max(搭载 NVIDIA GB10 Grace Blackwell 超级芯片)双机集群
设备参数 单机统一内存:128GB
双机集群可用统一内存:222GB
互联方式:QSFP 专用线 + NVIDIA ConnectX-7 高速网卡
集群管理框架:Ray
推理框架:vLLM、TensorRT-LLM + MPI
测试模型:Qwen3-235B-A22B(FP4 精度,235B 参数混合专家模型)
评测方法 通过 QSFP 专用线将两台 Dell Pro Max 直连组成双机集群,使用 Ray 框架建立并管理集群节点;分别在 vLLM(Tensor 并行)和 TensorRT-LLM + MPI 两种推理框架下加载 Qwen3-235B-A22B(FP4 精度),记录 TPS(每秒生成 token 数)、TTFT(首 token 延迟)及内存占用情况
评测数据 vLLM 框架(双机集群)
TPS:17.9 tokens/s
TTFT:1.3 秒
内存占用:约 130 GB

TensorRT-LLM + MPI 框架(双机集群)
TPS:22.6 tokens/s
TTFT:0.2 秒
内存占用:98 GB
模型启动耗时:6 分钟

对比参考(上期单机测试)
模型:Qwen3-120B(FP4 精度)
TPS:46 tokens/s
至顶AI实验室洞见 双机集群将可用统一内存扩展至 222GB,成功突破单机 128GB 的硬限制,使 235B 参数模型的本地推理成为可能。

两种框架对比来看,TensorRT-LLM + MPI 在 GB10 双机集群上表现更优:TPS 较 vLLM 提升约 26%,TTFT 从 1.3 秒压缩至 0.2 秒(改善超 6 倍),内存占用也从约 130GB 降至 98GB,是当前生产环境下的优先推荐方案。

适用场景明确:有数据合规要求的法律、金融、医疗等行业研发部门;需要在本地环境进行提示词工程、RAG 调试和应用评测的 AI 研发团队;以及预算有限但有本地大模型研究需求的高校和科研机构实验室。

需注意局限:222GB 统一内存在 FP4 精度下的实际承载上限约为 235B 参数规模;跨节点通信开销是 TPS 低于单机同等显存配置的根本原因;400B 以上模型需引入更多节点或转向专业 AI 服务器方案。

双机集群配置难度适中,有 Linux 命令行和容器使用基础的开发者可独立完成,无需数据中心级网络工程背景。
类别 内容
评测编号 20260427
评测时间 2026年4月27日
评测机构 至顶AI实验室
评测产品 Dell Pro Max(搭载 NVIDIA GB10 Grace Blackwell 超级芯片)
对比平台:搭载 NVIDIA RTX 5000 Ada 32GB 显卡、128GB 内存传统工作站(市售价超 15 万元)
设备参数 Dell Pro Max(GB10)
芯片架构:NVIDIA Blackwell
统一内存:128GB(CPU 与 GPU 共享)
支持量化精度:INT4 / FP4 / NVFP4
模型推理上限:200B 以内(量化精度下)
模型微调上限:70B 以内

对比工作站
显卡:NVIDIA RTX 5000 Ada,显存 32GB
系统内存:128GB
评测方法 使用 vLLM、TRT-LLM、LLaMA Factory、ComfyUI 四套框架,对以下场景进行系统测试:
1. Qwen3-VL-30B 推理对比(vLLM,记录启动时间、TPS、TTFT)
2. GPT-OSS-120B 推理测试(TRT-LLM,4bit 量化,约 65GB 内存需求)
3. Qwen3-Next-80B 并发服务测试(FP4 精度,5 路 / 10 路并发,自编脚本)
4. ComfyUI 多模态工作流(Flux 文生图 → 8K 超分 → Wan2.2 图生视频 → 混元 3D 建模,记录各环节耗时)
5. Qwen3-32B LoRA 微调(LLaMA Factory,44 万条医疗数据集,标准 LoRA 模式)
评测数据 Qwen3-VL-30B 推理对比(vLLM)
模型启动时间:GB10 2 分钟 / RTX 5000 Ada 6 分钟
TPS:GB10 74 tokens/s / RTX 5000 Ada 68 tokens/s
TTFT:GB10 1.8 秒 / RTX 5000 Ada 1.0 秒

GPT-OSS-120B 推理(TRT-LLM,4bit 量化)
RTX 5000 Ada:显存不足,启动失败
GB10:启动耗时约 1 分 30 秒,TPS 46 tokens/s,TTFT 1 秒

Qwen3-Next-80B 并发服务(FP4 精度)
5 路并发:平均 TPS 14 tokens/s,平均 TTFT 11 秒
10 路并发:平均 TPS 11 tokens/s,平均 TTFT 10 秒

ComfyUI 多模态工作流耗时对比
Flux 文生图:GB10 1 分 27 秒 / RTX 5000 Ada 33 秒(Ada 快约 2.6 倍)
8K 超分:GB10 1 分 30 秒 / RTX 5000 Ada 4 分 40 秒(GB10 快约 3.1 倍)
Wan2.2 图生视频:GB10 8 分 40 秒 / RTX 5000 Ada 11 分 40 秒(GB10 快约 1.3 倍)
混元 3D 建模:GB10 53 秒 / RTX 5000 Ada 4 分 03 秒(GB10 快约 4.6 倍)

Qwen3-32B LoRA 微调(LLaMA Factory)
数据集:44 万条医疗垂直数据
GPU 占用率峰值:超 80%
总耗时:3 小时 30 分钟
参考:A100 80GB 单卡同等规模约需 2~4 小时
至顶AI实验室洞见 128GB 统一内存是 GB10 的核心竞争力,也是本次对比测试中最具决定性意义的单项指标。当测试模型从 30B 切换至 120B 时,RTX 5000 Ada 因 32GB 显存硬上限直接出局——这不是性能差距,是能力边界。对需要本地运行 70B 以上参数模型的团队,GB10 满足的是门槛条件,而非可选加分项。

多模态工作流中,GB10 在 8K 超分(3.1 倍)和混元 3D 建模(4.6 倍)上优势显著,图生视频亦有领先;唯一的反转出现在 Flux 文生图,RTX 5000 Ada 以约 2.6 倍速度领先,推测与 Flux 模型对 Ada 架构的优化适配有关。以图像生成为核心工作负载的创作者,应将此纳入选型考量。

并发服务方面,10 路并发下 TPS 仍维持在 11 tokens/s,服务未出现崩溃或严重降速,可支撑 20~60 人规模团队的异步 AI 共享服务;但首 token 延迟在 10 秒量级,不适合对实时交互体验要求较高的产品场景。

LoRA 微调耗时 3.5 小时与云端 A100 单卡处于同一量级,同时省去云端算力费用,适合有垂直领域模型定制需求、且数据合规要求限制数据外发的研究机构或企业团队。
类别 内容
评测编号 20260300
评测时间 2026年3月
评测机构 至顶AI实验室
评测产品 联想 ThinkStation PGX(搭载 NVIDIA GB10 Grace Blackwell 超级芯片)
设备参数 处理器:NVIDIA GB10 Grace Blackwell 超级芯片,20 核 Arm(10x Cortex-X925 + 10x Cortex-A725)
AI 算力:最高 1 PetaFlop(1000 TOPS)
统一内存:128GB LPDDR5x,256-bit,CPU 与 GPU 共享
存储:1TB / 4TB M.2 NVMe SSD(支持自加密)
操作系统:NVIDIA DGX™ OS,预装 NVIDIA AI 软件栈、PyTorch、Jupyter Notebooks
网络:10GbE 有线,Wi-Fi 6/7,蓝牙 5.3
形态:小尺寸紧凑机箱(SFF),支持多机互联
模型支持规模:最高支持 2000 亿参数大模型本地运行
评测方法 在联想 ThinkStation PGX 本地部署环境下,运行理想汽车自研供应链 AI 智能体,对单零件完整 PPAP 文件包(生产件批准程序文件,通常涵盖尺寸测量报告、工艺流程图、控制计划、材料认证、MSA 量测系统分析等十几至二十多份材料)进行 AI 自动审核测试,全程本地推理、数据不出厂,并与人工审核方案进行效率对比
评测数据 人工审核基准
单零件 PPAP 文件完整审核耗时:5~6 小时

AI 方案实测(ThinkStation PGX 本地部署)
单零件 PPAP 文件完整审核耗时:2~3 分钟
并行处理能力:同时处理 100 份文件
效率提升倍数:约 150 倍
数据处置方式:全程本地推理,文件不出厂
至顶AI实验室洞见 本次评测的核心结论是:在数据高度敏感的工业场景中,本地大算力 AI 工作站具备真实落地能力,而非停留在原型验证阶段。

PPAP 审核的特殊性在于,其文件内容涉及新车开发节奏、零部件工艺参数、供应链能力边界等核心竞争情报,云端方案从架构层面即被排除。ThinkStation PGX 的本地部署模式从根本上解决了数据合规约束,使 AI 审核在主机厂现场成为可能。

150 倍的效率提升,意义不只在于"快"——PPAP 审核存在明显的时间窗口约束,审核效率直接影响量产启动节点,等同于为整车开发周期争取了可量化的时间余量。

适用边界:本方案最适合具备一定 AI 应用团队、且存在大批量文档审核需求的主机厂或 Tier1 供应商;对单次审核量较小、文件标准化程度低的场景,收益相对有限。

可复用的场景逻辑同样适用于:工厂视觉质检(延迟敏感、本地实时推理)、工艺参数分析与预测性维护(数据不出厂合规要求)、涉及商业机密的 AI 开发与微调等工业场景。
类别 内容
评测编号 20260201
评测时间 2026年2月1日
评测机构 至顶AI实验室
评测产品 英伟达DGX Spark / 苹果Mac Studio / 铭凡MS-S1 Max
设备参数 英伟达DGX Spark:GB10芯片,ARM架构,128G统一内存,最高可分配100G+显存,DGX系统(基于Ubuntu),售价32999元
铭凡MS-S1 MAX:AMD AI MAX+ 395芯片,X86架构,128G统一内存,最高可分配96G显存,Windows 11,售价18999元
苹果Mac Studio:M3 Ultra芯片,96G统一内存,macOS系统,售价32999元
评测方法 三项测试:
①大模型推理:使用GPT-OSS 120B模型,Ollama推理引擎,测试模型加载时间、首token延时(TTFT)及每秒输出速度(TPS)
②ComfyUI文生图:使用Flux模型生成1920×1080高清图片,测试生成耗时及噪音表现
③8小时压力测试:连续不间断模型推理,测试任务吞吐量、稳定性及散热表现
评测数据 【大模型推理】
模型加载时间:Mac Studio 13.19秒 / DGX Spark 17秒 / 铭凡MS-S1 MAX 41秒
TTFT:Mac Studio 1.08秒 / DGX Spark 0.43秒 / 铭凡MS-S1 MAX 0.52秒
TPS:Mac Studio 65.95 token/s / DGX Spark 35.53 token/s / 铭凡MS-S1 MAX 35.15 token/s
【ComfyUI文生图】
生成耗时:DGX Spark 1分35秒 / 铭凡MS-S1 MAX 2分32秒 / Mac Studio 3分22秒
噪音:铭凡MS-S1 MAX风扇噪音明显,DGX Spark与Mac Studio静音表现良好
【8小时压力测试】
任务完成量:Mac Studio 5776条(均耗时4.7秒)/ DGX Spark 3541条(均耗时8.13秒)/ 铭凡MS-S1 MAX 3092条(均耗时9.3秒)
三台设备均无任务失败
表面温度:铭凡MS-S1 MAX约27°C / Mac Studio表面46–47°C、出风口54°C / DGX Spark温度适中
至顶AI实验室洞见 三款设备各有侧重,适合不同人群:
DGX Spark软硬件适配完美、兼容性最佳,是专业AI开发者和实验室的首选,但Linux系统有一定上手门槛。
铭凡MS-S1 MAX性价比突出,兼容Windows生态,办公游戏兼顾,AI能力略逊但入门友好,适合学生和AI初学者。
Mac Studio大模型推理能力最强、静音表现优秀,在视频图形处理领域依然是行业天花板,但长时间高负载下积热明显,且对VLLM、TRT-LLM等专业AI框架支持不足,最适合对AI有需求的小型工作室、视频处理团队及Mac生态用户。
需要注意的是,推理强不等于图形渲染强——Mac Studio在文生图测试中反而垫底,选购前需结合自身主要使用场景综合权衡。
类别 内容
评测编号 20260125
评测时间 2026年1月25日
评测机构 至顶AI实验室
评测产品 惠普 Z 系列 ZGX Nano AI 工作站
设备参数 NVIDIA GB10 Grace Blackwell超级芯片、128GB统一内存、ARM架构CPU、预装NVIDIA DGX操作系统(基于Ubuntu)及完整AI软件堆栈;接口:4×USB Type-C、1×HDMI、RJ-45网口、2×NVIDIA ConnectX-7
评测方法 三项测试:
①本地微调:使用LLaMA-Factory框架,对Qwen3-VL-32B(FP16精度)多模态模型进行LoRA SFT微调,训练数据为约44万条医疗问答对,观测内存占用、损失曲线及微调前后效果对比
②单机推理与多模态工作流:使用Ollama部署GPT-OSS-120B模型测试推理速度;使用ComfyUI运行完整多模态工作流(FLUX文生图→8K超分→Wan2.2图生视频→混元3D建模)
③双机联动:通过QSFP线缆连接两台ZGX Nano,使用Ray集群部署+vLLM Docker镜像,挑战GLM-4.5-Air(FP8精度,需约150GB显存)
评测数据 【本地微调】
训练起始内存占用76GB,逐步上升;总耗时4小时;损失值从1.5降至0.9;微调模型文件约5.8GB
【单机推理】
GPT-OSS-120B模型加载耗时约10余秒,推理速度35 tokens/s
【多模态工作流】
FLUX文生图耗时约1分22秒;8K超分辨率(7680×4320)耗时约3分30秒;Wan2.2图生视频(640×640)耗时不到10分钟;混元3D建模(200步,25600块精度)全程稳定运行,未出现显存溢出
【双机联动】
两台串联后总显存超200GB,GLM-4.5-Air推理速度18.3 tokens/s,双机GPU占用、温度、功耗负载均衡
至顶AI实验室洞见 ZGX Nano最大亮点是"开箱即用"——预装DGX系统与AI软件栈,大幅降低环境配置门槛,对不想折腾的中小团队极为友好。
128GB统一内存在多模态工作流中表现出色,传统消费级显卡面临的显存瓶颈问题在此场景下得到有效解决。
ConnectX-7接口支持双机串联扩展,使桌面工作站具备了挑战服务器级大模型的能力,扩展路径清晰。
本地化部署优势明显:数据不出本地解决隐私合规顾虑,可反复试错且无云端调用成本,适合企业内部AI项目、小团队快速验证及开发者本地实验。
该设备定位明确,不与云端大规模训练竞争,而是解决AI落地"最后一公里"问题,是追求数据自主可控的团队的实用选择。
类别 内容
评测编号 20260113
评测时间 2026年1月13日
评测机构 至顶AI实验室
评测产品 华硕 Ascent GX10
设备参数 基于NVIDIA Blackwell GB10芯片、128GB共享内存(可分配100GB+作为显存)、ConnectX-7高速互联端口(支持QSFP连接)、DGX OS操作系统、支持Docker容器与Ray集群管理
评测方法 双机互联:使用1根QSFP连接线连接两台机器ConnectX-7端口,配置IP与免密SSH,部署vLLM Docker镜像+Ray集群(1头节点+1工作节点),采用张量并行策略;
三机互联(全网无教程,自主探索):使用3根QSFP连接线构建环形拓扑(A-B-C-A),配置路由转发,选用v2.5.10版vLLM镜像,重写启动脚本,采用Pipeline并行策略,1头节点+2工作节点,累计调试历时两周;
性能测试覆盖:模型加载时间、GPU利用率、首Token延迟(TTFT)、生成速度(TPS)
评测数据 【双机互联】
统一内存池:200GB+;
Qwen2.5 72B(FP16):加载时间8分钟,GPU利用率96%,TTFT 1.39秒,TPS 2.75 tokens/s;
GLM-4.5 106B(FP8,MoE稀疏):TPS 18.3 tokens/s
【三机互联】
统一内存池:300GB+;
Qwen3.2 235B(FP8量化,显存需求约260GB):加载时间约9分钟,GPU平均利用率不足60%,TTFT 1.71秒,TPS 8.0 tokens/s
至顶AI实验室洞见 本次评测完成了全网首例GB10三机互联实测,验证了通过桌面级个人超算多机串联运行200B+参数模型的可行性,具有重要的参考价值。
MoE稀疏架构(FP8)相比稠密模型(FP16)在推理速度上优势显著(18.3 vs 2.75 tokens/s),大模型部署场景下模型架构选择与量化策略的重要性不容忽视。
三机测试中GPU平均利用率不足60%,说明并行策略与集群调度仍有较大优化空间,Pipeline并行在多节点场景下的调优值得进一步探索。
多机互联技术门槛仍然存在,涉及网络拓扑、vLLM版本兼容、Ray集群配置等多个环节,目前需要较深的技术积累,不适合技术基础薄弱的团队直接上手。
成本优势明显,相比传统数据中心方案降低约一个数量级,适合AI研究实验室、有私有化部署需求的中小企业及高阶技术爱好者,是"大模型自由"从大厂走向个人与中小团队的重要探索。
类别 内容
评测编号 20251202
评测时间 2025年12月2日
评测机构 至顶AI实验室
评测产品 华硕 Ascent GX10
设备参数 基于NVIDIA Blackwell GB10、128GB统一内存、DGX OS、全系固态硬盘;对照组:搭载NVIDIA RTX 5000 Ada显卡(32GB显存)的专业工作站
评测方法 在ComfyUI中构建完整多模态创作流程,与RTX 5000 Ada专业工作站进行同条件对比测试,四个阶段:
①高清图像生成:Flux模型生成1080P图像,随后超分至8K(7680×4320)
②图像转视频:阿里通义万相Wan2.2模型,输出1280×720动态视频
③跨维度转换:腾讯混元3D 2.1模型将2D角色转换为3D模型(GLB格式)
④专业精修:在Blender中对AI生成的3D模型进行人工精修
评测数据 【Flux文生图(1080P)】
GX10:1分27秒,显存占用约50%
RTX 5000 Ada:33秒,显存占用约30GB(接近32GB上限)
【8K超分辨率】
GX10:1分30秒
RTX 5000 Ada:4分40秒;GX10约快3倍
【图生视频(Wan2.2,1280×720)】
GX10:8分40秒,显存占用始终在合理范围
RTX 5000 Ada:11分40秒,32GB显存拉满后频繁读写系统内存
【3D模型生成(混元3D 2.1)】
GX10:53秒
RTX 5000 Ada:4分03秒;GX10约快4倍
四项测试GX10平均速度优势超2倍,两台设备在视频与3D输出质量上基本一致
至顶AI实验室洞见 本次测试的核心发现是:显存容量并非多模态创作性能的唯一决定因素,统一内存架构的优势在显存密集型任务中才真正体现——RTX 5000 Ada在8K超分与图生视频环节因显存耗尽被迫降速,而GX10始终维持平稳的性能曲线,不存在"性能断崖"风险。
值得注意的是,RTX 5000 Ada在1080P文生图环节速度更快(33秒 vs 1分27秒),说明GX10的架构优势主要在高显存需求场景下才能充分释放,轻量级图像生成任务并非其最优场景。
3D模型生成环节GX10的4倍速度优势最为突出,结合Blender精修工作流,这一能力对需要快速将2D概念转化为3D资产的设计师和游戏开发者具有直接的生产力价值。
全系固态存储与统一内存架构的协同是GX10在多模态工作流中保持稳定性的重要保障,避免了传统工作站在大显存需求下因I/O瓶颈导致的卡顿问题,适合AI艺术家、视频创作者及3D设计师等有持续高强度多模态创作需求的专业用户。
类别 内容
评测编号 20251112
评测时间 2025年11月12日
评测机构 至顶AI实验室
评测产品 华硕 Ascent GX10
设备参数 基于NVIDIA Blackwell GB10、128GB统一内存、DGX OS;对照组:搭载NVIDIA RTX 5000 Ada显卡(32GB显存)、128GB内存的专业工作站(市场售价约10万元)
评测方法 两轮对比测试(华硕Ascent GX10 vs RTX 5000 Ada专业工作站):
Round 1:Qwen3-32B模型,测试单并发与4并发场景下的推理速度(tokens/s)
Round 2:GPT-o-s 120B模型(需约65GB显存),测试模型加载时间与推理速度,检验两台机器在超大模型场景下的实际表现
评测数据 【Round 1:Qwen3-32B】
单并发:GX10约9 tokens/s,RTX 5000 Ada约22 tokens/s
4并发:GX10平均7.5 tokens/s,RTX 5000 Ada平均9.9 tokens/s;RTX 5000 Ada胜出
【Round 2:GPT-o-s 120B】
模型加载:GX10约8秒,RTX 5000 Ada约9分钟(显存不足须将模型拆分至内存);GX10快30倍以上
推理速度:GX10约35 tokens/s,RTX 5000 Ada约13 tokens/s;GX10快近3倍
【意外发现】GX10上120B模型推理速度(35 tokens/s)约为32B模型(9 tokens/s)的4倍,推测源于GPT-oss采用MoE权重FP4量化,与Blackwell架构原生FP4硬件加速形成协同效应
至顶AI实验室洞见 本次对比评测揭示了一个重要规律:在大参数模型场景下,统一内存架构的优势远超独立显存方案——RTX 5000 Ada因32GB显存不足被迫将120B模型拆分至内存,加载时间从秒级劣化至分钟级,实用性大打折扣,而GX10的128GB统一内存从根本上消除了这一瓶颈。
FP4原生硬件加速与MoE架构的协同效应是本次测试最值得关注的技术发现——模型架构与硬件加速路径的匹配程度,对实际推理性能的影响可能超过参数规模本身,这对未来模型选型和硬件采购决策具有重要参考价值。
GX10在中小参数模型(32B)的单机推理速度上仍不及高端独立显卡方案,适合以大参数模型(100B+)为主要工作负载的用户;若主要使用30B以下模型,高显存独立显卡工作站在性价比上仍有竞争力。
系统预装完整AI开发软件栈(VS Code、Ollama、ComfyUI、LLaMA Factory等)并附带部署指引,进一步降低了上手门槛,对非专业运维背景的个人开发者和小团队尤为友好。
类别 内容
评测编号 20251105
评测时间 2025年11月05日
评测机构 至顶AI实验室
评测产品 华硕 GX10 Ascent GX10
设备参数 1、大语言模型推理能力
1.1 中等参数规模模型推理:Qwen3-32B(320亿参数),验证日常高频任务中的吞吐与延迟稳定性
1.2 中等参数规模模型并发推理:Qwen3-32B,4路并发运行,验证多任务并行条件下的性能表现
1.3 千亿参数级模型推理:Gpt-oss-120B(1200亿参数),验证在超大参数规模下的可用性与工程价值
2、多模态创作,构建完整的“文本→图像→视频→3D”工作流
2.1 文本生图:FLUX.1模型,1080p
2.2 1080P图片超分8K分辨率
2.3 图生视频:阿里通义万相Wan 2.1,1280×720分辨率
2.4 图像3D化:腾讯混元3D 2.1
3、机器人仿真平台,运行NVIDIA Isaac Sim,验证“计算-图形-物理”混合模态负载下的系统优化能力
4、三机互联,统一内存池突破300GB
评测方法 1、大语言模型推理能力
1.1 中等参数规模模型推理:Qwen3-32B(320亿参数),验证日常高频任务中的吞吐与延迟稳定性
1.2 中等参数规模模型并发推理:Qwen3-32B,4路并发运行,验证多任务并行条件下的性能表现
1.3 千亿参数级模型推理:Gpt-oss-120B(1200亿参数),验证在超大参数规模下的可用性与工程价值
2、多模态创作,构建完整的"文本→图像→视频→3D"工作流
2.1 文本生图:FLUX.1模型,1080p
2.2 1080P图片超分8K分辨率
2.3 图生视频:阿里通义万相Wan 2.1,1280×720分辨率
2.4 图像3D化:腾讯混元3D 2.1
3、 机器人仿真平台,运行NVIDIA Isaac Sim,验证"计算-图形-物理"混合模态负载下的系统优化能力
4、三机互联,统一内存池突破300GB
评测数据 1、大语言模型推理能力
1.1 单模型推理(Qwen3-32B):
模型加载:4秒
生成速率(TPS):9.07 tokens/s
1.2 4路模型并发推理(Qwen3-32B×4):
模型平均加载:6.5秒
生成速率(TPS):平均稳定在7.8 tokens/s
1.3 千亿参数模型推理(Gpt-oss-120B):
模型加载:8秒
生成速率(TPS):36.01 tokens/s
2、多模态创作
2.1 FLUX文生图(1080p):
生成时间:1分27秒
显存占用:约一半,负载曲线平稳
2.2 8K超分:
生成时间:1分30秒
画质表现:人物皮肤纹理、复杂材质的层次过渡清晰,无糊边、断层或噪点堆积
2.3 图生视频(阿里通义万相Wan 2.1):
输出:1280×720视频
生成时间:8分40秒
表现:动作衔接自然,镜头运动连续平滑,无明显帧间结构性失真
2.4 图像3D化(腾讯混元3D 2.1):
生成时间:53秒
结果质量:3D模型无大面积破面或明显比例失衡,整体几何关系保持稳定
3、Isaac Sim运行表现:
部署过程:极其顺滑,开箱即用
运行流畅度:极高,仿真交互与场景加载无明显卡顿
4、三机互联
4.1 Qwen3.2 235B(FP8量化)
模型平均加载:9分多钟
生成速率(TPS):8.0 tokens/秒
GPU利用率:平均不到60%
性能指标:TTFT:1.71秒
显存占用:约260GB
至顶AI实验室洞见 通过完整的多模态创作流程测试,华硕Ascent GX10充分证明了其在AI创作领域的实力。1000 TOPS的算力并非空谈,而是通过统一内存架构和Blackwell架构优化实实在在地转化为了生产力。
GX10特别适合以下几类用户:
- AI艺术家需要频繁使用Stable Diffusion、Midjourney等工具进行图像创作
- 视频创作者需要利用AI进行视频生成和后期处理
- 3D设计师需要将2D概念快速转换为3D模型
对于这些经常使用AI生成各类素材的专业创作者而言,GX10不仅提供了充足的算力保障,更重要的是通过架构创新解决了传统工作站在多模态创作中的性能瓶颈,真正实现了"让AI创作流畅起来"的目标。
类别 内容
评测编号 20251102
评测时间 2025年11月2日
评测机构 至顶AI实验室
评测产品 华硕 Ascent GX10
设备参数 NVIDIA Blackwell GB10超级芯片(20核ARM处理器:10×Cortex-X925+10×Cortex-A725)、6144个CUDA核心、第五代Tensor Core、单机算力1000 TOPS、128GB统一内存(最高可分配100GB显存)、1TB PCIe 4.0 SSD起步(最高4TB,读写速度12GB/s)、华硕自研铜管+高密度鳍片散热系统、DGX OS;接口:4×USB-C(含2个支持DisplayPort 2.1)、1×HDMI 2.1、240W独立DC供电口、万兆以太网(10G)、NVIDIA ConnectX-7智能网卡接口;机身重量1.6kg,尺寸约15cm见方;国行起售价32999元
评测方法 开箱评测,重点考察产品定位、硬件规格、外观设计、接口配置、散热方案及价格竞争力
评测数据 机身重量1.6kg,体积约15cm×15cm;单机算力1000 TOPS,支持200B参数AI推理及70B参数AI训练;存储读写速度12GB/s;国行起售价32999元;对比云端同等算力GPU实例按需计费(每小时数十美元),官方测算3–6个月可收回硬件成本
至顶AI实验室洞见 华硕GX10最值得关注的差异化优势在于完全自主设计主板,而非采用NVIDIA公版参考方案,这一深度研发能力带来了成本控制优势,最终体现在终端售价上,在GB10方案厂商中具有明显竞争力。
128GB统一内存架构(CPU与GPU共享同一物理内存池)是GX10的核心技术亮点,彻底消除了传统架构中CPU-GPU数据传输瓶颈,动态显存分配机制使大参数模型的本地化运行具备工程可行性。
ConnectX-7接口支持多机高速互联,为后续双机乃至多机扩展算力奠定了硬件基础,在边缘计算和分布式训练场景中具有重要价值(可参考本实验室此前华硕GX10三机互联评测)。
32999元的起售价代表着"千亿参数算力"的价格门槛首次降至个人和中小团队可接受范围,对AI算力的普及具有里程碑意义,是当前桌面级AI超算市场的重要参考定价。
类别 内容
评测编号 20251025
评测时间 2025年10月25日
评测机构 至顶AI实验室
评测产品 NVIDIA DGX Spark
设备参数 1、大语言模型推理能力
1.1 中等参数规模模型推理:Qwen3-32B(320亿参数),验证日常高频任务中的吞吐与延迟稳定性
1.2 中等参数规模模型并发推理:Qwen3-32B,4路并发运行,验证多任务并行条件下的性能表现
1.3 千亿参数级模型推理:Gpt-oss-120B(1200亿参数),验证在超大参数规模下的可用性与工程价值
2、多模态创作,构建完整的“文本→图像→视频→3D”工作流
2.1 文本生图:FLUX.1模型,1080p
2.2 1080P图片超分8K分辨率
2.3 图生视频:阿里通义万相Wan 2.1,1280×720分辨率
2.4 图像3D化:腾讯混元3D 2.1
3、机器人仿真平台,运行NVIDIA Isaac Sim,验证“计算-图形-物理”混合模态负载下的系统优化能力
4、三机互联,统一内存池突破300GB
评测方法 1、大语言模型推理能力
1.1 中等参数规模模型推理:Qwen3-32B(320亿参数),验证日常高频任务中的吞吐与延迟稳定性
1.2 中等参数规模模型并发推理:Qwen3-32B,4路并发运行,验证多任务并行条件下的性能表现
1.3 千亿参数级模型推理:Gpt-oss-120B(1200亿参数),验证在超大参数规模下的可用性与工程价值
2、多模态创作,构建完整的"文本→图像→视频→3D"工作流
2.1 文本生图:FLUX.1模型,1080p
2.2 1080P图片超分8K分辨率
2.3 图生视频:阿里通义万相Wan 2.1,1280×720分辨率
2.4 图像3D化:腾讯混元3D 2.1
3、 机器人仿真平台,运行NVIDIA Isaac Sim,验证"计算-图形-物理"混合模态负载下的系统优化能力
4、三机互联,统一内存池突破300GB
评测数据 1、大语言模型推理能力
1.1 单模型推理(Qwen3-32B):
模型加载:4秒
生成速率(TPS):9.07 tokens/s
1.2 4路模型并发推理(Qwen3-32B×4):
模型平均加载:6.5秒
生成速率(TPS):平均稳定在7.8 tokens/s
1.3 千亿参数模型推理(Gpt-oss-120B):
模型加载:8秒
生成速率(TPS):36.01 tokens/s
2、多模态创作
2.1 FLUX文生图(1080p):
生成时间:1分27秒
显存占用:约一半,负载曲线平稳
2.2 8K超分:
生成时间:1分30秒
画质表现:人物皮肤纹理、复杂材质的层次过渡清晰,无糊边、断层或噪点堆积
2.3 图生视频(阿里通义万相Wan 2.1):
输出:1280×720视频
生成时间:8分40秒
表现:动作衔接自然,镜头运动连续平滑,无明显帧间结构性失真
2.4 图像3D化(腾讯混元3D 2.1):
生成时间:53秒
结果质量:3D模型无大面积破面或明显比例失衡,整体几何关系保持稳定
3、Isaac Sim运行表现:
部署过程:极其顺滑,开箱即用
运行流畅度:极高,仿真交互与场景加载无明显卡顿
4、三机互联
4.1 Qwen3.2 235B(FP8量化)
模型平均加载:9分多钟
生成速率(TPS):8.0 tokens/秒
GPU利用率:平均不到60%
性能指标:TTFT:1.71秒
显存占用:约260GB
至顶AI实验室洞见 通过完整的多模态创作流程测试,华硕Ascent GX10充分证明了其在AI创作领域的实力。1000 TOPS的算力并非空谈,而是通过统一内存架构和Blackwell架构优化实实在在地转化为了生产力。
GX10特别适合以下几类用户:
- AI艺术家需要频繁使用Stable Diffusion、Midjourney等工具进行图像创作
- 视频创作者需要利用AI进行视频生成和后期处理
- 3D设计师需要将2D概念快速转换为3D模型
对于这些经常使用AI生成各类素材的专业创作者而言,GX10不仅提供了充足的算力保障,更重要的是通过架构创新解决了传统工作站在多模态创作中的性能瓶颈,真正实现了"让AI创作流畅起来"的目标。
类别 内容
评测编号 20250901
评测时间 2025年9月1日
评测机构 至顶AI实验室
评测产品 Step-Audio 2 Mini(阶跃星辰)
设备参数 模型大小:10GB+
显存占用:约20GB
测试环境:NVIDIA RTX 5200显卡(32GB显存)
支持语言:中文、英文、日语
部署方式:通过GitLab项目本地部署
评测方法 围绕多维度压力测试展开,涵盖三大场景:
1. 多语言支持测试:以日语提问,验证模型的多语言理解与生成能力,并记录音频生成耗时
2. 语义理解测试:在日常对话中引入地理位置等上下文信息,测试模型的话题延伸与主动追问能力
3. 情感语气测试:要求模型分别以愤怒、温柔、兴奋等不同语气朗读经典绕口令,评估情感表达的多样性与准确性
评测数据 多语言能力:能准确理解并用日语回应日语提问,但生成3秒音频耗时约6秒,实时性不足
语义理解:能准确识别地理位置并自然延伸话题,主动发起追问,上下文连贯性表现出色
情感表达:可识别并模拟愤怒、温柔、兴奋等多种语气,在开源语音模型中属于较高水平
局限性:本地部署实时性差、外语种类有限、硬件门槛高(需20GB以上显存)、无法使用网页版联网搜索功能
至顶AI实验室洞见 Step-Audio 2 Mini在语义理解和情感表达上达到了开源语音模型的顶尖水平,但受限于本地部署的实时性瓶颈与较高硬件门槛,目前更适合作为技术研究与深度定制的基础,而非直接落地的生产力工具。普通用户建议使用官方APP或网页版以获得更流畅的体验;开发者推荐调用API接口;具备充足算力的企业用户则可考虑私有化部署。随着硬件性能持续提升,此类模型的本地化实时交互潜力值得持续关注。
类别 内容
评测编号 20250712
评测时间 2025年7月12日
评测机构 至顶AI实验室
评测产品 戴尔 Precision Max Slim(搭载KAG大模型)
设备参数 主机:戴尔 Precision Max Slim工作站
显卡:英伟达RTX 4000 SFF Ada专业显卡
部署方式:Docker容器化部署
依赖组件:Ollama嵌入模型(Embedding Model)+ 对话模型(Chat Model)
评测方法 以大厂财报文件为知识库数据源,围绕复杂逻辑推理场景展开测试,具体流程如下:
1. 模型准备:在Ollama中配置嵌入模型与对话模型,作为KAG语义理解与回答生成的基础
2. Docker部署:从GitHub获取部署文件,按官方文档完成容器化部署,登录Web界面并完成初始配置
3. 知识库构建:创建知识库,上传多份大厂财报文件,完成知识入库
4. 推理问答测试:输入涉及AI战略动向与资源倾斜的复杂问题,观察KAG的子问题拆解、逐步查询与汇总推理过程,并与传统RAG知识库的表现进行对比
评测数据 推理能力:KAG自动将复杂问题拆分为多个子问题(如投资金额、业务收入占比、管理层表态等),逐一查询后汇总为完整答案,多跳推理准确性显著优于传统RAG
部署效率:从获取部署文件到KAG成功运行仅需数分钟,配置界面友好,整体流程流畅
对比表现:传统知识库仅能检索现成答案,无法理清数据间因果关系;KAG能真正理解问题结构并完成逻辑推演,形成降维打击
至顶AI实验室洞见 KAG代表了从"检索增强"到"知识增强"的范式跃迁——它不是更快的搜索引擎,而是具备推理能力的分析引擎。在财报分析、多维数据关联、复杂逻辑推理等场景中,KAG的"分而治之"策略使其答案质量远超传统RAG。配合RTX 4000级别专业显卡的本地算力支撑,部署门槛并不高。对于有复杂知识问答需求的企业和开发者而言,KAG是当前最值得关注的落地方案之一。
类别 内容
评测编号 20250728
评测时间 2025年7月28日
评测机构 至顶AI实验室
评测产品 HP Z2 Mini G1a工作站
设备参数 处理器:AMD锐龙AI Max+ Pro 395,最高频率5.1GHz
AI算力:内置50TOPS NPU
显卡:Radeon 8060S独立显卡
内存:支持最高112GB动态显存配置
接口:5个USB + 3个Type-C(含2个雷电4),支持最多4台显示器
机身:半张A4纸大小,重量仅2.1公斤
评测方法 以AI+3D技术复刻《名侦探柯南》毛利侦探事务所为实战场景,按五步流程展开测试:
1. AI写实化:本地部署DeepSeek R1(8B),通过Ollama+Docker搭建Open WebUI推理环境,结合ComfyUI 3.0与Flux模型,将动漫场景转化为写实风格图像
2. AI 3D建模:使用TripoSG 3D工具将写实图片一键转换为基础3D模型,测试显卡图形计算能力
3. 专业精修:将AI生成模型导入Blender逐一精修,测试多任务并行处理能力
4. 场景合成:多元素拼合组装完整场景,验证多屏协同与接口扩展能力
5. 最终渲染:完成光影调整与渲染输出,记录全流程耗时
评测数据 全流程耗时:从图片拆解、AI风格转换到3D建模与场景合成,约30分钟完成全部任务
大模型运行:可本地离线运行70B参数大模型;量化调优的AMD专版Qwen 3 235B运行速度超过10 tokens/秒
稳定性:长时间高负载运行期间几乎无风扇噪音,未出现降频或卡顿
多任务表现:Blender同时处理多个模型渲染任务时系统保持稳定,多屏协同工作流畅
至顶AI实验室洞见 HP Z2 Mini G1a以半张A4纸的体积实现了旗舰级AI与3D创作算力,重新定义了紧凑型工作站的性能边界。50TOPS NPU配合最高112GB动态显存,使其具备本地运行千亿级大模型的能力,对AI内容创作者而言兼顾了数据安全与算力充裕。在整个复刻流程中,设备表现出专业级的稳定性与静音性能,充分体现了HP在热设计与系统优化上的积累。对于专业设计师、3D艺术家和AI创作者而言,这台"小钢炮"提供的不仅是性能,更是一种不受空间束缚、随时释放创意的全新工作方式。
类别 内容
评测编号 20250712
评测时间 2025年7月12日
评测机构 至顶AI实验室
评测产品 戴尔Precision 5690移动工作站
设备参数 显卡:NVIDIA RTX 5000 Ada专业级显卡
定位:移动工作站,兼顾性能与便携
AI算力:支持Qwen3-32B等大参数模型的本地推理
部署组件:Cherry Studio客户端 + Ollama(本地模型部署)+ 抖音MCP服务器
评测方法 基于MCP协议搭建本地AI自动化工作流,以自媒体脚本创作为实战场景,按四步流程展开测试:
1. 竞品视频获取:复制抖音热门视频链接,通过MCP服务器调用接口自动下载视频资源
2. 文本提取:调用MCP工具从视频中自动提取完整文案,无需人工转录
3. 深度分析:将文案输入Qwen3-32B模型,分析原脚本的Hook设计、情绪节奏、内容结构与转化逻辑
4. 文案重构:基于分析结果,由Qwen3生成符合指定风格的全新视频脚本框架
评测数据 响应速度:视频下载与文本提取秒级完成,文案分析与新脚本生成响应速度不输云端服务
分析质量:Qwen3-32B完整拆解了原视频的叙事结构、情绪设计与转化路径,输出结果条理清晰
稳定性:RTX 5000 Ada算力支撑下,整个MCP工具调用链路全程流畅,无卡顿
数据安全:全流程本地处理,无隐私泄露风险,不依赖网络连接与云端积分
至顶AI实验室洞见 戴尔Precision 5690+Qwen3-32B+MCP的组合验证了本地AI工作流的商业可行性。MCP协议将大模型从"对话助手"升级为"自动化生产工具",一次硬件投入即可实现不限次数的AI辅助创作,长期ROI显著优于云端订阅服务。对于对数据隐私有严格要求的企业用户、需要批量内容生产的自媒体创作者,以及希望构建本地化AI工作流的开发者而言,这套方案提供了兼顾性能、安全与成本的完整解决路径。随着本地模型能力持续迭代,本地化部署正从技术极客的玩具演变为专业用户的生产力标配。
类别 内容
评测编号 20250505
评测时间 2025年5月5日
评测机构 至顶AI实验室
评测产品 联想推理加速引擎(Inference Acceleration Engine)
设备参数 核心技术:高效解码技术、批量计算优化、异构硬件调度
研发背景:联想携手清华大学无问芯穹团队联合打造
适用平台:预装于联想年底发布的新一代AI PC产品线
硬件调度:CPU与GPU协同调度,支持本地训练与推理闭环
评测方法 采用三台硬件配置完全相同的AI PC进行横向对比测试,统一挑战高考数学压轴题,测试变量为模型版本与是否搭载加速引擎:
第一台:初代大模型(无加速)
第二台:二代优化模型(无加速)
第三台:二代模型 + 联想推理加速引擎
通过同一难度数学题目同步测试,同时考察推理准确率与计算耗时,排除硬件差异干扰
评测数据 初代大模型:耗时27秒,未能给出正确答案
二代优化模型:耗时26秒,答题满分
联想加速引擎版本:耗时13秒,答题满分
关键对比:相比二代模型速度提升100%,准确率保持不变;相比初代模型速度提升52%,并实现从零分到满分的质变
至顶AI实验室洞见 联想推理加速引擎的核心价值在于通过软硬件协同创新突破端侧推理瓶颈,而非依赖硬件堆料。CPU与GPU异构调度让算力利用率最大化,在不牺牲精度的前提下将推理速度提升一倍。更具战略意义的是,该引擎打通了本地训练与推理的数据闭环,使用户在保障隐私的前提下即可运行高质量大模型应用。随着这项技术向更广泛的AI PC产品线下放,端侧AI有望从云端大模型的"廉价替代品"真正演变为兼顾性能、隐私与成本的最优解,推动AI PC从概念走向规模普及。
类别 内容
评测编号 20250429
评测时间 2025年4月29日
评测机构 至顶AI实验室
评测产品 Qwen3 235B A22B旗舰版(阿里)
设备参数 模型架构:动态混合推理框架(MoE,混合专家模型)
上下文窗口:128K
开源协议:全线Apache 2.0
兼容硬件:消费级RTX 4090显卡及苹果M3芯片可运行
模型矩阵:共8款模型(2个MoE + 6个Dense),参数规格0.6B至235B
评测方法 设计三大高强度实战场景,覆盖代码生成、内容创作与结构化输出等核心维度:
1. 飞机大战游戏开发:输入提示词要求生成完整可运行的飞机大战小游戏,测试代码生成能力与响应速度
2. AI动漫短剧市场分析PPT:要求生成包含市场规模、用户画像、竞争格局与未来趋势的完整商业分析PPT,测试内容创作与结构化输出能力
3. 短剧视频脚本与分镜头创作:要求生成"AI之间互相斗争"的视频脚本,并提供含镜头角度、运动方式、画面构图与情绪渲染的详细分镜头,测试创意写作的颗粒度与专业性
评测数据 代码生成:秒级响应,生成游戏完整可用,移动操控与射击逻辑均正常运行,从需求到成品耗时不足一分钟
PPT生成:大纲完整,逻辑框架清晰,内容深度与视觉设计均达到商业汇报标准
脚本创作:剧情完整,冲突设计合理,分镜头描述详尽,颗粒度接近专业编剧与导演协作水准
社区反响:开源上线仅两小时,GitHub星标数飙升至17万
至顶AI实验室洞见 Qwen3 235B A22B的核心突破在于同时打破了性能、算力与技术壁垒三重制约。动态混合推理框架使消费级硬件即可流畅运行235B级超大模型,从根本上重构了"大模型=昂贵算力"的固有认知;全线Apache 2.0协议则彻底消除了商业化落地的授权顾虑。在实测中,其代码生成、内容创作与创意写作的表现均达到顶尖水准。对于个人开发者、中小企业及AI应用团队而言,Qwen3提供了一条兼顾性能、自由度与可及性的本地化大模型路径,标志着国产开源大模型真正进入全球第一梯队。
类别 内容
评测编号 20250420
评测时间 2025年4月20日
评测机构 至顶AI实验室
评测产品 戴尔 Precision 3680工作站
设备参数 显卡:NVIDIA RTX 4000 Ada Generation专业显卡,配备20GB GDDR6显存
部署模型:YuE音乐生成模型(Apache 2.0开源协议)+ DeepSeek推理模型(14B版本)
运行方式:双模型本地部署,无需联网,完全离线
评测方法 采用"AI作词+AI作曲"双模型协同工作流,分三步完成完整音乐创作,并设计三种测试场景验证模型能力:
1. 基础生成测试:由DeepSeek生成歌词(区分主歌与副歌),输入YuE并配置曲风、情绪、人声等参数,使用默认设置生成完整音乐作品
2. 种子固定测试:记录首次生成的种子值,替换新歌词后保持种子值不变再次生成,验证风格一致性与品牌化音乐标识的可行性
3. 曲风修改测试:在固定种子值的前提下调整风格描述参数,观察编曲细节变化与底层风格保留情况,测试创作灵活性
评测数据 生成质量:三轮测试均输出完整可用的原创音乐,旋律流畅,人声自然,达到实用级别
风格一致性:种子固定测试中,两首曲目的编曲风格与音色处理高度一致,种子机制有效
性能表现:20GB显存同时运行DeepSeek 14B与YuE模型时游刃有余,生成过程无明显卡顿
成本:硬件一次性投入后,后续生成完全免费,音乐可商用,无版权顾虑
至顶AI实验室洞见 YuE+DeepSeek的本地双模型组合,从技术和经济层面同时破解了内容创作者的BGM困境。Apache 2.0协议保障了商用自由度,种子机制赋予了品牌化音乐标识的能力,本地部署则彻底消除了隐私与网络依赖问题。戴尔Precision 3680的20GB显存恰好踩在双模型并行运行的甜蜜点上,兼顾稳定性与性价比。对于有持续BGM需求的视频创作者、播客制作人和独立开发者而言,这套方案将音乐创作的边际成本降至接近于零,是当前最具实用价值的本地AI创作工作流之一。
类别 内容
评测编号 20250406
评测时间 2025年4月6日
评测机构 至顶AI实验室
评测产品 戴尔 Precision 5690移动工作站
设备参数 显卡:英伟达RTX 3500 Ada显卡
部署架构:Docker(容器化平台)+ Ollama(模型管理与推理)+ LobeChat(AI对话框架)
部署模型:DeepSeek 14B版本(支持Chain of Thought机制)
评测方法 针对日常办公典型场景设计多项实战测试,覆盖以下四大功能维度:
1. 知识库对话:上传PDF、Word等文件,验证文档分块、向量化处理与精准检索能力
2. 会议纪要生成:将录音转文字内容输入会议助手,测试自动生成结构化纪要的质量与可用性
3. Excel公式解析:输入复杂数据处理需求及公式报错问题,验证解答准确度与实用性
4. 周报生成:基于工作内容描述生成周报框架,评估AI内容可靠性与人工干预需求
评测数据 知识库对话:引用来源清晰,检索相关性强,表现优异
会议纪要:生成内容条理清晰,DeepSeek中文理解能力出色,基本无需修改即可直接使用
Excel公式:解答详细,公式示例具体,实测准确度高
周报生成:逻辑框架通顺,但因缺乏对具体工作的深入了解,存在一定"幻觉",需人工核实调整
硬件表现:RTX 3500 Ada显卡运行DeepSeek 14B全程稳定流畅,无卡顿
至顶AI实验室洞见 Docker+Ollama+LobeChat的组合方案部署门槛低、社区生态成熟、插件扩展灵活,配合戴尔Precision 5690的移动工作站形态,实现了"高性能本地AI智能体随身携带"的实用目标。在会议纪要、文档处理、公式计算等结构化任务中效率提升显著;但在需要深度个性化理解的场景中,AI仍以辅助角色为主,需人工介入。对于有数据隐私要求、频繁使用AI工具的专业用户而言,这套方案是当前性价比与实用性兼备的本地化智能体落地路径。
类别 内容
评测编号 20250901
评测时间 2025年9月1日
评测机构 至顶AI实验室
评测产品 Step-Audio 2 Mini(阶跃星辰)
设备参数 模型大小:10GB+
显存占用:约20GB
测试环境:NVIDIA RTX 5200显卡(32GB显存)
支持语言:中文、英文、日语
部署方式:通过GitLab项目本地部署
评测方法 围绕多维度压力测试展开,涵盖三大场景:
1. 多语言支持测试:以日语提问,验证模型的多语言理解与生成能力,并记录音频生成耗时
2. 语义理解测试:在日常对话中引入地理位置等上下文信息,测试模型的话题延伸与主动追问能力
3. 情感语气测试:要求模型分别以愤怒、温柔、兴奋等不同语气朗读经典绕口令,评估情感表达的多样性与准确性
评测数据 多语言能力:能准确理解并用日语回应日语提问,但生成3秒音频耗时约6秒,实时性不足
语义理解:能准确识别地理位置并自然延伸话题,主动发起追问,上下文连贯性表现出色
情感表达:可识别并模拟愤怒、温柔、兴奋等多种语气,在开源语音模型中属于较高水平
局限性:本地部署实时性差、外语种类有限、硬件门槛高(需20GB以上显存)、无法使用网页版联网搜索功能
至顶AI实验室洞见 Step-Audio 2 Mini在语义理解和情感表达上达到了开源语音模型的顶尖水平,但受限于本地部署的实时性瓶颈与较高硬件门槛,目前更适合作为技术研究与深度定制的基础,而非直接落地的生产力工具。普通用户建议使用官方APP或网页版以获得更流畅的体验;开发者推荐调用API接口;具备充足算力的企业用户则可考虑私有化部署。随着硬件性能持续提升,此类模型的本地化实时交互潜力值得持续关注。
类别 内容
评测编号 20250329
评测时间 2025年3月29日
评测机构 至顶AI实验室
评测产品 AutoGLM沉思(智谱AI)
设备参数 产品类型:自主智能体(AI Agent)
核心能力:模拟人类思维过程,完成数据检索、分析到报告生成的全链路工作
对比产品:Manus(虚拟机环境,网络访问不受限)
评测方法 设计标准化真实工作场景,两款AI Agent执行完全相同的任务,进行横向对比:
任务要求:寻找两篇MCP(Model Context Protocol)相关论文,分别进行深度解读,生成约3000字的科普报告,要求深入浅出、适合微信公众号传播,并配有图表等视觉元素
对比维度:生成耗时、初始理解准确性、任务分解透明度、内容生成质量、网络访问能力
评测数据 生成耗时:Manus 13分钟,AutoGLM沉思 35分钟,后者耗时约为前者3倍
理解准确性:Manus初始理解准确,直接进入执行;AutoGLM沉思初始出现语义偏差,需补充纠正,纠正后两者均能及时调整,基本持平
任务透明度:Manus每步骤有明确进度提示;AutoGLM沉思执行过程缺乏反馈,等待体验差
内容质量:Manus两篇文章标题吸引人、结构完整、科普性强,符合公众号传播标准;AutoGLM沉思内容偏技术说明书风格,可读性与传播性明显不足
网络访问:Manus虚拟机环境访问流畅;AutoGLM沉思多个网站访问受限,信息获取受阻
至顶AI实验室洞见 本次评测中Manus在执行效率、任务规划透明度与内容生成质量上全面领先,虚拟机环境带来的网络访问优势是关键差异所在。AutoGLM沉思当前版本受制于网络环境限制与内容风格偏差,实用性尚待提升;但其背后的国产大模型技术积累与中文场景理解能力具备较强潜力,随着虚拟机版本推出与网络能力优化,追赶空间可期。对用户而言,AI Agent的竞争加速将带来更低调用成本与更精准的指令理解,是长期利好信号。
类别 内容
评测编号 20250315
评测时间 2025年3月15日
评测机构 至顶AI实验室
评测产品 DeepSeek-R1 8B模型
设备参数 模型规模:80亿参数,适用于中等复杂度任务
部署框架:Ollama(本地模型运行与管理)
容器化工具:Docker
知识库管理:Dify(可视化界面)
上下文窗口:100,000 tokens
评测方法 从零搭建本地知识库,分三步完成环境配置与功能验证:
1. 环境准备:安装Ollama、Docker、Dify三大核心组件,从Ollama官网下载模型,配置Docker容器,克隆Dify项目,全程约30分钟
2. 模型与知识库集成:通过Dify可视化界面接入Ollama模型,配置基础URL与通信参数,将上下文长度设置为100,000 tokens
3. 知识注入与问答测试:以NVIDIA技术白皮书和行业报告(涵盖GPU加速、AI计算架构等专业内容)为知识库素材,测试专业知识问答与多轮追问的检索准确性及响应质量
评测数据 专业问答:针对CUDA加速原理的提问,系统准确检索核心内容并主动延伸推荐相关技术会议,展现信息关联能力
追问测试:连续追问后系统快速输出4个相关技术会议推荐并附中文解读,多轮对话体验流畅自然
检索准确性:基于本地知识库的检索准确率明显高于通用大模型,"幻觉"问题显著减少
响应速度:本地部署低延迟,接近实时对话水平
部署门槛:无需编程基础,按官方文档操作约30分钟内完成环境搭建
至顶AI实验室洞见 DeepSeek-R1 8B配合Ollama+Docker+Dify的本地知识库方案,在参数规模、推理质量与硬件门槛之间取得了良好平衡,是当前个人与中小团队落地垂直领域AI助手的高性价比路径。100K上下文窗口赋予了系统处理长文档的能力,本地部署则从根本上消除了数据隐私顾虑。更重要的是,可视化配置界面将技术门槛降至非开发者可接受的范围,标志着专属AI知识库正从技术人员的工具向全民可用的知识资产管理平台演进。
类别 内容
评测编号 20250310
评测时间 2025年3月10日
评测机构 至顶AI实验室
评测产品 戴尔Precision 5860塔式工作站
设备参数 显卡:最高可选配两张NVIDIA RTX 5880 Ada专业级显卡
渲染能力:单卡4K分辨率下实时渲染可达32帧
认证:通过Unity、虚幻引擎等主流游戏开发平台及3D设计软件的ISV认证
配套设备:戴尔UltraSharp系列4K专业显示器(IPS Black技术,黑色深度比传统IPS面板深35%)
评测方法 聚焦游戏开发中最消耗硬件资源的三大核心环节展开实战测试:
1. 场景渲染测试:构建包含超过100万株植被模型的高密度复杂场景,配合动态光影系统,测试实时渲染帧率与光线追踪表现
2. 动画制作测试:在高精度角色模型下进行实时预览,观察骨骼运动与布料物理模拟的流畅度,结合4K显示器验证阴影细节的可辨识性
3. 纹理优化测试:实时对比不同纹理密度方案的渲染效果,评估在性能与画质之间寻找最优平衡点的效率
评测数据 场景渲染:超百万株植被模型配合动态光影系统,实时渲染帧率保持在30帧以上,未出现帧率暴跌
动画制作:高精度模型实时预览流畅,骨骼运动与布料物理模拟细节清晰可见,穿模与扭曲问题可精准识别
纹理优化:4K显示器支持下可实现像素级精准对比,快速定位性能与画质最佳平衡点
市场数据:IDC统计显示,2024年Q4戴尔工作站在大中华区出货量排名第一,全球市场连续8年位居工作站领域首位
至顶AI实验室洞见 戴尔Precision 5860以双RTX 5880 Ada显卡构建的强大算力,配合ISV认证的软件兼容性保障与专业级4K显示方案,为游戏开发工作流提供了从场景到像素的全链路硬件支撑。在国产游戏产业高速增长的背景下,硬件瓶颈对创意落地的制约日益凸显,而Precision 5860"所见即所得"的实时渲染能力,能够显著压缩设计迭代周期,释放创作团队的效率上限。对于有高精度渲染、复杂场景构建与多软件并行需求的游戏开发团队而言,这是一套兼顾性能天花板与工程稳定性的专业级解决方案。
类别 内容
评测编号 20250206
评测时间 2025年2月6日
评测机构 至顶AI实验室
评测产品 CatVTON AI
设备参数 基于ComfyUI开源工作流框架,核心插件为CatVTON插件模块,部署方式采用秋叶整合包
评测方法 四步流程:
①环境搭建:使用秋叶ComfyUI集成包进行部署,约10分钟完成安装
②插件安装:在ComfyUI插件管理界面搜索并一键安装CatVTON,自动完成配置
③工作流构建:将CatVTON节点拖入工作流页面,配置服装照片(清晰平铺或挂拍)与模特照片(标准角度、姿态自然)作为输入,连接核心模块并设置输出路径
④生成测试:运行工作流,测试生成速度、效果质量及实际商用可行性
评测数据 单张图片生成时间5–10秒;服装纹理、褶皱、光影效果与模特动作贴合自然;材质质感与图案对齐度达到可直接商用水平;实际案例中原需三天的拍摄工作缩短至半天,成本降低约80%
至顶AI实验室洞见 CatVTON最核心的价值是将专业级虚拟试衣能力下放至中小电商,真正解决了模特成本高、拍摄周期长、快速上新难三大痛点,是一个具有实际商业落地价值的AI工具。
基于ComfyUI的模块化架构使其部署门槛极低,秋叶整合包的一键安装方式进一步消除了技术壁垒,非技术背景的电商从业者也能快速上手。
当前局限性需客观看待:复杂材质(透明、金属质感等)处理效果仍有提升空间,对输入图片的光线条件和模特姿态有一定要求,批量使用时需注意素材质量的一致性。
适用场景广泛,涵盖电商产品图生成、服装设计效果预览、时尚媒体内容制作及社交电商快速上新,对于有持续换装图需求的中小卖家,ROI优势显著。
类别 内容
评测编号 20250120
评测时间 2025年1月20日
评测机构 至顶AI实验室
评测产品 戴尔 Precision 3680塔式工作站
设备参数 英伟达RTX 4000 Ada专业显卡、20GB显存、第四代Tensor Core + FP8 Transformer引擎(相比上代吞吐量提升3倍)
评测方法 以PEC AI创新者峰会上百位嘉宾的诺奖风格头像批量制作为实战场景,基于ComfyUI搭建完整工作流,包含三大技术模块:
①LoRA模型训练:收集20张诺贝尔奖风格图片作为训练素材,使用ComfyUI打标工作流自动标注,设置总训练步数3000步(分4次×750步),训练完成后加载测试
②PuLID Flux工作流:构建"Flux基础生成+PuLID面部特征提取+自训练诺奖LoRA风格化"三层架构,实现面部相似度与艺术风格的双重保障
③高清放大:对风格化输出图像进行超分处理,满足海报、广告等商用场景的分辨率需求
评测数据 3000步LoRA训练全程流畅无卡顿;20GB显存支持多模型同时加载,未出现显存溢出;批量处理上百位嘉宾头像期间系统稳定运行,无过热降频;最终输出图像人物相似度高、风格一致性强,达到商用标准
至顶AI实验室洞见 本次评测验证了单台专业工作站完成"LoRA训练→风格化生成→高清放大"完整闭环的可行性,为有批量AI图像生产需求的团队提供了清晰的本地化部署参考方案。
20GB显存是当前主流AI图像工作流(Flux、Stable Diffusion、LoRA训练)的实用门槛,Precision 3680恰好踩在这一甜蜜点上,既满足专业需求又避免资源浪费。
LoRA训练步数选择(经验值1500–5000步)与训练素材数量(理想区间20–50张)是影响风格化质量的关键参数,本次实测数据可作为同类场景的配置参考。
"Flux+PuLID+自训练LoRA"三层架构在人物风格化场景中兼顾了面部还原精度与艺术风格一致性,是目前ComfyUI生态中较成熟的人像风格迁移方案。
该工作流具备较强的可复用性,稍作调整即可适配漫画、水墨、梵高等多种艺术风格,适合插画设计、电商广告、动漫游戏等多元场景,对个人创作者、小型工作室及企业AI团队均有参考价值。
类别 内容
评测编号 20250120
评测时间 2025年1月20日
评测机构 至顶AI实验室
评测产品 戴尔Precision 5860工作站
设备参数 双路英伟达RTX 5000 Ada显卡
评测方法 基于Open WebUI框架进行本地化AI部署,搭配Ollama运行开源模型;测试覆盖五项功能:
①基础对话:部署Llama 3.3 70B,测试对话流畅度与回答质量
②联网搜索:配置搜索引擎API,测试模型结合实时搜索结果生成答案的能力
③语音对话:测试TTS功能(含网页API及本地Whisper),评估语音流畅度与自然度
④Artifacts代码生成:使用通义千问2.5 Code 32B,以自然语言描述需求生成可运行网页代码,测试场景包括公司网站首页设计与贪吃蛇网页游戏
⑤多用户协作:测试多用户管理与团队同时访问下的性能表现
评测数据 Llama 3.3 70B在双RTX 5000 Ada配置下运行稳定,对话流畅度与回答质量达预期;通义千问2.5 Code 32B生成的网页代码可直接在浏览器中运行;32B规模模型可支持团队多人同时使用,未出现性能瓶颈;语音回答流畅度与自然度表现令人满意
至顶AI实验室洞见 本次评测验证了通过Open WebUI+Ollama在专业工作站上构建完整本地AI能力的可行性,为企业和团队提供了一条不依赖云端订阅的实用部署路径。
双RTX 5000 Ada的多卡配置是支撑70B级模型稳定运行及多用户并发的关键,算力冗余直接决定了团队协作场景下的使用体验。
Artifacts代码生成功能降低了非技术人员使用AI创建可运行应用的门槛,是Open WebUI在办公与小团队场景中值得重点关注的差异化能力。
本地化部署的核心价值在于数据安全与长期成本可控,适合对数据隐私敏感、有持续AI使用需求的企业团队;前期硬件投入门槛较高,需结合团队规模与使用频率综合评估ROI。
类别 内容
评测编号 20250120
评测时间 2025/1/20
评测机构 至顶AI实验室
评测产品 戴尔Precision 5490移动工作站
设备参数 14英寸显示屏,重1.49kg。
Intel Core Ultra芯片,CPU、GPU 和 NPU 三层多处理体系结构,NVIDIA RTX 3000A独立显卡。
配备4个 Thunderbolt 4.0 Type-C 端口、 耳机/麦克风输入端口、安全锁插槽、可选的 micro-SD 6.0、可选的智能卡读卡器
评测方法 1、本地部署GraphRAG知识图谱系统
1.1 技术选型
对话模型:Ollama平台的千问2.5 7B模型;
嵌入模型:智源的中文嵌入模型;
1.2 部署流程
第一步:环境配置
打开配置文件,指定对话模型和嵌入模型;启用图文件快照输出功能;将待分析资料放入根目录的input文件夹;
第二步:索引构建
激活Conda虚拟环境;在根目录运行索引命令;系统自动执行实体提取、声明提取、社区报告总结等步骤;
第三步:知识图谱可视化
在输出文档中找到图谱文件;使用Gephi可视化软件导入数据;运行社区检测模块化算法;按模块化着色,节点大小按重要程度排名;
2、全局模式智能问答测试
测试问题:开发者和AI PC有什么关系?请用中文回答。
评测数据 1.硬件性能表现
RTX 3000A显卡:完全胜任GraphRAG的本地化部署需求
8GB以上显存:为AI推理提供了充足的算力保障
2. 全局问答模式测试结果
精准定位:明确标注了答案在索引中的具体位置
深度关联:结合知识图谱中的关系网络,给出详细答案
上下文理解:能够关联原文件中的前后文关系和关键事件
智能整合:避免了传统RAG简单拼接的弊病
3. 知识图谱构建能力
能够为复杂数据生成有条理的知识图谱
可清晰展示重要节点与所有相关节点的关联关系
这是传统RAG无法企及的能力
至顶AI实验室洞见 硬件层面:戴尔Precision 5490移动工作站搭载的RTX 3000A显卡,完全胜任GraphRAG的本地化部署需求。8GB以上的显存为AI推理提供了充足的算力保障,证明了专业移动工作站在AI应用场景中的不可替代性。
软件层面:GraphRAG技术通过知识图谱的方式,将海量文档转化为可检索、可理解、可关联的知识网络。相比传统RAG,它在准确性、全局性和智能性上都有质的飞跃。
应用价值:原本需要整个部门协同完成的资料整理工作,现在通过GraphRAG知识库,一个人就能高效完成。这不仅大幅提升了工作效率,更重要的是让知识管理从"体力活"升级为"智力活"。
未来展望:随着AI PC的普及和AI技术的发展,本地化部署大模型应用将成为趋势。像戴尔Precision 5490这样具备专业AI算力的移动工作站,将成为知识工作者的必备工具
类别 内容
评测编号 20250112
评测时间 2025年1月12日
评测机构 至顶AI实验室
评测产品 阿里云无影个人云超算(无影魔方ultra)
设备参数 云端配置:双卡RTX 5880(单卡48GB显存,Ada Lovelace架构)、64核vCPU、总计96GB GPU显存;顶配可选:4块RTX 5880(192GB GPU显存)、96核服务器级CPU、384GB内存
评测方法 使用ComfyUI视频生成工作流进行极限压测,运行阿里开源Wan 2.2 14B(万相)视频生成模型;提示词:"马在行走,丝带飘动,表情灵动";分辨率1280×720,开启FP8矩阵乘法优化和FLOW流匹配架构;同时测试云游戏场景(《鸣潮》《我的世界》等),多端接入(MacBook、iPad、Windows),以及Windows/Linux Ubuntu/Kylin三种系统镜像
评测数据 模型加载阶段FP8量化后权重占用约13.6GB显存,当前可用显存28969MB;核心采样耗时1分20秒,总生成耗时3分34秒;云游戏延迟:《鸣潮》稳定在16ms左右,《我的世界》大部分时间流畅,复杂场景偶发波动至60ms;开机状态平均消耗150.82核时/小时,关机状态消耗0.04–0.06核时/小时;双卡配置每天高强度使用8小时月费约500–600元,4卡顶配月费约1000元
至顶AI实验室洞见 无影个人云超算代表了一种算力供给模式的转变——将高昂的一次性硬件投入转化为弹性按需付费服务。
96GB显存池在Wan 2.2 14B视频生成任务中表现从容,无爆显存风险,可同时常驻多个大模型与LoRA权重,对AI漫剧等多模型串联工作流的创作者具有显著生产力优势。
云游戏延迟表现优异(实测16ms),多端无缝切换体验良好,"算力与终端彻底解耦"的设计逻辑在实际使用中得到验证。
与本地方案(如DGX Spark)相比,无影胜在配置天花板高、弹性升降、无硬件折旧,但需持续付费且依赖网络;两者设计思路不同,适合不同用户群体。
AgentBay为AI Agent提供云端执行环境,赋予AI"手脚",支持浏览器操控、桌面应用控制、代码执行等能力,是无影从"云超算"向"算力基础设施"演进的重要信号。

About

至顶AI实验室是至顶科技旗下,专注于生成式人工智能前沿技术研究与实际应用探索的专业实验室。

Resources

Stars

1 star

Watchers

1 watching

Forks

Releases

Packages

Contributors