重庆大学AI训练营+202524131034T+Scholar Evaluation

[1ASunny]

项目简介

Scholar Evaluation 是一个原生运行在
Nexent v2.4.0 中的学术评审 Agent。它面向研究
论文和研究计划，将“帮我审一下这篇论文”转化为可追溯的八维评估：

• Problem Formulation（问题定义）
• Literature Review（文献综述）
• Methodology（研究方法）
• Data Collection（数据收集）
• Analysis & Interpretation（分析与解释）
• Results & Findings（结果与发现）
• Scholarly Writing（学术写作）
• Citations & References（引用与参考文献）

项目仓库：https://github.com/1ASunny/nexent-scholar-evaluation

为什么基于 Nexent

这不是一个脱离 Nexent 的独立 Web 壳。实际演示链路全部由 Nexent 承载：

1. 用户在 Nexent 会话中上传 PDF。
2. Agent 先加载 scholar-evaluation Progressive Skill。
3. Nexent 官方 analyze_text_file 工具解析文件并生成紧凑证据台账。
4. 主 Agent 使用固定 /5 rubric 与 15/15/20/10/15/10/10/5 权重完成评分。
5. Nexent 负责对话、多轮修订、自验证、Markdown 输出和官方 Agent 导出。

这种结构把“文件解析”“评审标准”“评分汇总”分开：工具只提取证据，Skill 定义评审合同，
主 Agent 负责解释和评分，避免工具提前给分或模型在没有读取文件时编造结论。

Demo：真实论文评估

演示使用 Attention Is All You Need 的官方 NeurIPS 2017 PDF，并要求在
document-only 模式下完成综合评审。

1. 上传论文并选择 Agent

2. 可见的 Skill 与工具轨迹

执行轨迹中可以看到 read_skill_md 和 analyze_text_file 两次真实调用，而不是只在回答中
声称“已经读取”。截图没有暴露内部 S3 URL。

3. 八维加权评分

每个维度均使用 /5 量表，并显示权重、加权贡献、理由和文档证据位置。实测报告总分为
4.80/5.00；在最终 v0.1.7-demo 回归会话中，另一轮确定性校验得到 4.655/5.00，两次
均严格使用同一固定权重而非等权平均。

4. 证据边界与责任声明

Agent 会明确说明 document-only 模式没有进行外部文献真实性、后续工作或 venue policy
交叉验证，并声明评分不保证接收、发表、资助、复现或结论正确。

研究计划与多轮复评

仓库还提供了可自由分发的合成预注册研究计划和完整测试提示词：

• 当尚无观察结果时，将 Results & Findings 标为 N/A，而不是错误地记为 0 分；
• 按剩余适用维度重新归一化权重至 100%；
• 优先检查抽样、功效分析、缺失数据、生成随机性和双人标注一致性；
• 修订后可只复评 Methodology，保留无关维度并说明分数变化与证据增量。

这些场景位于 examples/synthetic-research-proposal.md 和
docs/MANUAL_DEMO_RUNBOOK.md。当前公开截图证据聚焦真实论文主链路，不把未截图的场景冒充为
已展示结果。

安全边界

Agent 不会承诺论文一定录用，也不会虚构支持性引用。它会说明证据限制，并建议使用可核验的
文档证据或配置真实检索工具。每个评分报告都包含明确的非保证声明。

如何体验

1. 部署 Nexent v2.4.0。
2. 下载仓库中的 artifacts/agent/nexent-scholar-evaluation-agent.zip 并使用 Nexent 官方导入
   功能，或安装 dist/scholar-evaluation-skill.zip 后按 nexent/agent-config.md 配置。
3. 在目标租户中绑定可用模型和官方 analyze_text_file 工具。
4. 上传论文或研究计划，选择综合评审或指定维度复评。

官方 Agent ZIP 由 Nexent /agent/export 生成，内含 agent.json、官方
analyze-text-file Skill 与自定义 scholar-evaluation Skill，SHA-256：

2A1D3C48F19DDC244D8194691E40BA1F6171ECBD65E9C3194E5DEC11B71712C5

验证结果

• Agent 发布版本：v0.1.7-demo
• 项目自动测试：12 项通过
• 真实 PDF 端到端：通过
• 工具轨迹：read_skill_md → analyze_text_file
• 八维固定权重与总分算术：通过独立校验
• 内部 URL 与凭据扫描：通过
• Nexent 官方 Agent 导出：通过

详细证据见 artifacts/validation/validation-report.md。

局限与负责任使用

• 自动评审不能代替具备领域知识的同行评审。
• 复杂公式、图表、扫描件和高度专业的方法可能被解析或判断错误。
• document-only 模式无法证明完整新颖性或文献覆盖度。
• 上传未公开稿件前，应确认部署方和模型提供商的数据处理政策，并遵守期刊、会议、基金、
  学校和工作单位关于 AI 辅助评审的规则。

欢迎对学科适配、证据可追溯性和可复现失败案例提出建议。