[开题框架] 基于GitHub社交网络和代码质量的PR价值评估模型研究

[andyhuang18]

Description

本 issue 用于追踪 @andyhuang18 开题的内容

[will-ww]

可以考虑从三个方面（贡献点）入手：

• 基准数据集的制作（开题报告时需要完成）
  • 选定制作数据集的典型开源项目（例如以 Apache 基金会旗下的开源项目为主，3 ~ 8 个）
  • 确定影响 PR 价值的因素，进而为半自动化的 PR 价值标注提供依据
  • 制作初步的协作网络图、特征工程、以及调研问卷
  • 完成带价值标注的 PR 数据集，作为基准数据集
• PR 价值评估模型与实验设计
  • 根据影响 PR 价值的因素，完成包括协作网络制作、代码质量评估等特征工程
  • 基于机器学习（或深度学习、图机器学习）等方法，建立 价值评估模型
  • 基于前面的基准数据集，设计对比实验，验证本文提出的方法的科学有效性
• PR 价值评估模型的落地应用
  • 例如对 OpenRank 算法进行改进，进而体现该方法的落地价值

[will-ww]

你的问题导入可以是 OSS101 课程，由于开源贡献度评价的需要，在前期 ICSE 工作的基础上，需要进一步细粒度衡量 PR 的价值，进而衡量开发者的贡献度。

[andyhuang18]

我构思了 PR 评价的体系，目前从时效性、正确性、清晰性、认可度四个维度对某一 PR 的价值进行评估。

• 时效性：对于某一个 issue 提出的问题和需求，该 PR 是否在最短的时间完成响应并解决；当 PR 出现新的 code review comments 时，开发者是否能快速响应并解决问题。
• 正确性：该 PR 是否正确地解决了问题或者新增了功能，在代码逻辑和 CI/CD 上没有出现问题。
• 清晰性：该 PR 的 Description 表述是否清晰，是否结合图片、演示视频、文字完善说明修改部分的内容。
• 认可度：该 PR 是否被社区其他成员或者 maintainer 更多的回复和互动。

目前想到的是这几个维度，希望各位同学和老师可以帮忙补充~

[andyhuang18]

考虑到我们希望 PR 的价值是原生价值，并非协作行为产生的价值，把时效性修改并删去认可度。

• 时效性：对于某一个 issue 提出的问题和需求，该 PR 是否在最短的时间完成响应并解决。
• 正确性：该 PR 是否正确地解决了问题或者新增了功能，在代码逻辑和 CI/CD 上没有出现问题。
• 清晰性：该 PR 的 Description 表述是否清晰，是否结合图片、演示视频、文字完善说明修改部分的内容。

[andyhuang18]

开题报告：
https://xlab2017.yuque.com/g/msdpvs/cd8ugi/folder/37743763

开题PPT：
https://xlab2017.yuque.com/msdpvs/cd8ugi/37743776

[will-ww]

根据开题报告的内容，以及暑期工作安排，目前感觉有两个任务比较契合：

• HyperCRX 与 OSGraph 的集成（HyperCRX 图可视化部分用 OSGraph 替换） open-wonderland#420
  • 延续 OSGraph 的基础，开展集成工作，并开发项目内 OpenRank 可视化图
• HyperCRX 项目的社区化建设与持续发展（例如，OSSGPT 建设、利用其他产品做集成） open-wonderland#422
  • 该任务中的“面向仓库维护者的-开源项目画像与可视化看板（Perceptor）”，将仓库中的 OpenRank 价值网络进行可视化，并详细展示出来

[andyhuang18]

OpenRank 在仓库内的可视化可以参考以下图片的形式：

最后的结果可以集成至 Perceptor 看板中，最后的呈现模式可以参考现有 HyperCRX 中的协作网络。节点的大小和布局由其 OpenRank 值决定，通过点击节点可以访问具体 issue 、 PR 、 用户。

[will-ww]

有数了，那就做：

• 面向仓库维护者的：开源项目画像与可视化看板（Perceptor，@andyhuang18）

[andyhuang18]

好的~我将在 X-lab2017/open-wonderland#422 下持续跟进，并在 HyperCRX 仓库新建一条任务 issue

[andyhuang18]

功能性：该PR对应新增的功能的重要性和新颖性。
时效性：对于某一个 issue 提出的问题和需求，该 PR 是否在最短的时间完成响应并解决；当 PR 出现新的 code review comments 时，开发者是否能快速响应并解决问题。
正确性：该 PR 是否正确地解决了问题或者新增了功能，在代码逻辑和 CI/CD 上没有出现问题。
清晰性：该 PR 的 Description 表述是否清晰，是否结合图片、演示视频、文字完善说明修改部分的内容。
认可度：该 PR 是否被社区其他成员或者 maintainer 更多的回复和互动，讨论的内容是否有利于仓库内的知识共享。