zbOperation

为了让用户有更好的体验 以及对于报酬更准确的把控 需要对打标平台的奖惩机制的参数进行优化。

后记（2022.05.04）

• 背景

1. 这个是当时在京东的时候做众包标注平台时候写的代码（很傻，很天真）

2. 当时平台做 2B 也接对内的数据标注需求。平台有很多的标注用户 领任务，标注，交付，获得报酬

3. 我们为了激发用户的标注热情，运营决定推出评级机制，1-6星；星级越高报酬越高

4. 做对一个题目（标注）加分，做错一个题目减分

5. 资本家的目的让大部分标注用户在 3星 左右，所以不同的星级做对和做错的奖惩是不一样的

6. 让我设计一个最合理的每个星级做错和做对的奖惩分数的机制，保证大部分用在3分，整体在 3分左右

• 数据

1000 名用户的历史标注的准确率

• 解决方案

1. 我认为整体的用户分布是以 3分为均值的正态分布，方差 1 分左右 gt_distribution

2. 按照 1000 名历史标注的准确率随机模拟每一次标注的正确与否（蒙特卡洛随机模拟）得到最终的得分的分布 pred_distribution

3. 利用 KL 散度计算 gt_distribution 与 pred_distribution 让他们更接近

4. 使用 PSO 对最优解 12 个值进行搜索 （12 个值指的是每个星级的（做对）加分和（做错）减分的幅度）