多标签文本分类

数据集

数据来源：2020语言与智能技术竞赛：事件抽取任务

模型训练

• 模型结构：采用ALBERT对文本进行特征提取，最大文本长度为200，采用的深度学习模型如下：

• 模型训练效果如下图：

模型评估

本项目采用hamming loss对多标签分类进行评估，结果如下：

              precision    recall  f1-score   support

           0     1.0000    0.9167    0.9565        12
           1     1.0000    0.1250    0.2222         8
           2     1.0000    0.4000    0.5714        10
           3     1.0000    0.6364    0.7778        11
           4     0.9375    0.7895    0.8571        19
           5     0.9355    0.8286    0.8788        35
           6     1.0000    0.8750    0.9333        24
           7     0.9211    0.9333    0.9272       150
           8     1.0000    1.0000    1.0000        36
           9     0.9286    0.8125    0.8667        16
          10     0.5000    0.0667    0.1176        15
          11     1.0000    0.2500    0.4000         4
          12     0.9286    0.8667    0.8966        15
          13     1.0000    0.5000    0.6667        14
          14     0.8333    0.8333    0.8333         6
          15     1.0000    0.8750    0.9333        16
          16     1.0000    0.2500    0.4000         8
          17     0.8936    0.7925    0.8400       106
          18     1.0000    1.0000    1.0000         9
          19     0.9697    0.9697    0.9697        33
          20     0.9697    0.7442    0.8421        43
          21     1.0000    0.8889    0.9412         9
          22     1.0000    1.0000    1.0000        12
          23     0.8667    0.7222    0.7879        18
          24     0.9091    0.7143    0.8000        14
          25     0.9877    0.9091    0.9467        88
          26     1.0000    0.7778    0.8750         9
          27     0.9688    0.9688    0.9688        32
          28     0.9630    0.8966    0.9286        29
          29     0.8571    0.8571    0.8571        21
          30     1.0000    1.0000    1.0000        14
          31     1.0000    0.7000    0.8235        10
          32     1.0000    0.7692    0.8696        13
          33     0.0000    0.0000    0.0000         7
          34     1.0000    0.5556    0.7143         9
          35     1.0000    0.7500    0.8571        16
          36     0.9048    0.7037    0.7917        27
          37     0.9310    0.7714    0.8438        35
          38     0.8545    0.8393    0.8468        56
          39     0.9000    0.8182    0.8571        33
          40     0.9286    0.8125    0.8667        16
          41     0.9665    0.9484    0.9573       213
          42     1.0000    0.9091    0.9524        11
          43     0.7000    0.7778    0.7368        18
          44     1.0000    1.0000    1.0000        11
          45     1.0000    0.7317    0.8451        41
          46     0.9412    0.8421    0.8889        19
          47     0.9091    1.0000    0.9524        10
          48     0.5000    0.2000    0.2857         5
          49     1.0000    0.2308    0.3750        13
          50     0.9333    0.9859    0.9589        71
          51     0.8500    0.7727    0.8095        22
          52     0.9688    0.9688    0.9688        32
          53     1.0000    0.7778    0.8750         9
          54     1.0000    0.7500    0.8571         8
          55     1.0000    0.8889    0.9412         9
          56     0.0000    0.0000    0.0000         7
          57     0.8571    0.5000    0.6316        24
          58     0.0000    0.0000    0.0000         3
          59     1.0000    0.4000    0.5714         5
          60     1.0000    0.9259    0.9615        27
          61     1.0000    1.0000    1.0000        14
          62     1.0000    0.8571    0.9231        14
          63     0.8750    0.7778    0.8235         9
          64     1.0000    0.7500    0.8571         4

   micro avg     0.9424    0.8292    0.8822      1657
   macro avg     0.8983    0.7218    0.7791      1657
weighted avg     0.9308    0.8292    0.8669      1657
 samples avg     0.8675    0.8496    0.8517      1657
accuracy:  0.7983978638184246
hamming loss:  0.0037691280681934887

模型预测

在新数据上进行预测，结果如下：

预测语句: 北京时间6月7日，中国男足在广州天河体育场与菲律宾进行了一场热身赛，最终国足以2-0击败了对手，里皮也赢得了再度执教国足后的首场比赛胜利！ 预测事件类型: 竞赛行为-胜负

预测语句: 巴西亚马孙雨林大火持续多日，引发全球关注。 预测事件类型: 灾害/意外-起火

预测语句: 19里加大师赛资格赛前两天战报 中国选手8人晋级6人遭淘汰2人弃赛 预测事件类型: 竞赛行为-晋级

预测语句: 日本电车卡车相撞，车头部分脱轨并倾斜，现场起火浓烟滚滚 预测事件类型: 灾害/意外-车祸

预测语句: 截止到11日13：30 ，因台风致浙江32人死亡，16人失联。具体如下：永嘉县岩坦镇山早村23死9失联，乐清6死，临安区岛石镇银坑村3死4失联，临海市东塍镇王加山村3失联。 预测事件类型: 人生-失联|人生-死亡

预测语句: 定位B端应用，BeBop发布Quest专属版柔性VR手套 预测事件类型: 产品行为-发布

预测语句: 8月17日。凌晨3点20分左右，济南消防支队领秀城中队接到指挥中心调度命令，济南市中区中海环宇城往南方向发生车祸，有人员被困。 预测事件类型: 灾害/意外-车祸

预测语句: 注意！济南可能有雷电事故｜英才学院14.9亿被收购｜八里桥蔬菜市场今日拆除，未来将建新的商业综合体 预测事件类型: 财经/交易-出售/收购

预测语句: 昨天18：30，陕西宁强县胡家坝镇向家沟村三组发生山体坍塌，5人被埋。当晚，3人被救出，其中1人在医院抢救无效死亡，2人在送医途中死亡。今天凌晨，另外2人被发现，已无生命迹象。 预测事件类型: 人生-死亡|灾害/意外-坍/垮塌