招银竞赛题目三:短文本分析排名第一方案 A榜 66.9分 B榜 82.3分
A榜B榜的阈值相差较大,a榜的高分参数在b榜数据上只有70分左右。
主要思路:提取文本特征 + 聚类
- 比赛有第三方库和时间的限制,不考虑词向量,选择基础的tfidf特征。
- 由于词表与段落数较少,对idf部分进行改进:在去停用词的基础上,能够同时出现在两个段落中的词更能够体现两个段落的相似性,因此放弃idf而是使用了df值的平方根作为权重。
- 对于出现在段落靠前位置的词进行了权重增强:对于每一段位于前15%的单词,乘上一个固定的权重5(参数通过调参确定,这个方案简单粗暴但是比较有效)。
- 对于类似'cmb'的缩写进行了补全
- 实现了使用余弦相似度的层次聚类,尽可能的规避较多的参数(kmeans需要提前设置k,dbscan有2个超参)
- 尝试使用轮廓系数与ch分数来动态调整阈值,但是效果并不好,没有应用。
- 可以考虑使用投票的方法来动态调整参数。
最终层次聚类阈值设置 a榜 0.17左右, b榜0.04左右