近年来，深度学习和自然语言处理技术在以SQuAD为代表的机器阅读理解比赛中取得了巨大突破，同时也开始在智慧司法领域崭露头角，受到了学术界和产业界的广泛关注。为了促进智慧司法相关技术的发展，同时将阅读理解技术实际应用到产业界，我们提出了中文法律阅读理解比赛。旨在通过阅读理解技术，辅助法官、律师以及普通大众更方便的获取所需信息。
本届中文法律阅读理解比赛由中国中文信息学会社会媒体处理专委会（CIPS-SMP）、中国司法大数据研究院主办，科大讯飞股份有限公司、哈尔滨工业大学联合承办，科大讯飞股份有限公司提供奖金。
欢迎对阅读理解和智慧司法感兴趣的个人和团体积极报名参赛！
裁判文书中包含了丰富的案件信息，比如时间、地点、人物关系等等，通过机器智能化地阅读理解裁判文书，可以更快速、便捷地辅助法官、律师以及普通大众获取所需信息。本次比赛是首次基于中文裁判文书的阅读理解比赛，属于篇章片段抽取型阅读理解比赛（Span-Extraction Machine Reading Comprehension）。为了增加问题的多样性，参考英文阅读理解比赛SQuAD和CoQA，本比赛增加了拒答以及是否类（YES/NO）问题（样例见下图）。鉴于民事和刑事裁判文书在事实描述部分差异性较大，相应的问题类型也不尽相同，为了能同时兼顾这两种裁判文书，从而覆盖大多数裁判文书，本次比赛会设置民事和刑事两类测试集。
比赛行程划分为两个阶段，第一阶段根据开发集的测试结果排名，第二阶段根据测试集的测试结果排名。比赛最终成绩计算方式：最终成绩 = 第一阶段的成绩 * 0.3 + 第二阶段的成绩 * 0.7
本次比赛采用与CoQA比赛一致的宏平均（macro-average F1）进行评估。 对于每个问题，需要与N个标准回答计算得到N个F1，并取最大值作为其F1值。然而在评估人类表现（Human Performance）的时候，每个标准回答需要与N-1个其它标准回答计算F1值。为了更公平地对比指标，需要把N个标准回答按照N-1一组的方式分成N组，最终每个问题的F1值为这N组F1的平均值。整个数据集的F1值为所有数据F1的平均值。计算公式如下：
其中，InterSec计算预测回答与标准回答的交集（以字为单位），Countref表示标准回答数目（3个），max部分取预测回答与每个标准回答（除当前标准回答外，目的是与评估人类水平的方法一致）F1值的最大值。最终得分为刑事和民事测试集宏平均F1值的平均值。
本次技术评测使用的数据集由科大讯飞提供，数据主要来源于裁判文书网，其中包含刑事和民事一审裁判文书。训练集约包含4万个问题，开发集和测试集各约5000个问题。对于开发集和测试集，每个问题包含3个人工标注参考答案。开发集和测试集又均包含民事和刑事两部分数据。
注册报名：将于4月30日开启报名，报名网站 http://cail.cipsc.org.cn/， 敬请关注！
报名 2019年4月30日-2019年6月30日
训练数据发布 2019年5月15日
比赛第一阶段 2019年5月16日-2019年7月15日
比赛第二阶段 2019年7月16日-2019年7月25日
评测结束 2019年7月26日
撰写技术报告 2019年7月27日-2019年8月13日
SMP2019大会期间召开研讨会 2019年8月16日-2019年8月18日
一等奖1名：20000元
二等奖2名：10000元
三等奖4名：5000元
许建峰 最高人民法院信息中心主任
王珩 中国司法大数据研究院总经理
刘挺 哈尔滨工业大学教授、哈工大人工智能研究院副院长
林鸿飞 大连理工大学教授、大连理工信息检索研究室主任
王士进 河北省讯飞人工智能研究院院长、科大讯飞研究院副院长
刘知远 清华大学计算机系副教授
伍大勇 科大讯飞研究院副院长
胡振 中国司法大数据研究院
刘铭 哈尔滨工业大学
崔一鸣 科大讯飞
王宝鑫 科大讯飞
霍天翔 中国司法大数据研究院
段兴义 科大讯飞
王梓玥 科大讯飞
马文涛 科大讯飞
如有任何与本次技术评测相关的疑问，请随时联系评测委员会。
邮箱：rdg_cail2019_rc@iflytek.com
主办方：中国中文信息学会社会媒体处理专业委员会（CIPS-SMP）、中国司法大数据研究院
承办方：科大讯飞股份有限公司（iFLYTEK）、哈尔滨工业大学社会计算与信息检索研究中心（哈工大SCIR）
赞助方：科大讯飞股份有限公司
由哈工大讯飞联合实验室出品的“法小飞”智能法律咨询助手应用了对话型阅读理解技术，在为用户提供精准答案的同时提升了用户的对话交互体验。“法小飞”是一个服务公众和律师的法律咨询助手，旨在利用自然语言处理技术和法律专业知识，为用户提供快速优质的法律咨询及相关服务。“法小飞”通过学习大量的法律知识，对当事人提出的法律问题进行自动解答，并且能够针对刑事和民事案件进行深入的案情分析，拥有类案推送、法条推荐、判决预测和律师推荐的功能。
