Nlpcc-2019-shared-task

来自SUDA-HLT
跳转至: 导航搜索

News (最新消息)

  • 2019.6.24:发布最新测试数据(有答案)
  • 2019.5.15:发布最新测试数据(无答案)
  • 2019.5.20:提交结果deadline

NLPCC-2019依存句法分析领域移植评测

汉语开放依存句法树库(CODT)标注情况介绍

数据使用协议

  • 标注数据使用协议下载(团队负责人签字,如果是公司,必须是公司法人签字)
  • 无标注数据使用协议下载 (机构、学院、学校或公司盖章)
  • 请仔细阅读两个协议,并根据要求签署两个协议,然后统一发邮件给彭雪同学
  • 请用机构的官方邮箱发送协议
    • 由于版权保护问题,我们只面向机构、单位等团体开放数据;对于公司,我们仅面向从事句法分析研究的公司开放数据,签署协议前请先咨询我们是否有可能共享数据;解释权归我们课题组。
    • 如果您不需要无标注数据,那么只需要签署标注数据使用协议。
  • 您还需要将NLPCC评测报名表发送给NLPCC评测组织方,也请同时发给彭雪同学。

评测数据下载

结果提交(2019.5.25 deadline)

  • 请在2019年5月25日23:59之前提交您的最终结果,您在提交时请注意以下几点
    • 测试结果文件请参考 Dev 数据及 Readme,确保每个文件严格采用 CoNLL 格式;
    • 测试结果文件中除了包含原有的信息外,还需要在对应列给出您预测出的对应词的核心词head及其依存关系标签label;
    • 提交结果时,请将所有测试结果文件打包成一个压缩文件后(zip/tar.gz)发送给彭雪同学(xpeng1117@qq.com),压缩文件的名字为 “队伍名.tar.gz”或“队伍名.zip”,队伍名为英文;
    • 压缩文件内请严格按照如下目录/文件命名和组织形式(没有参加的子任务忽略即可),方便我们后续处理:
      • subtask1-un-closed/PC-Test.out.conll
      • subtask1-un-closed/PB-Test.out.conll
      • subtask1-un-closed/ZX-Test.out.conll
      • subtask2-semi-closed/PC-Test.out.conll
      • ...
      • subtask3-un-open/PC-Test.out.conll
      • ...
      • subtask4-semi-open/PC-Test.out.conll
      • ...
    • 对于任何一个子任务,所有参赛队伍必须提交PC、PB、ZX 3 个目标领域的测试结果。


评测结果

  • 每个subTask的Average_LAS 为对应subtask下3个领域数据LAS的平均值,Average_LAS = (PC_LAS+PB_LAS+ZX_Las)/3
  • 我们根据Average_LAS 排名,每个subtask的第一名已用红色 标出
  • 所有参加本次评测的单位都可以撰写“系统报告”文章,结果好的单位“系统报告”文章可以直接按照nlpcc投稿格式撰写,其他的单位也请务必简单的撰写一份report,描述您参加比赛时,使用方法的详细介绍。请大家尽快写完并以PDF格式发到彭雪邮箱(654905417@qq.com)。
  • 所有的参赛单位不论是否写评测论文,都需要提交一份简要的报告,介绍清楚评测中使用的方法。一方面我们需要确保您使用的方法符合我们的任务要求,另一方面我们提交overview文章时需要使用。请大家在6月20日前以PDF形式提交到彭雪邮箱
subtask1-un-closed subtask2-semi-closed subtask3-un-open subtask4-semi-open
PC(UAS/LAS) PB(UAS/LAS) ZX(UAS/LAS) Average_LAS PC(UAS/LAS) PB(UAS/LAS) ZX(UAS/LAS) Average_LAS PC(UAS/LAS) PB(UAS/LAS) ZX(UAS/LAS) Average_LAS PC(UAS/LAS) PB(UAS/LAS) ZX(UAS/LAS) Average_LAS
SJ_superLZ 35.6296/21.3299 62.5491/54.3544 50.0359/38.3082 37.9975 69.8770/59.4298 77.5249/71.3260 77.8376/71.5517 67.4358 72.0100/63.8807 80.2464/75.7409 82.1659/77.4425 72.3547 72.4018/64.3704 80.7907/76.1340 83.1537/78.6099 73.0381
SJ_superLZ(更新subtask3、4) - - - - - - - - 60.50/49.49 81.61/76.77 79.74/74.32 66.86 75.25/67.77 85.53/81.51 86.14/81.65 76.98
PRIS_DP 39.8193 /26.2705 67.3118 /60.4097 69.5582 /61.5122 49.3975 69.3003/60.3548 77.3738/72.1046 74.3534/68.2830 66.9141 39.8193/26.2705 67.3118 /60.4097 69.5582/61.5122 49.3975 69.3003/60.3548 77.3738/72.1046 74.3534/68.2830 66.9141
SyntaxError 49.8204/36.8593 71.4772/65.4294 73.9045/66.5409 56.2765 72.1841/64.1201 82.5748/77.8273 80.5316/75.8441 72.5972
AntNLP 43.6391/30.4712 70.5020/63.8343 72.8807/65.0682 53.1246 72.2277/63.9569 81.9398/77.2679 79.8851/74.8024 72.0091
14yhl9days 26.7167/10.9152 41.4953/27.3813 40.4454/26.4368 21.5778 47.3827/26.2597 47.2558/32.8772 45.4023/32.0043 30.3804
BLCU_Parser 70.8891/61.7151 79.3015/74.2516 77.8376 /72.5754 69.5140
Nanjing Normal University 70.9653/61.8239 80.5866/75.8542 79.3283/74.3534 70.6772

评价脚本下载

  • 评价脚本下载
    • 执行命令:python3 evaluate.py gold.conll sys.conll
    • 数据集需要为CoNLL格式,与我们提供的数据集格式相同。