“Nlpcc-2019-shared-task”的版本间的差异
跳到导航
跳到搜索
（→评测结果） |
（→评测结果） |
||
| 第75行： | 第75行： | ||
| SJ_superLZ || | | SJ_superLZ || | ||
|- | |- | ||
| − | |SyntaxError ||49.8204/36.8593||71.4772/65.4294 ||73.9045/66.5409 ||56.2765||72.1841/64.1201||82.5748/77.8273||80.5316/75.8441||72.5972 | + | |SyntaxError ||49.8204/36.8593||71.4772/65.4294 ||73.9045/66.5409 ||56.2765||72.1841/64.1201||82.5748/77.8273||80.5316/75.8441||72.5972|| || || || || || || || |
|} | |} | ||
2019年5月30日 (四) 10:12的版本
News （最新消息）
- 2019.5.15：发布最新测试数据（无答案）
- 2019.5.20：提交结果deadline
NLPCC-2019依存句法分析领域移植评测
苏州大学汉语依存树库（SUCDT）标注情况介绍
数据使用协议
- 标注数据使用协议下载（团队负责人签字，如果是公司，必须是公司法人签字）
- 无标注数据使用协议下载 (机构、学院、学校或公司盖章）
- 请仔细阅读两个协议，并根据要求签署两个协议，然后统一发邮件给彭雪同学
- 请用机构的官方邮箱发送协议
- 由于版权保护问题，我们只面向机构、单位等团体开放数据；对于公司，我们仅面向从事句法分析研究的公司开放数据，签署协议前请先咨询我们是否有可能共享数据；解释权归我们课题组。
- 如果您不需要无标注数据，那么只需要签署标注数据使用协议。
- 您还需要将NLPCC评测报名表发送给NLPCC评测组织方，也请同时发给彭雪同学。
评测数据下载
- 数据说明Readme
- 训练集/开发集/无标注数据
- 训练集开发集数据 下载
- 无标注数据 下载
- 解压密码，我们收到数据使用协议后回复邮件告知
- 测试集数据
- 无答案测试集数据 下载
- 无答案测试集密码与“训练集开发集数据”解压密码相同
- 预训练词向量下载：我们分别提供了50维、100维、300维的预训练词向量：
结果提交（2019.5.25 deadline）
- 请在2019年5月25日23：59之前提交您的最终结果，您在提交时请注意以下几点
- 测试结果文件请参考 Dev 数据及 Readme，确保每个文件严格采用 CoNLL 格式；
- 测试结果文件中除了包含原有的信息外，还需要在对应列给出您预测出的对应词的核心词head及其依存关系标签label；
- 提交结果时，请将所有测试结果文件打包成一个压缩文件后（zip/tar.gz）发送给彭雪同学（xpeng1117@qq.com），压缩文件的名字为 “队伍名.tar.gz”或“队伍名.zip”，队伍名为英文；
- 压缩文件内请严格按照如下目录/文件命名和组织形式（没有参加的子任务忽略即可），方便我们后续处理：
- subtask1-un-closed/PC-Test.out.conll
- subtask1-un-closed/PB-Test.out.conll
- subtask1-un-closed/ZX-Test.out.conll
- subtask2-semi-closed/PC-Test.out.conll
- ...
- subtask3-un-open/PC-Test.out.conll
- ...
- subtask4-semi-open/PC-Test.out.conll
- ...
- 对于任何一个子任务，所有参赛队伍必须提交PC、PB、ZX 3 个目标领域的测试结果。
评测结果
| subtask1-un-closed | subtask2-semi-closed | subtask3-un-open | subtask4-semi-open | |||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| PC(UAS/LAS) | PB(UAS/LAS) | ZX(UAS/LAS) | Average_las | PC(UAS/LAS) | PB(UAS/LAS) | ZX(UAS/LAS) | Average_las | PC(UAS/LAS) | PB(UAS/LAS) | ZX(UAS/LAS) | Average_las | PC(UAS/LAS) | PB(UAS/LAS) | ZX(UAS/LAS) | Average_las | |||||
| 14yhl9days | 26.7167/10.9152 | 41.4953/27.3813 | 40.4454/26.4368 | 21.5778 | 47.3827/26.2597 | 47.2558/32.8772 | 45.4023/32.0043 | 30.3804 | ||||||||||||
| AntNLP | 43.6391/30.4712 | 70.5020/63.8343 | 72.8807/65.0682 | 53.1246 | 72.2277/63.9569 | 81.9398/77.2679 | 79.8851/74.8024 | 72.0091 | ||||||||||||
| BLCU_Parser | 70.8891/61.7151 | 79.3015/74.2516 | 77.8376 | 72.5754 | 69.5140 | |||||||||||||||
| Nanjing Normal University | ||||||||||||||||||||
| PRIS_DP | 39.8193 | 26.2705 | 67.3118 | 60.4097 | 69.5582 | 61.5122 | 49.3975 | 69.3002/60.3548 | 77.3738/72.1046 | 74.3534/68.2830 | 66.9141 | 39.8193/26.2705 | 67.3118 | 60.4097 | 69.5581/61.5122 | 49.3975 | 69.3002/60.3548 | 77.3738/72.1046 | 74.3534/68.2830 | 66.9141 |
| SJ_superLZ | ||||||||||||||||||||
| SyntaxError | 49.8204/36.8593 | 71.4772/65.4294 | 73.9045/66.5409 | 56.2765 | 72.1841/64.1201 | 82.5748/77.8273 | 80.5316/75.8441 | 72.5972 | ||||||||||||
评价脚本下载
- 评价脚本下载
- 执行命令：python3 evaluate.py gold.conll sys.conll
- 数据集需要为CoNLL格式，与我们提供的数据集格式相同。