CCL2021
News （最新消息）
CCL-2021依存句法分析领域移植评测
- CCL-2021评测页面
- 我们的参赛邀请函pdf
汉语开放依存句法树库（CODT）标注情况介绍
数据使用协议
评测数据下载
结果提交（2021.mm.dd deadline）
评测结果
- 每个subTask的Average_LAS 为对应subtask下3个领域数据LAS的平均值,Average_LAS = (PC_LAS+PB_LAS+ZX_Las)/3
- 我们根据Average_LAS 排名，每个subtask的第一名已用红色 标出
- 所有参加本次评测的单位都可以撰写“系统报告”文章，结果好的单位“系统报告”文章可以直接按照nlpcc投稿格式撰写，其他的单位也请务必简单的撰写一份report，描述您参加比赛时，使用方法的详细介绍。请大家尽快写完并以PDF格式发到彭雪邮箱（654905417@qq.com）。
- 所有的参赛单位不论是否写评测论文，都需要提交一份简要的报告,介绍清楚评测中使用的方法。一方面我们需要确保您使用的方法符合我们的任务要求，另一方面我们提交overview文章时需要使用。请大家在6月20日前以PDF形式提交到彭雪邮箱
| subtask1-un-closed | subtask2-semi-closed | subtask3-un-open | subtask4-semi-open | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| PC(UAS/LAS) | PB(UAS/LAS) | ZX(UAS/LAS) | Average_LAS | PC(UAS/LAS) | PB(UAS/LAS) | ZX(UAS/LAS) | Average_LAS | PC(UAS/LAS) | PB(UAS/LAS) | ZX(UAS/LAS) | Average_LAS | PC(UAS/LAS) | PB(UAS/LAS) | ZX(UAS/LAS) | Average_LAS | |
| SJ_superLZ | 35.6296/21.3299 | 62.5491/54.3544 | 50.0359/38.3082 | 37.9975 | 69.8770/59.4298 | 77.5249/71.3260 | 77.8376/71.5517 | 67.4358 | 72.0100/63.8807 | 80.2464/75.7409 | 82.1659/77.4425 | 72.3547 | 72.4018/64.3704 | 80.7907/76.1340 | 83.1537/78.6099 | 73.0381 |
| SJ_superLZ(更新subtask3、4) | - | - | - | - | - | - | - | - | 60.50/49.49 | 81.61/76.77 | 79.74/74.32 | 66.86 | 75.25/67.77 | 85.53/81.51 | 86.14/81.65 | 76.98 |
| PRIS_DP | 39.8193 /26.2705 | 67.3118 /60.4097 | 69.5582 /61.5122 | 49.3975 | 69.3003/60.3548 | 77.3738/72.1046 | 74.3534/68.2830 | 66.9141 | 39.8193/26.2705 | 67.3118 /60.4097 | 69.5582/61.5122 | 49.3975 | 69.3003/60.3548 | 77.3738/72.1046 | 74.3534/68.2830 | 66.9141 |
| SyntaxError | 49.8204/36.8593 | 71.4772/65.4294 | 73.9045/66.5409 | 56.2765 | 72.1841/64.1201 | 82.5748/77.8273 | 80.5316/75.8441 | 72.5972 | ||||||||
| AntNLP | 43.6391/30.4712 | 70.5020/63.8343 | 72.8807/65.0682 | 53.1246 | 72.2277/63.9569 | 81.9398/77.2679 | 79.8851/74.8024 | 72.0091 | ||||||||
| 14yhl9days | 26.7167/10.9152 | 41.4953/27.3813 | 40.4454/26.4368 | 21.5778 | 47.3827/26.2597 | 47.2558/32.8772 | 45.4023/32.0043 | 30.3804 | ||||||||
| BLCU_Parser | 70.8891/61.7151 | 79.3015/74.2516 | 77.8376 /72.5754 | 69.5140 | ||||||||||||
| Nanjing Normal University | 70.9653/61.8239 | 80.5866/75.8542 | 79.3283/74.3534 | 70.6772 | ||||||||||||
评价脚本下载
- 评价脚本下载
- 执行命令：python3 evaluate.py gold.conll sys.conll
- 数据集需要为CoNLL格式，与我们提供的数据集格式相同。