“CCL2021”的版本间的差异

来自SUDA-HLT
跳到导航 跳到搜索
第57行： 第57行：
  
 
== <font color="#FF0000">评测结果</font>  ==
 
== <font color="#FF0000">评测结果</font>  ==
−
 
−
<!--
 
−
*每个subTask的Average_LAS 为对应subtask下3个领域数据LAS的平均值,Average_LAS  = (PC_LAS+PB_LAS+ZX_Las)/3
 
−
*我们根据Average_LAS 排名，每个subtask的第一名已用<font color="#FF0000">红色</font> 标出
 
−
*所有参加本次评测的单位都可以撰写“系统报告”文章，结果好的单位“系统报告”文章可以直接按照nlpcc投稿格式撰写，其他的单位也请务必简单的撰写一份report，描述您参加比赛时，使用方法的详细介绍。请大家尽快写完并以PDF格式发到彭雪邮箱（654905417@qq.com）。
 
−
 
−
*<font color="#FF0000">所有的参赛单位不论是否写评测论文，都需要提交一份简要的报告,介绍清楚评测中使用的方法。</font>一方面我们需要确保您使用的方法符合我们的任务要求，另一方面我们提交overview文章时需要使用。<font color="#FF0000">请大家在6月20日前以PDF形式提交到彭雪邮箱</font>
 
−
 
−
{| class="wikitable" style="text-align: center;"
 
−
|-
 
−
!
 
−
! colspan="4" | subtask1-un-closed|| colspan="4" | subtask2-semi-closed || colspan="4" | subtask3-un-open || colspan="4" | subtask4-semi-open
 
−
|-
 
−
!
 
−
!  PC(UAS/LAS) ||PB(UAS/LAS) || ZX(UAS/LAS)  || <font color="#FF0000">Average_LAS </font>||  PC(UAS/LAS) ||PB(UAS/LAS) || ZX(UAS/LAS) ||<font color="#FF0000">Average_LAS </font>|| PC(UAS/LAS) ||PB(UAS/LAS) || ZX(UAS/LAS) || <font color="#FF0000">Average_LAS </font>|| PC(UAS/LAS) ||PB(UAS/LAS) || ZX(UAS/LAS) ||<font color="#FF0000">Average_LAS </font>
 
−
|-
 
−
| SJ_superLZ ||35.6296/21.3299 ||62.5491/54.3544||50.0359/38.3082||37.9975 ||69.8770/59.4298||77.5249/71.3260||77.8376/71.5517||67.4358||72.0100/63.8807||80.2464/75.7409||82.1659/77.4425||72.3547||72.4018/64.3704||80.7907/76.1340||83.1537/78.6099||73.0381
 
−
|-
 
−
| SJ_superLZ(更新subtask3、4) || - || - || - || - || - || - || - || - || 60.50/49.49 ||81.61/76.77||79.74/74.32||<font color="#FF0000">66.86</font>||75.25/67.77||85.53/81.51||86.14/81.65||<font color="#FF0000">76.98</font>
 
−
|-
 
−
| PRIS_DP ||39.8193 /26.2705 ||67.3118 /60.4097 ||69.5582 /61.5122 ||49.3975 ||69.3003/60.3548 ||77.3738/72.1046 ||74.3534/68.2830 ||66.9141 ||39.8193/26.2705 || 67.3118 /60.4097 ||69.5582/61.5122 ||49.3975 ||69.3003/60.3548 ||77.3738/72.1046 ||74.3534/68.2830 ||66.9141
 
−
|-
 
−
|SyntaxError ||49.8204/36.8593||71.4772/65.4294 ||73.9045/66.5409 ||<font color="#FF0000">56.2765</font>||72.1841/64.1201||82.5748/77.8273||80.5316/75.8441||<font color="#FF0000">72.5972</font>|| || || || || || || ||
 
−
|-
 
−
| AntNLP ||43.6391/30.4712 ||70.5020/63.8343 ||72.8807/65.0682 ||53.1246 ||72.2277/63.9569 ||81.9398/77.2679 ||79.8851/74.8024 ||72.0091|| || || || || || || ||
 
−
|-
 
−
| 14yhl9days ||26.7167/10.9152 ||41.4953/27.3813 ||40.4454/26.4368 || 21.5778 ||47.3827/26.2597 ||47.2558/32.8772 ||45.4023/32.0043 ||30.3804|| || || || || || || ||
 
−
|-
 
−
| BLCU_Parser || || || || ||70.8891/61.7151 ||79.3015/74.2516 ||77.8376 /72.5754||69.5140|| || || || || || || ||
 
−
|-
 
−
| Nanjing Normal University || || || || || || || || || || || || ||70.9653/61.8239 ||80.5866/75.8542||79.3283/74.3534||70.6772
 
−
|-
 
−
|}
 
−
 
−
-->
 
  
 
== 评价脚本下载 ==
 
== 评价脚本下载 ==

2021年3月9日 (二) 09:45的版本

News （最新消息）

CCL-2021依存句法分析领域移植评测

  • CCL-2021评测页面
  • 我们的参赛邀请函pdf

汉语开放依存句法树库（CODT）标注情况介绍

数据使用协议

评测数据下载

结果提交（2021.mm.dd deadline）

评测结果

评价脚本下载

  • 评价脚本下载
    • 执行命令：python3 evaluate.py gold.conll sys.conll
    • 数据集需要为CoNLL格式，与我们提供的数据集格式相同。
取自“http://hlt.suda.edu.cn/index.php?title=CCL2021&oldid=3651”