“CCL2021”的版本间的差异

来自SUDA-HLT
跳到导航 跳到搜索
第62行： 第62行：
 
** 执行命令：python3 evaluate.py gold.conll sys.conll
 
** 执行命令：python3 evaluate.py gold.conll sys.conll
 
** 数据集需要为CoNLL格式，与我们提供的数据集格式相同。
 
** 数据集需要为CoNLL格式，与我们提供的数据集格式相同。
 +
 +
<!--
 +
== <font color="#FF0000">News </font> <font style="background-color:yellow">（最新消息）</font> ==
 +
 +
== CCL-2021依存句法分析领域移植评测 ==
 +
* [http://cips-cl.org/static/CCL2021/cclEval/tasks/index.html CCL-2021评测页面]
 +
* [http://hlt.suda.edu.cn/images/a/a9/%E4%BE%9D%E5%AD%98%E5%8F%A5%E6%B3%95%E9%A2%86%E5%9F%9F%E7%A7%BB%E6%A4%8D%E8%AF%84%E6%B5%8Bccl2021-cfp-v2.0.pdf 我们的参赛邀请函pdf]
 +
 +
== 汉语开放依存句法树库（CODT）标注情况介绍 ==
 +
* [http://hlt.suda.edu.cn/index.php/CODT 网址]
 +
 +
==数据使用协议==
 +
<!--
 +
* [http://hlt.suda.edu.cn/~zhli/codt/codt-sharing-agreement.pdf 标注数据使用协议下载]（团队负责人签字，如果是公司，必须是公司法人签字）
 +
* [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/alibaba-unlabeled-data-share-2019.4.4.doc 无标注数据使用协议下载] (机构、学院、学校或公司盖章）
 +
* <font style="background-color:yellow">请仔细阅读两个协议，并根据要求签署两个协议，然后统一发邮件给周明月同学</font>
 +
* <font style="background-color:yellow">请用机构的官方邮箱发送协议</font>
 +
** <font color="#FF0000">由于版权保护问题，我们只面向机构、单位等团体开放数据；对于公司，我们仅面向从事句法分析研究的公司开放数据，签署协议前请先咨询我们是否有可能共享数据；解释权归我们课题组。</font>
 +
** <font color="#FF0000">如果您不需要无标注数据，那么只需要签署标注数据使用协议。</font>
 +
* <font style="background-color:yellow">您还需要将[http://tcci.ccf.org.cn/conference/2019/dldoc/SharedTaskRegistrationForm.docx NLPCC评测报名表]发送给NLPCC评测组织方，也请同时发给周明月同学。</font>
 +
-->
 +
 +
== 评测数据下载 ==
 +
 +
<!--
 +
* [http://hlt.suda.edu.cn/index.php/Nlpcc-2019-shared-task-Readme 数据说明Readme]
 +
* 训练集/开发集/无标注数据
 +
** [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/train_dev_2019.4.8.zip 训练集开发集数据 下载]
 +
** [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/unlabeled_2019.4.8.zip 无标注数据 下载]
 +
** 解压密码，我们收到数据使用协议后回复邮件告知
 +
* <font color="#FF0000">测试集数据 </font>
 +
** [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/test_2019.5.15.zip 无答案测试集数据 下载]
 +
*** 无答案测试集密码与“训练集开发集数据”解压密码相同
 +
** [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/test_answer_2019.6.24.zip 有答案测试集数据 下载]
 +
* 预训练词向量下载：我们分别提供了50维、100维、300维的预训练词向量：
 +
** [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/word_embedding50.zip 50维下载]
 +
** [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/word_embedding100.zip 100维下载]
 +
** [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/word_embedding300.zip 300维下载]
 +
-->
 +
 +
== <font color="#FF0000">结果提交（2021.mm.dd deadline）</font>  ==
 +
<!--
 +
*请在2019年5月25日23：59之前提交您的最终结果，您在提交时请注意以下几点
 +
** 测试结果文件请参考 Dev 数据及 Readme，确保每个文件严格采用 CoNLL 格式；
 +
** 测试结果文件中除了包含原有的信息外，还需要在对应列给出您预测出的对应词的核心词head及其依存关系标签label；
 +
** 提交结果时，请将所有测试结果文件打包成一个压缩文件后（zip/tar.gz）发送给彭雪同学（xpeng1117@qq.com），压缩文件的名字为 “队伍名.tar.gz”或“队伍名.zip”，队伍名为英文；
 +
** 压缩文件内请严格按照如下目录/文件命名和组织形式（没有参加的子任务忽略即可），方便我们后续处理：
 +
*** subtask1-un-closed/PC-Test.out.conll
 +
*** subtask1-un-closed/PB-Test.out.conll
 +
*** subtask1-un-closed/ZX-Test.out.conll
 +
*** subtask2-semi-closed/PC-Test.out.conll
 +
*** ...
 +
*** subtask3-un-open/PC-Test.out.conll
 +
*** ...
 +
*** subtask4-semi-open/PC-Test.out.conll
 +
*** ...
 +
** 对于任何一个子任务，所有参赛队伍必须提交PC、PB、ZX 3 个目标领域的测试结果。
 +
-->
 +
 +
== <font color="#FF0000">评测结果</font>  ==
 +
 +
== 评价脚本下载 ==
 +
* [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/evaluate.py 评价脚本下载]
 +
** 执行命令：python3 evaluate.py gold.conll sys.conll
 +
** 数据集需要为CoNLL格式，与我们提供的数据集格式相同。
 +
-->

2021年3月20日 (六) 07:40的版本

News （最新消息）

CCL-2021依存句法分析领域移植评测

汉语开放依存句法树库（CODT）标注情况介绍

数据使用协议

评测数据下载

结果提交（2021.mm.dd deadline）

评测结果

评价脚本下载

  • 评价脚本下载
    • 执行命令：python3 evaluate.py gold.conll sys.conll
    • 数据集需要为CoNLL格式，与我们提供的数据集格式相同。


评测数据下载

结果提交（2021.mm.dd deadline）

评测结果

评价脚本下载

  • 评价脚本下载
    • 执行命令：python3 evaluate.py gold.conll sys.conll
    • 数据集需要为CoNLL格式，与我们提供的数据集格式相同。

-->

取自“http://hlt.suda.edu.cn/index.php?title=CCL2021&oldid=3692”