SUDA-HLT - 用户贡献 [zh-cn]

LA-paper-report-talk-etc

2022-05-19T07:55:36Z

Myzhou：/* Journal/Conference Papers in Chinese */

请大家按照规则不断完善此页面。包含pdf ppt codes等。论文按年度，先中文、再英文；先期刊、再会议；先录用时间、后发表（开会）时间。尽量用英文吧。

文献格式和内容与内部wiki保持一致（尽量避免重复劳动）
* pdf ppt等附件都可以放到外网可以访问的地方，放一个地方，避免重复
* 基金号等信息，这个页面上删掉，不要写

== bib and abstract ==

[http://hlt.suda.edu.cn/index.php/LA-paper-report-talk-bib bib]

摘要和基金信息请看内部wiki

== Talks（报告） ==

* 2021.7.27：《数据标注师资培训》(哈工大大数据集团)
** [http://hlt.suda.edu.cn/LA/videos/2021-07-26-1+X数据标注师资培训.mp4 培训视频] [https://mp.weixin.qq.com/s/T2HS90jrHs-ly8aCbwj-Eg 数据标注师资培训介绍]

* 2021.4.20：《基于树形条件随机场的句法分析》(CCF-NLP走进高校-西湖大学)
** [http://hlt.suda.edu.cn/LA/videos/2021-04-20%2015-28-23.mp4 talk video] [http://hlt.suda.edu.cn/LA/ppt/视频对应-基于treecrf的句法分析-2021-04-20-13-55.pdf ppt(视频对应版)] [http://hlt.suda.edu.cn/LA/ppt/修改错误-基于treecrf的句法分析-2021-04-20-17-45.pdf ppt(修正版)]

* 2021.3：《人工智能与脑机接口》慕课（15章）[https://hikeweb.zhihuishu.com/studyResource/index?courseId=10431947 .]
** [http://hlt.suda.edu.cn/LA/videos/15-1_nlp.mp4 NLP基础介绍]
** [http://hlt.suda.edu.cn/LA/videos/15-2_labelling.mp4 数据标注简介]　　

* 2020.10：《神经网络》慕课 - 面向自然语言处理的神经网络（13章）
** [http://hlt.suda.edu.cn/~zhli/NLP-DL/13.1.mp4 第1节：从离散特征到连续稠密向量表示]
** [http://hlt.suda.edu.cn/~zhli/NLP-DL/13.2.mp4 第2节：表示学习]
** [http://hlt.suda.edu.cn/~zhli/NLP-DL/13.3.mp4 第3节：序列标注问题]
** [http://hlt.suda.edu.cn/~zhli/NLP-DL/13.4.mp4 第4节：句法树解析问题]

* 2020.8.15: I have given a talk on data annotation at AI+EDUCATION SUB-FORUM at AI-EXPO (2020 GLOBAL AI PRODUCT AND APPLICATION EXPO)
** [http://hlt.suda.edu.cn/~zhli/20200816_AI_data_annotating.mp4 talk video]
** [https://www.ai-expo.org.cn/?content/416= AI+教育发展分论坛-全球人工智能产品应用博览会]

* 2019年9月28日句法标注培训（LA组介绍）：
** [http://hlt.suda.edu.cn/~zhli/2019-9-train/LAGroup.mp4 mp4视频] [http://hlt.suda.edu.cn/~zhli/2019-9-train/zhenghua-2019-9-28-LAGroup.pdf pdf]

== Services ==
* NLPCC-2022 [http://tcci.ccf.org.cn/conference/2022/oc.php Area Co-Chair (Fundamentals in NLP)]
* CCL-2022 Evaluation Track [http://www.cips-cl.org/static/CCL2022/en/cclCommittee/comChairs/index.html Co-Chair]
* CCL-2021 [http://cips-cl.org/static/CCL2021/cclCommittee/areaChairs/index.html Area Chair]
* EMNLP-2021 Area Chair

== Competition or Shared Tasks ==

* 我们组织了两届跨领域句法分析评测：CCL-2021和NLPCC-2019

* 李嘉诚，沈嘉钰，包祖贻，章波，章岳，李辰，李正华. S&A团队CGED-7评测报告（识别，定位，纠正层第一）. 2021年12月. [[文件:S&A团队CGED-7评测报告.pdf]]
** [http://nlg.cipsc.org.cn/evaluation.html 比赛主页] [https://zhuanlan.zhihu.com/p/444117518 知乎总结]

** 章岳，包祖贻，章波，李辰，李嘉诚，李正华. S&A队CTC2021评测报告（检错、纠错、总分三赛道第一）. 2021年9月.[[文件:S&A-CTC2021评测报告.pdf]]
** [https://2021aichina.caai.cn/track?id=5 比赛主页] [https://github.com/destwang/CTC2021 github榜单]

== Awards ==

* 2021. 章波，江苏省优秀硕士论文（学硕，全省共150个，苏大x个）；同时获江苏省计算机学会优秀硕士论文（全省共xx个，苏大共x个）
* 2020. NLPCC best paper

== 2022 ==

=== Journal/Conference Papers in Chinese ===

* 章岳, 黄赛豪, 陆凯华, 李正华*. 2022年1月 39卷1期 pp126-134. 基于模板的中文上下位关系抽取方法. 计算机应用与软件. [[文件:Hypernym-zhangyue-2022.pdf]]
* 周仕林, 龚晨*, 李正华, 张民. 基于转移的快速精准的语义依存图分析. 山西大学学报(自然科学版):1-13. [[文件:slzhou_transition_based_sdp.pdf]]
* 李帅克，李英，李正华*，张民. 基于tri-training的跨领域依存句法分析. 厦门大学学报（自然科学版）[[https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CAPJ&dbname=CAPJLAST&filename=XDZK20220509009&uniplatform=NZKPT&v=flne8EoBUv7LYNkuiwSttcXiOfGBPAB_0VtzLHktpwsjrP5-NEfM9rivUOARi0ae 知网抢先版链接]]
* 周明月，龚晨，李正华*，张民. 数据标注方法比较研究：以依存句法树标注为例. 清华大学学报（自然科学版）[[http://jst.tsinghuajournals.com/CN/10.16511/j.cnki.qhdxxb.2022.22.010 电子版]]
* 等待发表的
** 彭雪, 李正华, 张民. 2020.4. 基于语言模型微调的跨领域依存句法分析. 计算机应用与软件. 2022-未发表.
** 浩苹、嘉诚

=== Journal Papers in English ===

* Chen Gong, Zhenghua Li* and Min Zhang. Neural Coupled Sequence Labeling for Heterogeneous Annotation Conversion. IEEE/ACM Transactions on Audio, Speech and Language Processing, 2022, 30:1624-1636.[https://ieeexplore.ieee.org/document/9750873?source=authoralert official]

=== Conference Papers In English ===

* Yahui Liu, Haoping Yang, Chen Gong*, Qingrong Xia, Zhenghua Li, Min Zhang. 2022. MuCPAD: A Multi-Domain Chinese Predicate-Argument Dataset. In '''NAACL'''. [http://arxiv.org/abs/2205.06703 arxiv]
* Yue Zhang, Zhenghua Li*, Zuyi Bao, Jiacheng Li, Bo Zhang, Chen Li, Fei Huang, Min Zhang. 2022. MuCGEC: a Multi-Reference Multi-Source Evaluation Dataset for Chinese Grammatical Error Correction. In '''NAACL'''. [https://arxiv.org/abs/2204.10994 arxiv]
* Ying Li, Shuaike Li, Min Zhang. 2022. Semi-supervised Domain Adaptation for Dependency Parsing with Dynamic Matching Network. In '''ACL'''. [http://hlt.suda.edu.cn/index.php/%E6%96%87%E4%BB%B6:Liying_ACL2022_camera_ready.pdf camera ready pdf] [https://underline.io/lecture/52551-long-semi-supervised-domain-adaptation-for-dependency-parsing-with-dynamic-matching-network video].
* Houquan Zhou, Yang Li, Zhenghua Li, and Min Zhang. 2022. Bridging Pre-trained Language Models and Hand-crafted Features for Unsupervised POS Tagging. In Findings of the Association for Computational Linguistics: ACL 2022, pages 3276–3290, Dublin, Ireland. Association for Computational Linguistics. [http://hlt.suda.edu.cn/LA/papers/acl-findings-hqzhou-bridging.pdf pdf] [https://arxiv.org/pdf/2203.10315 camera ready pdf] [https://aclanthology.org/2022.findings-acl.259.pdf offcial pdf] [https://underline.io/lecture/49965-findings-bridging-pre-trained-language-models-and-hand-crafted-features-for-unsupervised-pos-tagging video]

== 2021 ==

=== Journal/Conference Papers in Chinese ===

* 吴锟，周夏冰，李正华，梁兴伟，陈文亮. 中文知识库问答中的路径选择. 中文信息学报（CCKS会议推荐）. 2021, 35(9):113-122.[[文件:中文知识库问答中的路径选择吴锟.pdf]]

=== Conference Papers In English ===
* Yang Hou, Houquan Zhou, Zhenghua Li*, Yu Zhang, Min Zhang, Zhefeng Wang, Baoxing Huai, Nicholas Jing Yuan. A Coarse-to-Fine Labeling Framework for Joint Word Segmentation, POS Tagging, and Constituent Parsing. Proceedings of CoNLL-2021, pp. 290–299. Punta Cana, Dominican Republic (Online), 10-11 Nov. 2021. [[文件:CoNLL_2021_yhou_official_version.pdf]]

* Kun Wu, Lijie Wang, Zhenghua Li, Ao Zhang, Xinyan Xiao, Hua Wu, Min Zhang, Haifeng Wang. Data Augmentation with Hierarchical SQL-to-Question Generation for Cross-Domain Text-to-SQL Parsing. Proceedings of EMNLP-2021, pp. 8974--8983. Punta Cana, Dominican Republic (Online), 7-11 Nov. 2021. [[文件:EMNLP2021_camera_ready_Data_Augmentation_with_Hierarchical_SQL_to_Question_Generation_forCross_domain_Text_to_SQL_Parsing-09101500.pdf ‎]]

* Qingrong Xia, Zhenghua Li*, Rui Wang, Min Zhang. Stacked AMR Parsing with Silver Data. Proceedings of EMNLP-2021 Findings, pp. 4729--4738. Punta Cana, Dominican Republic (Online), 7-11 Nov. 2021. [[文件:EMNLP_2021_Stacked_AMR_Parsing_with_Silver_Data.pdf]]

* Ying Li, Meishan Zhang, Zhenghua Li*, Min Zhang, Zhefeng Wang, Baoxing Huai, Nicholas Jing Yuan. APGN: Adversarial and Parameter Generation Networks for Multi-Source Cross-Domain Dependency Parsing. Proceedings of EMNLP-2021 Findings, pp. 1727–1733. Punta Cana, Dominican Republic (Online), 7-11 Nov. 2021. [[文件:EMNLP_2021_yli_camera_ready.pdf]]

* Chen Gong, Saihao Huang, Houquan Zhou, Zhenghua Li*, Min Zhang, Zhefeng Wang, Baoxing Huai, Nicholas Jing Yuan. An In-depth Study on Internal Structure of Chinese Words. Proceedings of ACL-2021, pp. 5823–5833. Online, Virtual Event, 1-6 Aug. 2021. [[文件:2021.acl-long.452.pdf]]

* Qingrong Xia, Bo Zhang, Rui Wang, Zhenghua Li*, Yue Zhang, Fei Huang, Luo Si, Min Zhang. 2021. A Unified Span-Based Approach for Opinion Mining with Syntactic Constituents. Proceedings of NAACL-2021, pp. 1795-1804. Mexico City, Mexico (Online), 6-11 June. 2021. [[文件:2021.naacl-main.144.pdf]]

== 2020 ==

=== Journal Papers in Chinese ===

* 陆凯华, 李正华, 张民. 2020. 汉语上下位关系分类数据集构建和基准方法比较. 厦门大学学报(自然科学版). 2020, 59 (06): 1004-1010 [[文件:汉语上下位关系分类数据集构建和基准方法比较_陆凯华.pdf]]

=== Journal Papers In English===
* Chen Gong, Zhenghua Li, Qingrong Xia, Wenliang Chen and Min Zhang. Hierarchical LSTM with char-subword-word tree-structure representation for Chinese named entity recognition. Science China Information Science, 2020, 63(10):1-15. [[文件:Hierarchical_LSTM_with_char-subword-word_tree-structure_representation_for_Chinese_named_entity_recognition.pdf]]

=== Conference Papers In English ===

* Ying Li, Zhenghua Li* and Min Zhang. Semi-supervised Domain Adaptation for Dependency Parsing via Improved Contextualized Word Representations. Proceedings of COLING-2020. pp. 3806–3817. Barcelona, Spain (Online), 8-13 Dec. 2020.[https://www.aclweb.org/anthology/2020.coling-main.338.pdf pdf] [[文件:Liying-2020.coling-main.338.pdf]]

* Qingrong Xia, Rui Wang, Zhenghua Li, Yue Zhang and Min Zhang*. Semantic Role Labeling with Heterogeneous Syntactic Knowledge. Proceedings of COLING-2020. pp. 2979-2990. Barcelona, Spain (Online), 8-13 Dec. 2020. ([https://www.aclweb.org/anthology/2020.coling-main.266.pdf pdf])([[文件:Xiaqingrong-2020.coling-main.266.pdf]])([[文件:Poster-SRL-HDP.pdf]])([[文件:SRL-HDP.pptx]])

* Chen Gong, Zhenghua Li*, Bowei Zou and Min Zhang. Multi-grained Chinese Word Segmentation with Weakly Labeled Data. Proceedings of COLING-2020. pp. 2026–2036. Barcelona, Spain (Online), 8-13 Dec. 2020. [https://www.aclweb.org/anthology/D17-1072.pdf pdf][[文件:Gongchen-2020.coling-main.183.pdf]]

* Lijie Wang, Ao Zhang, Kun Wu, Ke Sun, Zhenghua Li, Hua Wu, Min Zhang and Haifeng Wang. DuSQL: A Large-Scale and Pragmatic Chinese Text-to-SQL Dataset. Proceedings of EMNLP-2020. pp. 6923-6935. Online, 16-20 Nov. 2020. [https://www.aclweb.org/anthology/2020.emnlp-main.562.pdf pdf][[文件:2020.emnlp-main.562.pdf]]

* Houquan Zhou, Yu Zhang, Zhenghua Li, and Min Zhang. Is POS Tagging Necessary or Even Helpful for Neural Dependency Parsing? Proceedings of NLPCC-2020, pp. 179--191. Zhengzhou, China, 14 Oct. - 18 Oct. 2020. ([http://hlt.suda.edu.cn/LA/papers/nlpcc-ijpmo.pdf pdf]) ([http://hlt.suda.edu.cn/LA/papers/nlpcc-ijpmo-official.pdf pdf-official]) ([http://hlt.suda.edu.cn/LA/papers/nlpcc-ijpmo-official-w-content.pdf pdf-official-w-content]) (best paper!)

* Yu Zhao, Mingyue Zhou, Zhenghua Li, and Min Zhang. Dependency Parsing with Noisy Multi-Annotation Data. Proceedings of NLPCC-2020, pp. 120-131. Zhengzhou, China, 14 Oct. - 18 Oct. 2020. ([http://hlt.suda.edu.cn/images/e/e5/212_Final_Manuscript_%281%29.pdf pdf]）([http://hlt.suda.edu.cn/LA/papers/nlpcc-yzhao-official.pdf pdf-official]) ([http://hlt.suda.edu.cn/LA/papers/nlpcc-yzhao-official-w-content.pdf pdf-official-w-content])

* Yu Zhang, Houquan Zhou, Zhenghua Li. 2020. Fast and Accurate Neural CRF Constituency Parsing. Proceedings of IJCAI-2020, pp. 4046-4053. Yokohama, Japan, 11-17 Jul. 2020. [https://www.ijcai.org/Proceedings/2020/0560.pdf pdf-official] [http://hlt.suda.edu.cn/LA/papers/0560.pdf pdf] [[http://hlt.suda.edu.cn/LA/videos/V5.mp4 video(5 min version)]] [[http://hlt.suda.edu.cn/LA/videos/V10.mp4 video(10 min version)]] [[http://hlt.suda.edu.cn/LA/videos/V15.mp4 video(15 min version)]]

* Yu Zhang, Zhenghua Li, Min Zhang. 2020. Efficient Second-Order TreeCRF for Neural Dependency Parsing. Proceedings of ACL-2020, pp. 3295-3305. Seattle, America, 5-10 Jul. 2020. [[https://www.aclweb.org/anthology/2020.acl-main.302.pdf pdf-official]] [[http://hlt.suda.edu.cn/LA/papers/2020.acl-main.302.pdf pdf]] [[http://hlt.suda.edu.cn/LA/videos/2020-12-28%2022-21-45.mp4 video]]
** A very good paper: Timothy Dozat, Christopher D. Manning. ICLR-2017. Deep Biaffine Attention for Neural Dependency Parsing. [https://arxiv.org/abs/1611.01734 arxiv]

* Bo Zhang, Yue Zhang, Rui Wang, Zhenghua Li, Min Zhang. Syntax-Aware Opinion Role Labeling with Dependency Graph Convolutional Networks. Proceedings of ACL-2020, pp. 3249-3258. Seattle, America, 5-10 Jul. 2020. [https://www.aclweb.org/anthology/2020.acl-main.297.pdf pdf] [[文件:Zhangbo-acl2020-ppt-5-24.pdf]]

== before 2020 ==
* Meishan Zhang, Zhenghua Li, Guohong Fu and Min Zhang. Syntax-Enhanced Neural Machine Translation with Syntax-Aware Word Representations. In Proceedings of the NAACL-2019. pp. 1151–1161. Seattle, America, 5-10 Jun. 2019. [https://www.aclweb.org/anthology/N19-1118.pdf pdf]
* Bowen Wu, Jiayuan Chao, Baoxun Wang, Zhenghua Li and Min Zhang. Abstractive Summarization via Continuous Copy. EMNLP-2019 Workshop Summarization Submission. Aug 20, 2019. (not accepted)

== 202? Template ==
=== Talks and Misc. ===
=== Journal/Conference Papers in Chinese ===
=== Journal Papers In English===
=== Conference Papers In English===

CODT

2022-01-07T04:18:23Z

Myzhou：/* 标注规范 */

本页面目前由彭雪、周明月同学维护。

== 汉语开放依存句法树库（Chinese Open Dependency Treebank, CODT）==

* 读音：[kəʊ'di:ti:] (CO -> [co]operate D T)
* Open的含义：1）开放数据，规范和数据均公开并不断完善，欢迎大家一起按照我们的规范标注数据，或者邀请我们标注你们感兴趣的数据；2）开放领域，覆盖不同领域和来源文本
* 2019年8月从SUCDT改名为CODT
* This treebank construction project aims to continually build a large-scale Chinese dependency treebank that covers up-to-date texts from different domains and sources, and hence promote the wide application of syntactic analysis techniques.

== 依存句法分析领域移植评测（已结束，我们会组织下一期评测，发布更多数据）==
* 我们正在NLPCC-2019会议上组织评测，发布了约4万句人工标注数据，欢迎大家参与：[http://hlt.suda.edu.cn/index.php/Nlpcc-2019-shared-task 网址]

* CCL-2021句法领域移植评测，发布CODT 2.0 [http://hlt.suda.edu.cn/index.php/CCL2021 网址]

== 标注人员培训流程 ==
* [http://hlt.suda.edu.cn/index.php/SUCDT-Personnel_Training 人员培训流程]

== 招聘信息（长期、寒暑假兼职） ==
* [http://hlt.suda.edu.cn/index.php/CODT-2019-9-recruiting 2019年9月招聘]
* 旧的：[http://hlt.suda.edu.cn/index.php/SUCDT-2018-12-recruiting 2018年12月招聘]
* 旧的：[http://hlt.suda.edu.cn/index.php/SUCDT-2018-5-recruiting 2018年5月招聘]
* 旧的：[http://hlt.suda.edu.cn/~zhli/nlp-anno-recruit.html 2017年6月招聘信息]

== 培训经验 ==
* 定期招新，形成稳定的高质量标注人员更迭。
* 招新时，全面介绍标注工作内容，说明标注工作的优势，提高标注工作的兼职竞争力。
* 提高入职门槛，聘用经面试了解较为适合标注工作的人员，培训时增加高正确率标注人员分享经验的环节，不断更新培训视频和PPT。
* 公开所有标注人员的标注明细，形成良好的竞争监督机制。
* 精简标注人员，过滤标注时间不够或标注准确率太低超过两次的人员。
* 一起认真维护、完善规范，认真培训，认真审核和投诉，给出审核和投诉意见。

== 标注规范 ==

* 最新版：[http://hlt.suda.edu.cn/index.php/%E6%96%87%E4%BB%B6:%E6%A0%87%E6%B3%A8%E8%A7%84%E8%8C%832020%E5%B9%B46%E6%9C%886%E6%97%A5%E7%89%88_.pdf 标注规范2020年6月6日版.pdf]
* [http://hlt.suda.edu.cn/index.php/CODT-data-annotation-guideline-past 旧版本标注规范]

== 已标注数据列表（2019.12；以句子为单位，K表示1000） ==
* 总共：40+11+10+3+18+9+11+7+10+7=126K
* 规范平衡语料：14+15+11=40K （HIT CTB PMT）
* 商品评论PC：11K
* 产品博客PB：10K
* 网络小说（ZX诛仙）：3K
* 人人对话：7+11=18K
* 财经：9K
* 法律：11K
* 体育：7K
* 医学：10K
* 军事：7K

== 数据共享 ==

* 大部分数据向学术界免费共享，支持研究使用。少数数据由于项目或合同约束，需要延迟一些时间后向学术界共享。
* 企业界需要有偿购买使用权。
* 数据共享协议下载：[http://hlt.suda.edu.cn/images/b/b6/Codt-sharing-agreement-2021.3-v2.pdf PDF下载链接]

== 论文引用 ==

* Xue Peng, Zhenghua Li, Min Zhang, Rui Wang, Yue Zhang, Luo Si. 2019. '''Overview of the NLPCC 2019 Shared Task: Cross-Domain Dependency Parsing'''. In Proceedings of NLPCC-2019. [http://hlt.suda.edu.cn/~zhli/papers/nlpcc19_shared_task_overview.pdf pdf]
* Zhenghua Li, Xue Peng, Min Zhang, Rui Wang, Luo Si. 2019. '''Semi-supervised Domain Adaptation for Dependency Parsing'''. Proceedings of '''ACL-2019''', pp. 2386-2395. Florence, Italy, 28 Jul. - 2 Aug. 2019. [http://hlt.suda.edu.cn/~zhli/papers/zhenghua_acl19_dp_figure_1_good.pdf pdf]
* Xinzhou Jiang, Bo Zhang, Zhenghua Li, Min Zhang, Sheng Li, Luo Si. 2018. '''Supervised Treebank Conversion: Data and Approaches'''. Proceedings of '''ACL-2018''', pp. 2706-2716. Melbourne, Australia. 15-20 Jul. 2018 [http://hlt.suda.edu.cn/~zhli/papers/zhenghua-acl18.pdf pdf]
* 郭丽娟, 彭雪, 李正华, 张民. 2019. '''面向多领域多来源文本的汉语依存句法树库构建'''. 中文信息学报. 2019, 33(2):34-42 [http://hlt.suda.edu.cn/~zhli/papers/lijuan-cip19-treebank.pdf pdf]
* 郭丽娟, 李正华, 彭雪, 张民. 2018. '''适应多领域多来源文本的汉语依存句法数据标注规范'''. 中文信息学报. 2018, 32(10):28-35-52 [http://hlt.suda.edu.cn/~zhli/papers/lijuan-jocip18-guideline.pdf pdf]

文件:标注规范2020年6月6日版 .pdf

2022-01-07T04:17:16Z

Myzhou：

CODT

2021-12-17T08:23:13Z

Myzhou：

本页面目前由彭雪、周明月同学维护。

== 汉语开放依存句法树库（Chinese Open Dependency Treebank, CODT）==

* 读音：[kəʊ'di:ti:] (CO -> [co]operate D T)
* Open的含义：1）开放数据，规范和数据均公开并不断完善，欢迎大家一起按照我们的规范标注数据，或者邀请我们标注你们感兴趣的数据；2）开放领域，覆盖不同领域和来源文本
* 2019年8月从SUCDT改名为CODT
* This treebank construction project aims to continually build a large-scale Chinese dependency treebank that covers up-to-date texts from different domains and sources, and hence promote the wide application of syntactic analysis techniques.

== 依存句法分析领域移植评测（已结束，我们会组织下一期评测，发布更多数据）==
* 我们正在NLPCC-2019会议上组织评测，发布了约4万句人工标注数据，欢迎大家参与：[http://hlt.suda.edu.cn/index.php/Nlpcc-2019-shared-task 网址]

* CCL-2021句法领域移植评测，发布CODT 2.0 [http://hlt.suda.edu.cn/index.php/CCL2021 网址]

== 标注人员培训流程 ==
* [http://hlt.suda.edu.cn/index.php/SUCDT-Personnel_Training 人员培训流程]

== 招聘信息（长期、寒暑假兼职） ==
* [http://hlt.suda.edu.cn/index.php/CODT-2019-9-recruiting 2019年9月招聘]
* 旧的：[http://hlt.suda.edu.cn/index.php/SUCDT-2018-12-recruiting 2018年12月招聘]
* 旧的：[http://hlt.suda.edu.cn/index.php/SUCDT-2018-5-recruiting 2018年5月招聘]
* 旧的：[http://hlt.suda.edu.cn/~zhli/nlp-anno-recruit.html 2017年6月招聘信息]

== 培训经验 ==
* 定期招新，形成稳定的高质量标注人员更迭。
* 招新时，全面介绍标注工作内容，说明标注工作的优势，提高标注工作的兼职竞争力。
* 提高入职门槛，聘用经面试了解较为适合标注工作的人员，培训时增加高正确率标注人员分享经验的环节，不断更新培训视频和PPT。
* 公开所有标注人员的标注明细，形成良好的竞争监督机制。
* 精简标注人员，过滤标注时间不够或标注准确率太低超过两次的人员。
* 一起认真维护、完善规范，认真培训，认真审核和投诉，给出审核和投诉意见。

== 标注规范 ==

* 最新版：[http://hlt.suda.edu.cn/index.php/%E6%96%87%E4%BB%B6:%E6%A0%87%E6%B3%A8%E8%A7%84%E8%8C%832020%E5%B9%B46%E6%9C%886%E6%97%A5%E7%89%88.pdf 标注规范2020年6月6日版.pdf]
* [http://hlt.suda.edu.cn/index.php/CODT-data-annotation-guideline-past 旧版本标注规范]

== 已标注数据列表（2019.12；以句子为单位，K表示1000） ==
* 总共：40+11+10+3+18+9+11+7+10+7=126K
* 规范平衡语料：14+15+11=40K （HIT CTB PMT）
* 商品评论PC：11K
* 产品博客PB：10K
* 网络小说（ZX诛仙）：3K
* 人人对话：7+11=18K
* 财经：9K
* 法律：11K
* 体育：7K
* 医学：10K
* 军事：7K

== 数据共享 ==

* 大部分数据向学术界免费共享，支持研究使用。少数数据由于项目或合同约束，需要延迟一些时间后向学术界共享。
* 企业界需要有偿购买使用权。
* 数据共享协议下载：[http://hlt.suda.edu.cn/images/b/b6/Codt-sharing-agreement-2021.3-v2.pdf PDF下载链接]

== 论文引用 ==

* Xue Peng, Zhenghua Li, Min Zhang, Rui Wang, Yue Zhang, Luo Si. 2019. '''Overview of the NLPCC 2019 Shared Task: Cross-Domain Dependency Parsing'''. In Proceedings of NLPCC-2019. [http://hlt.suda.edu.cn/~zhli/papers/nlpcc19_shared_task_overview.pdf pdf]
* Zhenghua Li, Xue Peng, Min Zhang, Rui Wang, Luo Si. 2019. '''Semi-supervised Domain Adaptation for Dependency Parsing'''. Proceedings of '''ACL-2019''', pp. 2386-2395. Florence, Italy, 28 Jul. - 2 Aug. 2019. [http://hlt.suda.edu.cn/~zhli/papers/zhenghua_acl19_dp_figure_1_good.pdf pdf]
* Xinzhou Jiang, Bo Zhang, Zhenghua Li, Min Zhang, Sheng Li, Luo Si. 2018. '''Supervised Treebank Conversion: Data and Approaches'''. Proceedings of '''ACL-2018''', pp. 2706-2716. Melbourne, Australia. 15-20 Jul. 2018 [http://hlt.suda.edu.cn/~zhli/papers/zhenghua-acl18.pdf pdf]
* 郭丽娟, 彭雪, 李正华, 张民. 2019. '''面向多领域多来源文本的汉语依存句法树库构建'''. 中文信息学报. 2019, 33(2):34-42 [http://hlt.suda.edu.cn/~zhli/papers/lijuan-cip19-treebank.pdf pdf]
* 郭丽娟, 李正华, 彭雪, 张民. 2018. '''适应多领域多来源文本的汉语依存句法数据标注规范'''. 中文信息学报. 2018, 32(10):28-35-52 [http://hlt.suda.edu.cn/~zhli/papers/lijuan-jocip18-guideline.pdf pdf]

CODT-data-annotation-guideline-past

2021-04-30T07:36:06Z

Myzhou：

各个版本逐渐增加，大家只需要学习最新版本的标注规范
* 2019年9月19日版本[[:File:标注规范2019年9月19日版.pdf| 标注规范2019年9月19日版.pdf]]
* 2019年6月22日版本[[:File:标注规范2019年6月22日版.pdf | 标注规范2019年6月22日版.pdf]]
* 2019年4月1日版本[[:File:标注规范-2019年4月1日版.pdf| 标注规范-2019年4月1日版.pdf]]
* 2018年8月25日版本[[:File:annotation-guidelines.pdf| 标注规范-2018年8月25日版.pdf]]
* 2018年8月1日版本([[:File:标注规范-2018年8月1日版.pdf | 标注规范-2018年8月1日版.pdf]])
* 2018年5月12日版本([[:File:标注规范-2018年5月12日版.pdf | 标注规范-2018年5月12日版.pdf]])
* 2018年4月3日版本（[[:File:标注规范-2018年4月3日版.pdf | 标注规范-2018年4月3日版.pdf]]）
* 2018年1月20日版本（[[:File:标注规范-2018年1月20日版-v3.pdf | 标注规范-2018年1月20日版.pdf]]）
* 2017年12月12日版本（[[:File:标注规范-2017年12月12日版.pdf | 标注规范-2017年12月12日版.pdf]]）
* 2017年11月27日版本（[[:File:标注规范-2017年11月27日版_-_2017.12.9.16.pdf | 标注规范-2017年11月27日版.pdf]]）
* 2017年7月24日版本（[[:File:标注规范-2017年7月24日版v1.01.pdf | 标注规范-2017年7月24日版.pdf]]）
* 2017年7月17日版本（[[:File:标注规范-2017年7月17日版-v1.01.pdf | 标注规范-2017年7月17日版.pdf]]）
* 2017年7月15日版本（[[:File:标注规范-2017年7月15日版.pdf | 标注规范-2017年7月15日版.pdf]]）

*To do
** nmod vmod amod， adjct细化
** UD过一遍

CODT

2021-04-30T07:34:35Z

Myzhou：/* 标注规范 */

本页面目前由彭雪同学维护。

== 汉语开放依存句法树库（Chinese Open Dependency Treebank, CODT）==

* 读音：[kəʊ'di:ti:] (CO -> [co]operate D T)
* Open的含义：1）开放数据，规范和数据均公开并不断完善，欢迎大家一起按照我们的规范标注数据，或者邀请我们标注你们感兴趣的数据；2）开放领域，覆盖不同领域和来源文本
* 2019年8月从SUCDT改名为CODT
* This treebank construction project aims to continually build a large-scale Chinese dependency treebank that covers up-to-date texts from different domains and sources, and hence promote the wide application of syntactic analysis techniques.

== 依存句法分析领域移植评测（已结束，我们会组织下一期评测，发布更多数据）==
* 我们正在NLPCC-2019会议上组织评测，发布了约4万句人工标注数据，欢迎大家参与：[http://hlt.suda.edu.cn/index.php/Nlpcc-2019-shared-task 网址]

* CCL-2021句法领域移植评测，发布CODT 2.0 [http://hlt.suda.edu.cn/index.php/CCL2021 网址]

== 标注人员培训流程 ==
* [http://hlt.suda.edu.cn/index.php/SUCDT-Personnel_Training 人员培训流程]

== 招聘信息（长期、寒暑假兼职） ==
* [http://hlt.suda.edu.cn/index.php/CODT-2019-9-recruiting 2019年9月招聘]
* 旧的：[http://hlt.suda.edu.cn/index.php/SUCDT-2018-12-recruiting 2018年12月招聘]
* 旧的：[http://hlt.suda.edu.cn/index.php/SUCDT-2018-5-recruiting 2018年5月招聘]
* 旧的：[http://hlt.suda.edu.cn/~zhli/nlp-anno-recruit.html 2017年6月招聘信息]

== 培训经验 ==
* 定期招新，形成稳定的高质量标注人员更迭。
* 招新时，全面介绍标注工作内容，说明标注工作的优势，提高标注工作的兼职竞争力。
* 提高入职门槛，聘用经面试了解较为适合标注工作的人员，培训时增加高正确率标注人员分享经验的环节，不断更新培训视频和PPT。
* 公开所有标注人员的标注明细，形成良好的竞争监督机制。
* 精简标注人员，过滤标注时间不够或标注准确率太低超过两次的人员。
* 一起认真维护、完善规范，认真培训，认真审核和投诉，给出审核和投诉意见。

== 标注规范 ==

* 最新版：[http://hlt.suda.edu.cn/index.php/%E6%96%87%E4%BB%B6:%E6%A0%87%E6%B3%A8%E8%A7%84%E8%8C%832020%E5%B9%B46%E6%9C%886%E6%97%A5%E7%89%88.pdf 标注规范2020年6月6日版.pdf]
* [http://hlt.suda.edu.cn/index.php/CODT-data-annotation-guideline-past 旧版本标注规范]

== 已标注数据列表（2019.12；以句子为单位，K表示1000） ==
* 总共：40+11+10+3+18+9+11+7+10+7=126K
* 规范平衡语料：14+15+11=40K （HIT CTB PMT）
* 商品评论PC：11K
* 产品博客PB：10K
* 网络小说（ZX诛仙）：3K
* 人人对话：7+11=18K
* 财经：9K
* 法律：11K
* 体育：7K
* 医学：10K
* 军事：7K

== 数据共享 ==

* 大部分数据向学术界免费共享，支持研究使用。少数数据由于项目或合同约束，需要延迟一些时间后向学术界共享。
* 企业界需要有偿购买使用权。
* 数据共享协议下载：[http://hlt.suda.edu.cn/images/b/b6/Codt-sharing-agreement-2021.3-v2.pdf PDF下载链接]

== 论文引用 ==

* Xue Peng, Zhenghua Li, Min Zhang, Rui Wang, Yue Zhang, Luo Si. 2019. '''Overview of the NLPCC 2019 Shared Task: Cross-Domain Dependency Parsing'''. In Proceedings of NLPCC-2019. [http://hlt.suda.edu.cn/~zhli/papers/nlpcc19_shared_task_overview.pdf pdf]
* Zhenghua Li, Xue Peng, Min Zhang, Rui Wang, Luo Si. 2019. '''Semi-supervised Domain Adaptation for Dependency Parsing'''. Proceedings of '''ACL-2019''', pp. 2386-2395. Florence, Italy, 28 Jul. - 2 Aug. 2019. [http://hlt.suda.edu.cn/~zhli/papers/zhenghua_acl19_dp_figure_1_good.pdf pdf]
* Xinzhou Jiang, Bo Zhang, Zhenghua Li, Min Zhang, Sheng Li, Luo Si. 2018. '''Supervised Treebank Conversion: Data and Approaches'''. Proceedings of '''ACL-2018''', pp. 2706-2716. Melbourne, Australia. 15-20 Jul. 2018 [http://hlt.suda.edu.cn/~zhli/papers/zhenghua-acl18.pdf pdf]
* 郭丽娟, 彭雪, 李正华, 张民. 2019. '''面向多领域多来源文本的汉语依存句法树库构建'''. 中文信息学报. 2019, 33(2):34-42 [http://hlt.suda.edu.cn/~zhli/papers/lijuan-cip19-treebank.pdf pdf]
* 郭丽娟, 李正华, 彭雪, 张民. 2018. '''适应多领域多来源文本的汉语依存句法数据标注规范'''. 中文信息学报. 2018, 32(10):28-35-52 [http://hlt.suda.edu.cn/~zhli/papers/lijuan-jocip18-guideline.pdf pdf]

CCL2021

2021-04-30T07:21:58Z

Myzhou：撤销Myzhou（讨论）的版本3877

== '''CCL-2021依存句法分析领域移植评测''' ==
* [http://cips-cl.org/static/CCL2021/cclEval/taskEvaluation/index.html CCL-2021评测页面]
* [http://hlt.suda.edu.cn/images/0/04/%E4%BE%9D%E5%AD%98%E5%8F%A5%E6%B3%95%E9%A2%86%E5%9F%9F%E7%A7%BB%E6%A4%8D%E8%AF%84%E6%B5%8Bccl2021-cfp-v5.0.pdf 我们的参赛邀请函pdf]
* [https://docs.qq.com/form/page/DWHltVGFCcmFQVG5h?createTS=1617351588079&templateId=25000#/fill 报名表]

== '''评测日程''' ==
2021.4.1-4.30 开始报名

2021.4.15 公布相关训练数据

2021.7.13 公布无答案的测试集

2021.7.15 测试集结果提交截止

2021.7.20 评测报告提交

2021.7.30 公布结果

2021.8.13-8.15 CCL2021 评测研讨会

== '''评测奖金''' ==
受中国中文信息学会资助，本次评测设置了2万元奖金，每个赛道各1万元

第一名：5000元

第二名：3000元

第三名：2000元

== '''评测数据下载''' ==
'''数据使用协议'''

下载数据前需要签署数据使用协议，在收到数据使用协议后我们会发给您解压密码。

* [http://hlt.suda.edu.cn/images/b/b6/Codt-sharing-agreement-2021.3-v2.pdf CODT2.0数据使用协议下载]（团队负责人签字，如果是公司，必须是公司法人签字并盖合同章）
* [http://hlt.suda.edu.cn/index.php/%E6%96%87%E4%BB%B6:Alibaba-unlabeled-data-share-2021-4-4-1.docx PB-PC-unlabeled数据使用协议下载] (机构、学院、学校或公司盖章）
* 请仔细阅读两个协议，并根据要求签署两个协议，然后统一发邮件给周明月同学(sudaccl2021dep@163.com)
* 请用机构的官方邮箱发送协议
** 由于版权保护问题，我们只面向机构、单位等团体开放数据；对于公司，我们仅面向从事句法分析研究的公司开放数据，签署协议前请先咨询我们是否有可能共享数据；解释权归我们课题组。
** 如果您不需要无标注数据，那么只需要签署标注数据使用协议。

'''训练集/开发集/无标注数据下载'''

* [http://hlt.suda.edu.cn/index.php/CCL2021_data_readme 数据说明Readme]
* 训练集/开发集/无标注数据
** [http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/train_dev_2021.4.1.zip 训练集开发集数据下载]
** [http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/ZX_FIN_LEG_unlabeled_2021.4.1.zip ZX、FIN、LEG无标注数据下载]
** [http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/PB_PC_unlabeled_2021.4.1.zip PB、PC无标注数据下载]

'''预训练词向量下载'''

我们分别提供了50维、100维、300维的预训练词向量
[http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/wordembedding.zip 预训练词向量下载]

'''fine-tune-bert下载'''

我们提供了在bert-base-chinese上微调3轮的结果
[http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/ccl_ft3.zip fine-tune-bert下载]

== '''评价结果提交''' ==
提交结果时，请将测试文件打包（zip/tar.gz）发送给周明月同学（sudaccl2021dep@163.com）。压缩包内请按照如下目录/文件命名和组织形式（没有参加的子任务忽略即可），方便我们后续处理。请参考Dev数据及Readme，确保每个文件严格采用CoNLL格式。
subtask1-closed/PC-Test.out.conll
subtask1-closed/PB-Test.out.conll
subtask1-closed/ZX-Test.out.conll
...
subtask2-open/PC-Test.out.conll
subtask2-open/PB-Test.out.conll
subtask2-open/ZX-Test.out.conll

== '''评价报告提交''' ==
*所有的参赛单位都需要提交一份简要的报告,介绍清楚评测中使用的方法。一方面我们需要确保您使用的方法符合我们的任务要求，另一方面我们提交overview文章时需要使用。请大家在7月15日前以PDF形式提交到周明月邮箱（sudaccl2021dep@163.com）

== '''评价脚本下载''' ==
* [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/evaluate.py 评价脚本下载]
** 执行命令：python3 evaluate.py gold.conll sys.conll
** 数据集需要为CoNLL格式，与我们提供的数据集格式相同。

== '''评测背景''' ==
近年来，随着深度学习技术的发展，尤其是预训练语言模型ELMo/BERT的提出，封闭领域规范文本上的句法分析性能已经达到了比较高的水平。但是，在跨领域文本，尤其是不规范的网络文本上，句法分析的性能会急剧下降。同时，如何在深度学习模型中利用结构化的句法信息也是NLP领域的重要研究问题之一，但是受到真实文本上句法性能的限制。因此，领域移植问题已经成为句法分析研究的重要挑战。为了更充分地支持句法分析领域移植研究，我们自2017年起标注了多领域句法数据集，并命名为汉语开放依存树库（CODT），目前包含16万句，涵盖10多个领域或来源的文本。2019年，我们依托NLPCC-2019会议，组织了第一届跨领域句法分析评测(Peng et al., 2019)，针对“单源零样本”和“单源少样本”领域移植场景，发布了CODT1.0数据集，包含4万句、对应4个领域。
今年，我们依托CCL-2021会议，组织第二届跨领域句法分析评测，针对“多源零样本”领域移植场景，发布CODT2.0数据集，包含7万句，对应6个领域。其中，通过错误检测和人工校正，CODT2.0与CODT1.0重合的数据的质量进一步提升。

== '''数据设置''' ==
在本次评测任务中，我们提供约29K句平衡语料（BC）、9K句产品博客（PB）、10K句产品评论（PC）、8K句财经资讯（FIN）、8K句法律资讯（LEG）和3K句网络小说（ZX）六个领域的数据。其中BC作为基础数据，只作为源领域。后五个领域既可以作为源领域，也可以作为目标领域。另外，针对后五个领域，我们还提供了大规模的无标注数据。

{| class="wikitable" style="text-align: center;"
|-
! !! train !! dev !! test !! unlabeled
|-
| BC || 26.1K || 1K || 2K || 0
|-
| PB || 5K || 1.3K || 2.5K || 291K
|-
| PC || 6.8K || 1.3K || 2.6K || 349K
|-
| FIN || 5K || 1K || 1.8K || 118K
|-
| LEG || 5K || 1K || 1.9K || 150K
|-
| ZX || 1.5K || 0.5K || 1K || 33K
|}

== '''任务设置''' ==
本次评测分为两个赛道:

(Closed)：多源零样本领域移植（封闭）

(Open)：多源零样本领域移植（开放）

含义如下：
* '''多源的含义'''：可以使用其他领域的训练数据作为源领域数据。例如，当目标领域为ZX时，可以使用其他五个领域（包括BC）的训练数据，即BC/PB/PC/FIN/LEG-Train。
* '''零样本的含义'''：不能使用对应领域的训练数据。例如，当目标领域为ZX时，那么ZX-Train不可作为训练数据使用。

* '''Closed赛道的要求'''：
1）只能使用我们提供的数据和信息，包括：所有数据我们都提供分词、自动词性；我们会提供pre-trained word embedding (在Chinese Gigaword 3和所有领域Train/Unlabeled数据上训练word2vec得到)。

2）不可以使用其他开源工具得到新的信息，如词性、词义等特征。

3）不可以使用其他的资源，如词典、句法语义树库等。

4）不可以使用大规模无标注数据上训练的预训练语言模型（任何开源的通用语言模型），但是可以通过预训练语言模型的技术来使用我们提供的无标注数据。即可以使用在我们提供的有标注和无标注数据上从头开始训练预训练模型。

5）不可以使用NLPCC-2019 CODT1.0的数据。

* '''Open赛道的要求'''：

1）可以使用任何可通过某种公开方式获取（包括购买）的数据、资源或工具。但是建议参赛者在系统报告中明确说明使用的外部资源以及这些外部资源对性能的影响。

* '''注意事项'''
1）开发集的使用：不允许将Dev加入到训练数据中。Dev数据只可以用来调参和选择模型。

2）无标注数据（Unlabeled）的使用：不限制。同时，6个领域的Train中的句子，只要不使用句法标注信息，也都可以作为无标注数据使用。

3）预训练语言模型微调：我们将Google发布的bert-base-chinese在所有无标注数据（6个领域的Train，5个领域的Unlabeled数据）进行多轮微调（3轮或10轮），即继续使用语言模型损失函数继续训练。这个模型仅限于Open赛道上的系统使用。我们做这个事情的目的是方便大家试试这个方向，避免大家浪费资源，重复训练。

'''如果您对规则有疑问，请随时联系我们确认。如果违反规则，发现后，成绩会直接取消。'''

CCL2021

2021-04-30T07:20:06Z

Myzhou：/* 评测数据下载 */

== '''CCL-2021依存句法分析领域移植评测''' ==
* [http://cips-cl.org/static/CCL2021/cclEval/taskEvaluation/index.html CCL-2021评测页面]
* [http://hlt.suda.edu.cn/images/0/04/%E4%BE%9D%E5%AD%98%E5%8F%A5%E6%B3%95%E9%A2%86%E5%9F%9F%E7%A7%BB%E6%A4%8D%E8%AF%84%E6%B5%8Bccl2021-cfp-v5.0.pdf 我们的参赛邀请函pdf]
* [https://docs.qq.com/form/page/DWHltVGFCcmFQVG5h?createTS=1617351588079&templateId=25000#/fill 报名表]

== '''评测日程''' ==
2021.4.1-4.30 开始报名

2021.4.15 公布相关训练数据

2021.7.13 公布无答案的测试集

2021.7.15 测试集结果提交截止

2021.7.20 评测报告提交

2021.7.30 公布结果

2021.8.13-8.15 CCL2021 评测研讨会

== '''评测奖金''' ==
受中国中文信息学会资助，本次评测设置了2万元奖金，每个赛道各1万元

第一名：5000元

第二名：3000元

第三名：2000元

== '''评测数据下载''' ==
'''数据使用协议'''

下载数据前需要签署数据使用协议，在收到数据使用协议后我们会发给您解压密码。

* [http://hlt.suda.edu.cn/images/b/b6/Codt-sharing-agreement-2021.3-v2.pdf CODT2.0数据使用协议下载]（团队负责人签字，如果是公司，必须是公司法人签字并盖合同章）
* [http://hlt.suda.edu.cn/index.php/%E6%96%87%E4%BB%B6:Alibaba-unlabeled-data-share-2021-4-4-1.docx PB-PC-unlabeled数据使用协议下载] (机构、学院、学校或公司盖章）
* 请仔细阅读两个协议，并根据要求签署两个协议，然后统一发邮件给周明月同学(sudaccl2021dep@163.com)
* 请用机构的官方邮箱发送协议
** 由于版权保护问题，我们只面向机构、单位等团体开放数据；对于公司，我们仅面向从事句法分析研究的公司开放数据，签署协议前请先咨询我们是否有可能共享数据；解释权归我们课题组。
** 如果您不需要无标注数据，那么只需要签署标注数据使用协议。

'''训练集/开发集/无标注数据下载'''

* [http://hlt.suda.edu.cn/index.php/CCL2021_data_readme 数据说明Readme]
* 训练集/开发集/无标注数据
** [http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/train_dev_2021.4.1.zip 训练集开发集数据下载]
** [http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/ZX_FIN_LEG_unlabeled_2021.4.1.zip ZX、FIN、LEG无标注数据下载]
** [http://hlt.suda.edu.cn/index.php/文件:Alibaba-unlabeled-data-share-2021-4-4-1.docx PB、PC无标注数据下载]

'''预训练词向量下载'''

我们分别提供了50维、100维、300维的预训练词向量
[http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/wordembedding.zip 预训练词向量下载]

'''fine-tune-bert下载'''

我们提供了在bert-base-chinese上微调3轮的结果
[http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/ccl_ft3.zip fine-tune-bert下载]

== '''评价结果提交''' ==
提交结果时，请将测试文件打包（zip/tar.gz）发送给周明月同学（sudaccl2021dep@163.com）。压缩包内请按照如下目录/文件命名和组织形式（没有参加的子任务忽略即可），方便我们后续处理。请参考Dev数据及Readme，确保每个文件严格采用CoNLL格式。
subtask1-closed/PC-Test.out.conll
subtask1-closed/PB-Test.out.conll
subtask1-closed/ZX-Test.out.conll
...
subtask2-open/PC-Test.out.conll
subtask2-open/PB-Test.out.conll
subtask2-open/ZX-Test.out.conll

== '''评价报告提交''' ==
*所有的参赛单位都需要提交一份简要的报告,介绍清楚评测中使用的方法。一方面我们需要确保您使用的方法符合我们的任务要求，另一方面我们提交overview文章时需要使用。请大家在7月15日前以PDF形式提交到周明月邮箱（sudaccl2021dep@163.com）

== '''评价脚本下载''' ==
* [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/evaluate.py 评价脚本下载]
** 执行命令：python3 evaluate.py gold.conll sys.conll
** 数据集需要为CoNLL格式，与我们提供的数据集格式相同。

== '''评测背景''' ==
近年来，随着深度学习技术的发展，尤其是预训练语言模型ELMo/BERT的提出，封闭领域规范文本上的句法分析性能已经达到了比较高的水平。但是，在跨领域文本，尤其是不规范的网络文本上，句法分析的性能会急剧下降。同时，如何在深度学习模型中利用结构化的句法信息也是NLP领域的重要研究问题之一，但是受到真实文本上句法性能的限制。因此，领域移植问题已经成为句法分析研究的重要挑战。为了更充分地支持句法分析领域移植研究，我们自2017年起标注了多领域句法数据集，并命名为汉语开放依存树库（CODT），目前包含16万句，涵盖10多个领域或来源的文本。2019年，我们依托NLPCC-2019会议，组织了第一届跨领域句法分析评测(Peng et al., 2019)，针对“单源零样本”和“单源少样本”领域移植场景，发布了CODT1.0数据集，包含4万句、对应4个领域。
今年，我们依托CCL-2021会议，组织第二届跨领域句法分析评测，针对“多源零样本”领域移植场景，发布CODT2.0数据集，包含7万句，对应6个领域。其中，通过错误检测和人工校正，CODT2.0与CODT1.0重合的数据的质量进一步提升。

== '''数据设置''' ==
在本次评测任务中，我们提供约29K句平衡语料（BC）、9K句产品博客（PB）、10K句产品评论（PC）、8K句财经资讯（FIN）、8K句法律资讯（LEG）和3K句网络小说（ZX）六个领域的数据。其中BC作为基础数据，只作为源领域。后五个领域既可以作为源领域，也可以作为目标领域。另外，针对后五个领域，我们还提供了大规模的无标注数据。

{| class="wikitable" style="text-align: center;"
|-
! !! train !! dev !! test !! unlabeled
|-
| BC || 26.1K || 1K || 2K || 0
|-
| PB || 5K || 1.3K || 2.5K || 291K
|-
| PC || 6.8K || 1.3K || 2.6K || 349K
|-
| FIN || 5K || 1K || 1.8K || 118K
|-
| LEG || 5K || 1K || 1.9K || 150K
|-
| ZX || 1.5K || 0.5K || 1K || 33K
|}

== '''任务设置''' ==
本次评测分为两个赛道:

(Closed)：多源零样本领域移植（封闭）

(Open)：多源零样本领域移植（开放）

含义如下：
* '''多源的含义'''：可以使用其他领域的训练数据作为源领域数据。例如，当目标领域为ZX时，可以使用其他五个领域（包括BC）的训练数据，即BC/PB/PC/FIN/LEG-Train。
* '''零样本的含义'''：不能使用对应领域的训练数据。例如，当目标领域为ZX时，那么ZX-Train不可作为训练数据使用。

* '''Closed赛道的要求'''：
1）只能使用我们提供的数据和信息，包括：所有数据我们都提供分词、自动词性；我们会提供pre-trained word embedding (在Chinese Gigaword 3和所有领域Train/Unlabeled数据上训练word2vec得到)。

2）不可以使用其他开源工具得到新的信息，如词性、词义等特征。

3）不可以使用其他的资源，如词典、句法语义树库等。

4）不可以使用大规模无标注数据上训练的预训练语言模型（任何开源的通用语言模型），但是可以通过预训练语言模型的技术来使用我们提供的无标注数据。即可以使用在我们提供的有标注和无标注数据上从头开始训练预训练模型。

5）不可以使用NLPCC-2019 CODT1.0的数据。

* '''Open赛道的要求'''：

1）可以使用任何可通过某种公开方式获取（包括购买）的数据、资源或工具。但是建议参赛者在系统报告中明确说明使用的外部资源以及这些外部资源对性能的影响。

* '''注意事项'''
1）开发集的使用：不允许将Dev加入到训练数据中。Dev数据只可以用来调参和选择模型。

2）无标注数据（Unlabeled）的使用：不限制。同时，6个领域的Train中的句子，只要不使用句法标注信息，也都可以作为无标注数据使用。

3）预训练语言模型微调：我们将Google发布的bert-base-chinese在所有无标注数据（6个领域的Train，5个领域的Unlabeled数据）进行多轮微调（3轮或10轮），即继续使用语言模型损失函数继续训练。这个模型仅限于Open赛道上的系统使用。我们做这个事情的目的是方便大家试试这个方向，避免大家浪费资源，重复训练。

'''如果您对规则有疑问，请随时联系我们确认。如果违反规则，发现后，成绩会直接取消。'''

CODT

2021-04-30T06:30:31Z

Myzhou：/* 数据共享 */

本页面目前由彭雪同学维护。

== 汉语开放依存句法树库（Chinese Open Dependency Treebank, CODT）==

* 读音：[kəʊ'di:ti:] (CO -> [co]operate D T)
* Open的含义：1）开放数据，规范和数据均公开并不断完善，欢迎大家一起按照我们的规范标注数据，或者邀请我们标注你们感兴趣的数据；2）开放领域，覆盖不同领域和来源文本
* 2019年8月从SUCDT改名为CODT
* This treebank construction project aims to continually build a large-scale Chinese dependency treebank that covers up-to-date texts from different domains and sources, and hence promote the wide application of syntactic analysis techniques.

== 依存句法分析领域移植评测（已结束，我们会组织下一期评测，发布更多数据）==
* 我们正在NLPCC-2019会议上组织评测，发布了约4万句人工标注数据，欢迎大家参与：[http://hlt.suda.edu.cn/index.php/Nlpcc-2019-shared-task 网址]

* CCL-2021句法领域移植评测，发布CODT 2.0 [http://hlt.suda.edu.cn/index.php/CCL2021 网址]

== 标注人员培训流程 ==
* [http://hlt.suda.edu.cn/index.php/SUCDT-Personnel_Training 人员培训流程]

== 招聘信息（长期、寒暑假兼职） ==
* [http://hlt.suda.edu.cn/index.php/CODT-2019-9-recruiting 2019年9月招聘]
* 旧的：[http://hlt.suda.edu.cn/index.php/SUCDT-2018-12-recruiting 2018年12月招聘]
* 旧的：[http://hlt.suda.edu.cn/index.php/SUCDT-2018-5-recruiting 2018年5月招聘]
* 旧的：[http://hlt.suda.edu.cn/~zhli/nlp-anno-recruit.html 2017年6月招聘信息]

== 培训经验 ==
* 定期招新，形成稳定的高质量标注人员更迭。
* 招新时，全面介绍标注工作内容，说明标注工作的优势，提高标注工作的兼职竞争力。
* 提高入职门槛，聘用经面试了解较为适合标注工作的人员，培训时增加高正确率标注人员分享经验的环节，不断更新培训视频和PPT。
* 公开所有标注人员的标注明细，形成良好的竞争监督机制。
* 精简标注人员，过滤标注时间不够或标注准确率太低超过两次的人员。
* 一起认真维护、完善规范，认真培训，认真审核和投诉，给出审核和投诉意见。

== 标注规范 ==

* 最新版：[[:File:标注规范2019年9月19日版.pdf| 标注规范2019年9月19日版.pdf]]
* [http://hlt.suda.edu.cn/index.php/CODT-data-annotation-guideline-past 旧版本标注规范]

== 已标注数据列表（2019.12；以句子为单位，K表示1000） ==
* 总共：40+11+10+3+18+9+11+7+10+7=126K
* 规范平衡语料：14+15+11=40K （HIT CTB PMT）
* 商品评论PC：11K
* 产品博客PB：10K
* 网络小说（ZX诛仙）：3K
* 人人对话：7+11=18K
* 财经：9K
* 法律：11K
* 体育：7K
* 医学：10K
* 军事：7K

== 数据共享 ==

* 大部分数据向学术界免费共享，支持研究使用。少数数据由于项目或合同约束，需要延迟一些时间后向学术界共享。
* 企业界需要有偿购买使用权。
* 数据共享协议下载：[http://hlt.suda.edu.cn/images/b/b6/Codt-sharing-agreement-2021.3-v2.pdf PDF下载链接]

== 论文引用 ==

* Xue Peng, Zhenghua Li, Min Zhang, Rui Wang, Yue Zhang, Luo Si. 2019. '''Overview of the NLPCC 2019 Shared Task: Cross-Domain Dependency Parsing'''. In Proceedings of NLPCC-2019. [http://hlt.suda.edu.cn/~zhli/papers/nlpcc19_shared_task_overview.pdf pdf]
* Zhenghua Li, Xue Peng, Min Zhang, Rui Wang, Luo Si. 2019. '''Semi-supervised Domain Adaptation for Dependency Parsing'''. Proceedings of '''ACL-2019''', pp. 2386-2395. Florence, Italy, 28 Jul. - 2 Aug. 2019. [http://hlt.suda.edu.cn/~zhli/papers/zhenghua_acl19_dp_figure_1_good.pdf pdf]
* Xinzhou Jiang, Bo Zhang, Zhenghua Li, Min Zhang, Sheng Li, Luo Si. 2018. '''Supervised Treebank Conversion: Data and Approaches'''. Proceedings of '''ACL-2018''', pp. 2706-2716. Melbourne, Australia. 15-20 Jul. 2018 [http://hlt.suda.edu.cn/~zhli/papers/zhenghua-acl18.pdf pdf]
* 郭丽娟, 彭雪, 李正华, 张民. 2019. '''面向多领域多来源文本的汉语依存句法树库构建'''. 中文信息学报. 2019, 33(2):34-42 [http://hlt.suda.edu.cn/~zhli/papers/lijuan-cip19-treebank.pdf pdf]
* 郭丽娟, 李正华, 彭雪, 张民. 2018. '''适应多领域多来源文本的汉语依存句法数据标注规范'''. 中文信息学报. 2018, 32(10):28-35-52 [http://hlt.suda.edu.cn/~zhli/papers/lijuan-jocip18-guideline.pdf pdf]

CCL2021

2021-04-09T12:22:20Z

Myzhou：/* 评测数据下载 */

== '''CCL-2021依存句法分析领域移植评测''' ==
* [http://cips-cl.org/static/CCL2021/cclEval/taskEvaluation/index.html CCL-2021评测页面]
* [http://hlt.suda.edu.cn/images/0/04/%E4%BE%9D%E5%AD%98%E5%8F%A5%E6%B3%95%E9%A2%86%E5%9F%9F%E7%A7%BB%E6%A4%8D%E8%AF%84%E6%B5%8Bccl2021-cfp-v5.0.pdf 我们的参赛邀请函pdf]
* [https://docs.qq.com/form/page/DWHltVGFCcmFQVG5h?createTS=1617351588079&templateId=25000#/fill 报名表]

== '''评测日程''' ==
2021.4.1-4.30 开始报名

2021.4.15 公布相关训练数据

2021.7.13 公布无答案的测试集

2021.7.15 测试集结果提交截止

2021.7.20 评测报告提交

2021.7.30 公布结果

2021.8.13-8.15 CCL2021 评测研讨会

== '''评测奖金''' ==
受中国中文信息学会资助，本次评测设置了2万元奖金，每个赛道各1万元

第一名：5000元

第二名：3000元

第三名：2000元

== '''评测数据下载''' ==
'''数据使用协议'''

下载数据前需要签署数据使用协议，在收到数据使用协议后我们会发给您解压密码。

* [http://hlt.suda.edu.cn/images/b/b6/Codt-sharing-agreement-2021.3-v2.pdf CODT2.0数据使用协议下载]（团队负责人签字，如果是公司，必须是公司法人签字并盖合同章）
* [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/alibaba-unlabeled-data-share-2019.4.4.doc PB-PC-unlabeled数据使用协议下载] (机构、学院、学校或公司盖章）
* 请仔细阅读两个协议，并根据要求签署两个协议，然后统一发邮件给周明月同学(sudaccl2021dep@163.com)
* 请用机构的官方邮箱发送协议
** 由于版权保护问题，我们只面向机构、单位等团体开放数据；对于公司，我们仅面向从事句法分析研究的公司开放数据，签署协议前请先咨询我们是否有可能共享数据；解释权归我们课题组。
** 如果您不需要无标注数据，那么只需要签署标注数据使用协议。

'''训练集/开发集/无标注数据下载'''

* [http://hlt.suda.edu.cn/index.php/CCL2021_data_readme 数据说明Readme]
* 训练集/开发集/无标注数据
** [http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/train_dev_2021.4.1.zip 训练集开发集数据下载]
** [http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/ZX_FIN_LEG_unlabeled_2021.4.1.zip ZX、FIN、LEG无标注数据下载]
** [http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/PB_PC_unlabeled_2021.4.1.zip PB、PC无标注数据下载]

'''预训练词向量下载'''

我们分别提供了50维、100维、300维的预训练词向量
[http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/wordembedding.zip 预训练词向量下载]

'''fine-tune-bert下载'''

我们提供了在bert-base-chinese上微调3轮的结果
[http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/ccl_ft3.zip fine-tune-bert下载]

== '''评价结果提交''' ==
提交结果时，请将测试文件打包（zip/tar.gz）发送给李帅克同学（skli20@stu.suda.edu.cn）。压缩包内请按照如下目录/文件命名和组织形式（没有参加的子任务忽略即可），方便我们后续处理。请参考Dev数据及Readme，确保每个文件严格采用CoNLL格式。
subtask1-closed/PC-Test.out.conll
subtask1-closed/PB-Test.out.conll
subtask1-closed/ZX-Test.out.conll
...
subtask2-open/PC-Test.out.conll
subtask2-open/PB-Test.out.conll
subtask2-open/ZX-Test.out.conll

== '''评价报告提交''' ==
*所有的参赛单位都需要提交一份简要的报告,介绍清楚评测中使用的方法。一方面我们需要确保您使用的方法符合我们的任务要求，另一方面我们提交overview文章时需要使用。请大家在7月15日前以PDF形式提交到李帅克邮箱（skli20@stu.suda.edu.cn）

== '''评价脚本下载''' ==
* [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/evaluate.py 评价脚本下载]
** 执行命令：python3 evaluate.py gold.conll sys.conll
** 数据集需要为CoNLL格式，与我们提供的数据集格式相同。

== '''评测背景''' ==
近年来，随着深度学习技术的发展，尤其是预训练语言模型ELMo/BERT的提出，封闭领域规范文本上的句法分析性能已经达到了比较高的水平。但是，在跨领域文本，尤其是不规范的网络文本上，句法分析的性能会急剧下降。同时，如何在深度学习模型中利用结构化的句法信息也是NLP领域的重要研究问题之一，但是受到真实文本上句法性能的限制。因此，领域移植问题已经成为句法分析研究的重要挑战。为了更充分地支持句法分析领域移植研究，我们自2017年起标注了多领域句法数据集，并命名为汉语开放依存树库（CODT），目前包含16万句，涵盖10多个领域或来源的文本。2019年，我们依托NLPCC-2019会议，组织了第一届跨领域句法分析评测(Peng et al., 2019)，针对“单源零样本”和“单源少样本”领域移植场景，发布了CODT1.0数据集，包含4万句、对应4个领域。
今年，我们依托CCL-2021会议，组织第二届跨领域句法分析评测，针对“多源零样本”领域移植场景，发布CODT2.0数据集，包含7万句，对应6个领域。其中，通过错误检测和人工校正，CODT2.0与CODT1.0重合的数据的质量进一步提升。

== '''数据设置''' ==
在本次评测任务中，我们提供约29K句平衡语料（BC）、9K句产品博客（PB）、10K句产品评论（PC）、8K句财经资讯（FIN）、8K句法律资讯（LEG）和3K句网络小说（ZX）六个领域的数据。其中BC作为基础数据，只作为源领域。后五个领域既可以作为源领域，也可以作为目标领域。另外，针对后五个领域，我们还提供了大规模的无标注数据。

{| class="wikitable" style="text-align: center;"
|-
! !! train !! dev !! test !! unlabeled
|-
| BC || 26.1K || 1K || 2K || 0
|-
| PB || 5K || 1.3K || 2.5K || 291K
|-
| PC || 6.8K || 1.3K || 2.6K || 349K
|-
| FIN || 5K || 1K || 1.8K || 118K
|-
| LEG || 5K || 1K || 1.9K || 150K
|-
| ZX || 1.5K || 0.5K || 1K || 33K
|}

== '''任务设置''' ==
本次评测分为两个赛道:

(Closed)：多源零样本领域移植（封闭）

(Open)：多源零样本领域移植（开放）

含义如下：
* '''多源的含义'''：可以使用其他领域的训练数据作为源领域数据。例如，当目标领域为ZX时，可以使用其他五个领域（包括BC）的训练数据，即BC/PB/PC/FIN/LEG-Train。
* '''零样本的含义'''：不能使用对应领域的训练数据。例如，当目标领域为ZX时，那么ZX-Train不可作为训练数据使用。

* '''Closed赛道的要求'''：
1）只能使用我们提供的数据和信息，包括：所有数据我们都提供分词、自动词性；我们会提供pre-trained word embedding (在Chinese Gigaword 3和所有领域Train/Unlabeled数据上训练word2vec得到)。

2）不可以使用其他开源工具得到新的信息，如词性、词义等特征。

3）不可以使用其他的资源，如词典、句法语义树库等。

4）不可以使用大规模无标注数据上训练的预训练语言模型（任何开源的通用语言模型），但是可以通过预训练语言模型的技术来使用我们提供的无标注数据。即可以使用在我们提供的有标注和无标注数据上从头开始训练预训练模型。

5）不可以使用NLPCC-2019 CODT1.0的数据。

* '''Open赛道的要求'''：

1）可以使用任何可通过某种公开方式获取（包括购买）的数据、资源或工具。但是建议参赛者在系统报告中明确说明使用的外部资源以及这些外部资源对性能的影响。

* '''注意事项'''
1）开发集的使用：不允许将Dev加入到训练数据中。Dev数据只可以用来调参和选择模型。

2）无标注数据（Unlabeled）的使用：不限制。同时，6个领域的Train中的句子，只要不使用句法标注信息，也都可以作为无标注数据使用。

3）预训练语言模型微调：我们将Google发布的bert-base-chinese在所有无标注数据（6个领域的Train，5个领域的Unlabeled数据）进行多轮微调（3轮或10轮），即继续使用语言模型损失函数继续训练。这个模型仅限于Open赛道上的系统使用。我们做这个事情的目的是方便大家试试这个方向，避免大家浪费资源，重复训练。

'''如果您对规则有疑问，请随时联系我们确认。如果违反规则，发现后，成绩会直接取消。'''

文件:Codt-sharing-agreement-2021.3-v2.pdf

2021-04-09T12:22:02Z

Myzhou：

CCL2021

2021-04-09T11:46:35Z

Myzhou：/* 评测数据下载 */

== '''CCL-2021依存句法分析领域移植评测''' ==
* [http://cips-cl.org/static/CCL2021/cclEval/taskEvaluation/index.html CCL-2021评测页面]
* [http://hlt.suda.edu.cn/images/0/04/%E4%BE%9D%E5%AD%98%E5%8F%A5%E6%B3%95%E9%A2%86%E5%9F%9F%E7%A7%BB%E6%A4%8D%E8%AF%84%E6%B5%8Bccl2021-cfp-v5.0.pdf 我们的参赛邀请函pdf]
* [https://docs.qq.com/form/page/DWHltVGFCcmFQVG5h?createTS=1617351588079&templateId=25000#/fill 报名表]

== '''评测日程''' ==
2021.4.1-4.30 开始报名

2021.4.15 公布相关训练数据

2021.7.13 公布无答案的测试集

2021.7.15 测试集结果提交截止

2021.7.20 评测报告提交

2021.7.30 公布结果

2021.8.13-8.15 CCL2021 评测研讨会

== '''评测奖金''' ==
受中国中文信息学会资助，本次评测设置了2万元奖金，每个赛道各1万元

第一名：5000元

第二名：3000元

第三名：2000元

== '''评测数据下载''' ==
'''数据使用协议'''

下载数据前需要签署数据使用协议，在收到数据使用协议后我们会发给您解压密码。

* [http://hlt.suda.edu.cn/images/c/c1/Codt-sharing-agreement-2021.3-v1.pdf CODT2.0数据使用协议下载]（团队负责人签字，如果是公司，必须是公司法人签字并盖合同章）
* [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/alibaba-unlabeled-data-share-2019.4.4.doc PB-PC-unlabeled数据使用协议下载] (机构、学院、学校或公司盖章）
* 请仔细阅读两个协议，并根据要求签署两个协议，然后统一发邮件给周明月同学(sudaccl2021dep@163.com)
* 请用机构的官方邮箱发送协议
** 由于版权保护问题，我们只面向机构、单位等团体开放数据；对于公司，我们仅面向从事句法分析研究的公司开放数据，签署协议前请先咨询我们是否有可能共享数据；解释权归我们课题组。
** 如果您不需要无标注数据，那么只需要签署标注数据使用协议。

'''训练集/开发集/无标注数据下载'''

* [http://hlt.suda.edu.cn/index.php/CCL2021_data_readme 数据说明Readme]
* 训练集/开发集/无标注数据
** [http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/train_dev_2021.4.1.zip 训练集开发集数据下载]
** [http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/ZX_FIN_LEG_unlabeled_2021.4.1.zip ZX、FIN、LEG无标注数据下载]
** [http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/PB_PC_unlabeled_2021.4.1.zip PB、PC无标注数据下载]

'''预训练词向量下载'''

我们分别提供了50维、100维、300维的预训练词向量
[http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/wordembedding.zip 预训练词向量下载]

'''fine-tune-bert下载'''

我们提供了在bert-base-chinese上微调3轮的结果
[http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/ccl_ft3.zip fine-tune-bert下载]

== '''评价结果提交''' ==
提交结果时，请将测试文件打包（zip/tar.gz）发送给李帅克同学（skli20@stu.suda.edu.cn）。压缩包内请按照如下目录/文件命名和组织形式（没有参加的子任务忽略即可），方便我们后续处理。请参考Dev数据及Readme，确保每个文件严格采用CoNLL格式。
subtask1-closed/PC-Test.out.conll
subtask1-closed/PB-Test.out.conll
subtask1-closed/ZX-Test.out.conll
...
subtask2-open/PC-Test.out.conll
subtask2-open/PB-Test.out.conll
subtask2-open/ZX-Test.out.conll

== '''评价报告提交''' ==
*所有的参赛单位都需要提交一份简要的报告,介绍清楚评测中使用的方法。一方面我们需要确保您使用的方法符合我们的任务要求，另一方面我们提交overview文章时需要使用。请大家在7月15日前以PDF形式提交到李帅克邮箱（skli20@stu.suda.edu.cn）

== '''评价脚本下载''' ==
* [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/evaluate.py 评价脚本下载]
** 执行命令：python3 evaluate.py gold.conll sys.conll
** 数据集需要为CoNLL格式，与我们提供的数据集格式相同。

== '''评测背景''' ==
近年来，随着深度学习技术的发展，尤其是预训练语言模型ELMo/BERT的提出，封闭领域规范文本上的句法分析性能已经达到了比较高的水平。但是，在跨领域文本，尤其是不规范的网络文本上，句法分析的性能会急剧下降。同时，如何在深度学习模型中利用结构化的句法信息也是NLP领域的重要研究问题之一，但是受到真实文本上句法性能的限制。因此，领域移植问题已经成为句法分析研究的重要挑战。为了更充分地支持句法分析领域移植研究，我们自2017年起标注了多领域句法数据集，并命名为汉语开放依存树库（CODT），目前包含16万句，涵盖10多个领域或来源的文本。2019年，我们依托NLPCC-2019会议，组织了第一届跨领域句法分析评测(Peng et al., 2019)，针对“单源零样本”和“单源少样本”领域移植场景，发布了CODT1.0数据集，包含4万句、对应4个领域。
今年，我们依托CCL-2021会议，组织第二届跨领域句法分析评测，针对“多源零样本”领域移植场景，发布CODT2.0数据集，包含7万句，对应6个领域。其中，通过错误检测和人工校正，CODT2.0与CODT1.0重合的数据的质量进一步提升。

== '''数据设置''' ==
在本次评测任务中，我们提供约29K句平衡语料（BC）、9K句产品博客（PB）、10K句产品评论（PC）、8K句财经资讯（FIN）、8K句法律资讯（LEG）和3K句网络小说（ZX）六个领域的数据。其中BC作为基础数据，只作为源领域。后五个领域既可以作为源领域，也可以作为目标领域。另外，针对后五个领域，我们还提供了大规模的无标注数据。

{| class="wikitable" style="text-align: center;"
|-
! !! train !! dev !! test !! unlabeled
|-
| BC || 26.1K || 1K || 2K || 0
|-
| PB || 5K || 1.3K || 2.5K || 291K
|-
| PC || 6.8K || 1.3K || 2.6K || 349K
|-
| FIN || 5K || 1K || 1.8K || 118K
|-
| LEG || 5K || 1K || 1.9K || 150K
|-
| ZX || 1.5K || 0.5K || 1K || 33K
|}

== '''任务设置''' ==
本次评测分为两个赛道:

(Closed)：多源零样本领域移植（封闭）

(Open)：多源零样本领域移植（开放）

含义如下：
* '''多源的含义'''：可以使用其他领域的训练数据作为源领域数据。例如，当目标领域为ZX时，可以使用其他五个领域（包括BC）的训练数据，即BC/PB/PC/FIN/LEG-Train。
* '''零样本的含义'''：不能使用对应领域的训练数据。例如，当目标领域为ZX时，那么ZX-Train不可作为训练数据使用。

* '''Closed赛道的要求'''：
1）只能使用我们提供的数据和信息，包括：所有数据我们都提供分词、自动词性；我们会提供pre-trained word embedding (在Chinese Gigaword 3和所有领域Train/Unlabeled数据上训练word2vec得到)。

2）不可以使用其他开源工具得到新的信息，如词性、词义等特征。

3）不可以使用其他的资源，如词典、句法语义树库等。

4）不可以使用大规模无标注数据上训练的预训练语言模型（任何开源的通用语言模型），但是可以通过预训练语言模型的技术来使用我们提供的无标注数据。即可以使用在我们提供的有标注和无标注数据上从头开始训练预训练模型。

5）不可以使用NLPCC-2019 CODT1.0的数据。

* '''Open赛道的要求'''：

1）可以使用任何可通过某种公开方式获取（包括购买）的数据、资源或工具。但是建议参赛者在系统报告中明确说明使用的外部资源以及这些外部资源对性能的影响。

* '''注意事项'''
1）开发集的使用：不允许将Dev加入到训练数据中。Dev数据只可以用来调参和选择模型。

2）无标注数据（Unlabeled）的使用：不限制。同时，6个领域的Train中的句子，只要不使用句法标注信息，也都可以作为无标注数据使用。

3）预训练语言模型微调：我们将Google发布的bert-base-chinese在所有无标注数据（6个领域的Train，5个领域的Unlabeled数据）进行多轮微调（3轮或10轮），即继续使用语言模型损失函数继续训练。这个模型仅限于Open赛道上的系统使用。我们做这个事情的目的是方便大家试试这个方向，避免大家浪费资源，重复训练。

'''如果您对规则有疑问，请随时联系我们确认。如果违反规则，发现后，成绩会直接取消。'''

CCL2021

2021-04-09T11:29:30Z

Myzhou：/* CCL-2021依存句法分析领域移植评测 */

== '''CCL-2021依存句法分析领域移植评测''' ==
* [http://cips-cl.org/static/CCL2021/cclEval/taskEvaluation/index.html CCL-2021评测页面]
* [http://hlt.suda.edu.cn/images/0/04/%E4%BE%9D%E5%AD%98%E5%8F%A5%E6%B3%95%E9%A2%86%E5%9F%9F%E7%A7%BB%E6%A4%8D%E8%AF%84%E6%B5%8Bccl2021-cfp-v5.0.pdf 我们的参赛邀请函pdf]
* [https://docs.qq.com/form/page/DWHltVGFCcmFQVG5h?createTS=1617351588079&templateId=25000#/fill 报名表]

== '''评测日程''' ==
2021.4.1-4.30 开始报名

2021.4.15 公布相关训练数据

2021.7.13 公布无答案的测试集

2021.7.15 测试集结果提交截止

2021.7.20 评测报告提交

2021.7.30 公布结果

2021.8.13-8.15 CCL2021 评测研讨会

== '''评测奖金''' ==
受中国中文信息学会资助，本次评测设置了2万元奖金，每个赛道各1万元

第一名：5000元

第二名：3000元

第三名：2000元

== '''评测数据下载''' ==
'''数据使用协议'''

下载数据前需要签署数据使用协议，在收到数据使用协议后我们会发给您解压密码。

* [http://hlt.suda.edu.cn/images/c/c1/Codt-sharing-agreement-2021.3-v1.pdf CODT2.0数据使用协议下载]（团队负责人签字，如果是公司，必须是公司法人签字）
* [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/alibaba-unlabeled-data-share-2019.4.4.doc PB-PC-unlabeled数据使用协议下载] (机构、学院、学校或公司盖章）
* 请仔细阅读两个协议，并根据要求签署两个协议，然后统一发邮件给周明月同学(sudaccl2021dep@163.com)
* 请用机构的官方邮箱发送协议
** 由于版权保护问题，我们只面向机构、单位等团体开放数据；对于公司，我们仅面向从事句法分析研究的公司开放数据，签署协议前请先咨询我们是否有可能共享数据；解释权归我们课题组。
** 如果您不需要无标注数据，那么只需要签署标注数据使用协议。

'''训练集/开发集/无标注数据下载'''

* [http://hlt.suda.edu.cn/index.php/CCL2021_data_readme 数据说明Readme]
* 训练集/开发集/无标注数据
** [http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/train_dev_2021.4.1.zip 训练集开发集数据下载]
** [http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/ZX_FIN_LEG_unlabeled_2021.4.1.zip ZX、FIN、LEG无标注数据下载]
** [http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/PB_PC_unlabeled_2021.4.1.zip PB、PC无标注数据下载]

'''预训练词向量下载'''

我们分别提供了50维、100维、300维的预训练词向量
[http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/wordembedding.zip 预训练词向量下载]

'''fine-tune-bert下载'''

我们提供了在bert-base-chinese上微调3轮的结果
[http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/ccl_ft3.zip fine-tune-bert下载]

== '''评价结果提交''' ==
提交结果时，请将测试文件打包（zip/tar.gz）发送给李帅克同学（skli20@stu.suda.edu.cn）。压缩包内请按照如下目录/文件命名和组织形式（没有参加的子任务忽略即可），方便我们后续处理。请参考Dev数据及Readme，确保每个文件严格采用CoNLL格式。
subtask1-closed/PC-Test.out.conll
subtask1-closed/PB-Test.out.conll
subtask1-closed/ZX-Test.out.conll
...
subtask2-open/PC-Test.out.conll
subtask2-open/PB-Test.out.conll
subtask2-open/ZX-Test.out.conll

== '''评价报告提交''' ==
*所有的参赛单位都需要提交一份简要的报告,介绍清楚评测中使用的方法。一方面我们需要确保您使用的方法符合我们的任务要求，另一方面我们提交overview文章时需要使用。请大家在7月15日前以PDF形式提交到李帅克邮箱（skli20@stu.suda.edu.cn）

== '''评价脚本下载''' ==
* [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/evaluate.py 评价脚本下载]
** 执行命令：python3 evaluate.py gold.conll sys.conll
** 数据集需要为CoNLL格式，与我们提供的数据集格式相同。

== '''评测背景''' ==
近年来，随着深度学习技术的发展，尤其是预训练语言模型ELMo/BERT的提出，封闭领域规范文本上的句法分析性能已经达到了比较高的水平。但是，在跨领域文本，尤其是不规范的网络文本上，句法分析的性能会急剧下降。同时，如何在深度学习模型中利用结构化的句法信息也是NLP领域的重要研究问题之一，但是受到真实文本上句法性能的限制。因此，领域移植问题已经成为句法分析研究的重要挑战。为了更充分地支持句法分析领域移植研究，我们自2017年起标注了多领域句法数据集，并命名为汉语开放依存树库（CODT），目前包含16万句，涵盖10多个领域或来源的文本。2019年，我们依托NLPCC-2019会议，组织了第一届跨领域句法分析评测(Peng et al., 2019)，针对“单源零样本”和“单源少样本”领域移植场景，发布了CODT1.0数据集，包含4万句、对应4个领域。
今年，我们依托CCL-2021会议，组织第二届跨领域句法分析评测，针对“多源零样本”领域移植场景，发布CODT2.0数据集，包含7万句，对应6个领域。其中，通过错误检测和人工校正，CODT2.0与CODT1.0重合的数据的质量进一步提升。

== '''数据设置''' ==
在本次评测任务中，我们提供约29K句平衡语料（BC）、9K句产品博客（PB）、10K句产品评论（PC）、8K句财经资讯（FIN）、8K句法律资讯（LEG）和3K句网络小说（ZX）六个领域的数据。其中BC作为基础数据，只作为源领域。后五个领域既可以作为源领域，也可以作为目标领域。另外，针对后五个领域，我们还提供了大规模的无标注数据。

{| class="wikitable" style="text-align: center;"
|-
! !! train !! dev !! test !! unlabeled
|-
| BC || 26.1K || 1K || 2K || 0
|-
| PB || 5K || 1.3K || 2.5K || 291K
|-
| PC || 6.8K || 1.3K || 2.6K || 349K
|-
| FIN || 5K || 1K || 1.8K || 118K
|-
| LEG || 5K || 1K || 1.9K || 150K
|-
| ZX || 1.5K || 0.5K || 1K || 33K
|}

== '''任务设置''' ==
本次评测分为两个赛道:

(Closed)：多源零样本领域移植（封闭）

(Open)：多源零样本领域移植（开放）

含义如下：
* '''多源的含义'''：可以使用其他领域的训练数据作为源领域数据。例如，当目标领域为ZX时，可以使用其他五个领域（包括BC）的训练数据，即BC/PB/PC/FIN/LEG-Train。
* '''零样本的含义'''：不能使用对应领域的训练数据。例如，当目标领域为ZX时，那么ZX-Train不可作为训练数据使用。

* '''Closed赛道的要求'''：
1）只能使用我们提供的数据和信息，包括：所有数据我们都提供分词、自动词性；我们会提供pre-trained word embedding (在Chinese Gigaword 3和所有领域Train/Unlabeled数据上训练word2vec得到)。

2）不可以使用其他开源工具得到新的信息，如词性、词义等特征。

3）不可以使用其他的资源，如词典、句法语义树库等。

4）不可以使用大规模无标注数据上训练的预训练语言模型（任何开源的通用语言模型），但是可以通过预训练语言模型的技术来使用我们提供的无标注数据。即可以使用在我们提供的有标注和无标注数据上从头开始训练预训练模型。

5）不可以使用NLPCC-2019 CODT1.0的数据。

* '''Open赛道的要求'''：

1）可以使用任何可通过某种公开方式获取（包括购买）的数据、资源或工具。但是建议参赛者在系统报告中明确说明使用的外部资源以及这些外部资源对性能的影响。

* '''注意事项'''
1）开发集的使用：不允许将Dev加入到训练数据中。Dev数据只可以用来调参和选择模型。

2）无标注数据（Unlabeled）的使用：不限制。同时，6个领域的Train中的句子，只要不使用句法标注信息，也都可以作为无标注数据使用。

3）预训练语言模型微调：我们将Google发布的bert-base-chinese在所有无标注数据（6个领域的Train，5个领域的Unlabeled数据）进行多轮微调（3轮或10轮），即继续使用语言模型损失函数继续训练。这个模型仅限于Open赛道上的系统使用。我们做这个事情的目的是方便大家试试这个方向，避免大家浪费资源，重复训练。

'''如果您对规则有疑问，请随时联系我们确认。如果违反规则，发现后，成绩会直接取消。'''

CCL2021

2021-04-09T11:28:58Z

Myzhou：/* CCL-2021依存句法分析领域移植评测 */

== '''CCL-2021依存句法分析领域移植评测''' ==
* [http://cips-cl.org/static/CCL2021/cclEval/taskEvaluation/index.html CCL-2021评测页面]
* [http://hlt.suda.edu.cn/images/2/26/%E4%BE%9D%E5%AD%98%E5%8F%A5%E6%B3%95%E9%A2%86%E5%9F%9F%E7%A7%BB%E6%A4%8D%E8%AF%84%E6%B5%8Bccl2021-cfp-v5.0.pdf 我们的参赛邀请函pdf]
* [https://docs.qq.com/form/page/DWHltVGFCcmFQVG5h?createTS=1617351588079&templateId=25000#/fill 报名表]

== '''评测日程''' ==
2021.4.1-4.30 开始报名

2021.4.15 公布相关训练数据

2021.7.13 公布无答案的测试集

2021.7.15 测试集结果提交截止

2021.7.20 评测报告提交

2021.7.30 公布结果

2021.8.13-8.15 CCL2021 评测研讨会

== '''评测奖金''' ==
受中国中文信息学会资助，本次评测设置了2万元奖金，每个赛道各1万元

第一名：5000元

第二名：3000元

第三名：2000元

== '''评测数据下载''' ==
'''数据使用协议'''

下载数据前需要签署数据使用协议，在收到数据使用协议后我们会发给您解压密码。

* [http://hlt.suda.edu.cn/images/c/c1/Codt-sharing-agreement-2021.3-v1.pdf CODT2.0数据使用协议下载]（团队负责人签字，如果是公司，必须是公司法人签字）
* [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/alibaba-unlabeled-data-share-2019.4.4.doc PB-PC-unlabeled数据使用协议下载] (机构、学院、学校或公司盖章）
* 请仔细阅读两个协议，并根据要求签署两个协议，然后统一发邮件给周明月同学(sudaccl2021dep@163.com)
* 请用机构的官方邮箱发送协议
** 由于版权保护问题，我们只面向机构、单位等团体开放数据；对于公司，我们仅面向从事句法分析研究的公司开放数据，签署协议前请先咨询我们是否有可能共享数据；解释权归我们课题组。
** 如果您不需要无标注数据，那么只需要签署标注数据使用协议。

'''训练集/开发集/无标注数据下载'''

* [http://hlt.suda.edu.cn/index.php/CCL2021_data_readme 数据说明Readme]
* 训练集/开发集/无标注数据
** [http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/train_dev_2021.4.1.zip 训练集开发集数据下载]
** [http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/ZX_FIN_LEG_unlabeled_2021.4.1.zip ZX、FIN、LEG无标注数据下载]
** [http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/PB_PC_unlabeled_2021.4.1.zip PB、PC无标注数据下载]

'''预训练词向量下载'''

我们分别提供了50维、100维、300维的预训练词向量
[http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/wordembedding.zip 预训练词向量下载]

'''fine-tune-bert下载'''

我们提供了在bert-base-chinese上微调3轮的结果
[http://hlt.suda.edu.cn/LA/myzhou/codt2.0_ccl2021/ccl_ft3.zip fine-tune-bert下载]

== '''评价结果提交''' ==
提交结果时，请将测试文件打包（zip/tar.gz）发送给李帅克同学（skli20@stu.suda.edu.cn）。压缩包内请按照如下目录/文件命名和组织形式（没有参加的子任务忽略即可），方便我们后续处理。请参考Dev数据及Readme，确保每个文件严格采用CoNLL格式。
subtask1-closed/PC-Test.out.conll
subtask1-closed/PB-Test.out.conll
subtask1-closed/ZX-Test.out.conll
...
subtask2-open/PC-Test.out.conll
subtask2-open/PB-Test.out.conll
subtask2-open/ZX-Test.out.conll

== '''评价报告提交''' ==
*所有的参赛单位都需要提交一份简要的报告,介绍清楚评测中使用的方法。一方面我们需要确保您使用的方法符合我们的任务要求，另一方面我们提交overview文章时需要使用。请大家在7月15日前以PDF形式提交到李帅克邮箱（skli20@stu.suda.edu.cn）

== '''评价脚本下载''' ==
* [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/evaluate.py 评价脚本下载]
** 执行命令：python3 evaluate.py gold.conll sys.conll
** 数据集需要为CoNLL格式，与我们提供的数据集格式相同。

== '''评测背景''' ==
近年来，随着深度学习技术的发展，尤其是预训练语言模型ELMo/BERT的提出，封闭领域规范文本上的句法分析性能已经达到了比较高的水平。但是，在跨领域文本，尤其是不规范的网络文本上，句法分析的性能会急剧下降。同时，如何在深度学习模型中利用结构化的句法信息也是NLP领域的重要研究问题之一，但是受到真实文本上句法性能的限制。因此，领域移植问题已经成为句法分析研究的重要挑战。为了更充分地支持句法分析领域移植研究，我们自2017年起标注了多领域句法数据集，并命名为汉语开放依存树库（CODT），目前包含16万句，涵盖10多个领域或来源的文本。2019年，我们依托NLPCC-2019会议，组织了第一届跨领域句法分析评测(Peng et al., 2019)，针对“单源零样本”和“单源少样本”领域移植场景，发布了CODT1.0数据集，包含4万句、对应4个领域。
今年，我们依托CCL-2021会议，组织第二届跨领域句法分析评测，针对“多源零样本”领域移植场景，发布CODT2.0数据集，包含7万句，对应6个领域。其中，通过错误检测和人工校正，CODT2.0与CODT1.0重合的数据的质量进一步提升。

== '''数据设置''' ==
在本次评测任务中，我们提供约29K句平衡语料（BC）、9K句产品博客（PB）、10K句产品评论（PC）、8K句财经资讯（FIN）、8K句法律资讯（LEG）和3K句网络小说（ZX）六个领域的数据。其中BC作为基础数据，只作为源领域。后五个领域既可以作为源领域，也可以作为目标领域。另外，针对后五个领域，我们还提供了大规模的无标注数据。

{| class="wikitable" style="text-align: center;"
|-
! !! train !! dev !! test !! unlabeled
|-
| BC || 26.1K || 1K || 2K || 0
|-
| PB || 5K || 1.3K || 2.5K || 291K
|-
| PC || 6.8K || 1.3K || 2.6K || 349K
|-
| FIN || 5K || 1K || 1.8K || 118K
|-
| LEG || 5K || 1K || 1.9K || 150K
|-
| ZX || 1.5K || 0.5K || 1K || 33K
|}

== '''任务设置''' ==
本次评测分为两个赛道:

(Closed)：多源零样本领域移植（封闭）

(Open)：多源零样本领域移植（开放）

含义如下：
* '''多源的含义'''：可以使用其他领域的训练数据作为源领域数据。例如，当目标领域为ZX时，可以使用其他五个领域（包括BC）的训练数据，即BC/PB/PC/FIN/LEG-Train。
* '''零样本的含义'''：不能使用对应领域的训练数据。例如，当目标领域为ZX时，那么ZX-Train不可作为训练数据使用。

* '''Closed赛道的要求'''：
1）只能使用我们提供的数据和信息，包括：所有数据我们都提供分词、自动词性；我们会提供pre-trained word embedding (在Chinese Gigaword 3和所有领域Train/Unlabeled数据上训练word2vec得到)。

2）不可以使用其他开源工具得到新的信息，如词性、词义等特征。

3）不可以使用其他的资源，如词典、句法语义树库等。

4）不可以使用大规模无标注数据上训练的预训练语言模型（任何开源的通用语言模型），但是可以通过预训练语言模型的技术来使用我们提供的无标注数据。即可以使用在我们提供的有标注和无标注数据上从头开始训练预训练模型。

5）不可以使用NLPCC-2019 CODT1.0的数据。

* '''Open赛道的要求'''：

1）可以使用任何可通过某种公开方式获取（包括购买）的数据、资源或工具。但是建议参赛者在系统报告中明确说明使用的外部资源以及这些外部资源对性能的影响。

* '''注意事项'''
1）开发集的使用：不允许将Dev加入到训练数据中。Dev数据只可以用来调参和选择模型。

2）无标注数据（Unlabeled）的使用：不限制。同时，6个领域的Train中的句子，只要不使用句法标注信息，也都可以作为无标注数据使用。

3）预训练语言模型微调：我们将Google发布的bert-base-chinese在所有无标注数据（6个领域的Train，5个领域的Unlabeled数据）进行多轮微调（3轮或10轮），即继续使用语言模型损失函数继续训练。这个模型仅限于Open赛道上的系统使用。我们做这个事情的目的是方便大家试试这个方向，避免大家浪费资源，重复训练。

'''如果您对规则有疑问，请随时联系我们确认。如果违反规则，发现后，成绩会直接取消。'''

2021-03-22T08:00:05Z

Myzhou：

CCL2021

2021-03-22T07:59:19Z

Myzhou：/* CCL-2021依存句法分析领域移植评测 */

== '''CCL-2021依存句法分析领域移植评测''' ==
* [http://cips-cl.org/static/CCL2021/cclEval/tasks/index.html CCL-2021评测页面]
* [http://hlt.suda.edu.cn/images/2/26/%E4%BE%9D%E5%AD%98%E5%8F%A5%E6%B3%95%E9%A2%86%E5%9F%9F%E7%A7%BB%E6%A4%8D%E8%AF%84%E6%B5%8Bccl2021-cfp-v4.0.pdf 我们的参赛邀请函pdf]

== '''评测日程''' ==
2021.4.1 开始并公布训练集、开发集、无标注数据

2021.** 公布无答案测试集

2021.** 公布有答案的测试集

2021.** 提交截止

2021.** 公布结果

2021.7.1 评测结束

== '''评测奖金''' ==
受中国中文信息学会资助，本次评测设置了2万元奖金，每个赛道各1万元

第一名：5000元

第二名：3000元

第三名：2000元

== '''评测数据下载''' ==
'''数据使用协议'''

下载数据前需要签署数据使用协议，在收到数据使用协议后我们会发给您解压密码。
请您仔细阅读如下两个协议，并根据要求签署两个协议，然后统一发邮件给周明月同学
* [CODT2.0数据使用协议下载]（团队负责人签字，如果是公司，必须是公司法人签字）
* [PB-PC-unlabeled数据使用协议下载] (机构、学院、学校或公司盖章）

'''训练集/开发集/无标注数据'''

[数据说明Readme]

'''预训练词向量下载'''

我们分别提供了50维、100维、300维的预训练词向量

'''fine-tune-bert'''

我们提供了在bert-base-chinese上微调3轮的结果

== '''评价脚本下载''' ==
* [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/evaluate.py 评价脚本下载]
** 执行命令：python3 evaluate.py gold.conll sys.conll
** 数据集需要为CoNLL格式，与我们提供的数据集格式相同。

== '''评测背景''' ==
近年来，随着深度学习技术的发展，尤其是预训练语言模型ELMo/BERT的提出，封闭领域规范文本上的句法分析性能已经达到了比较高的水平。但是，在跨领域文本，尤其是不规范的网络文本上，句法分析的性能会急剧下降。同时，如何在深度学习模型中利用结构化的句法信息也是NLP领域的重要研究问题之一，但是受到真实文本上句法性能的限制。因此，领域移植问题已经成为句法分析研究的重要挑战。为了更充分地支持句法分析领域移植研究，我们自2017年起标注了多领域句法数据集，并命名为汉语开放依存树库（CODT），目前包含16万句，涵盖10多个领域或来源的文本。2019年，我们依托NLPCC-2019会议，组织了第一届跨领域句法分析评测(Peng et al., 2019)，针对“单源零样本”和“单源少样本”领域移植场景，发布了CODT1.0数据集，包含4万句、对应4个领域。
今年，我们依托CCL-2021会议，组织第二届跨领域句法分析评测，针对“多源零样本”领域移植场景，发布CODT2.0数据集，包含7万句，对应6个领域。其中，通过错误检测和人工校正，CODT2.0与CODT1.0重合的数据的质量进一步提升。

== '''数据设置''' ==
在本次评测任务中，我们提供约29K句平衡语料（BC）、9K句产品博客（PB）、10K句产品评论（PC）、8K句财经资讯（FIN）、8K句法律资讯（LEG）和3K句网络小说（ZX）六个领域的数据。其中BC作为基础数据，只作为源领域。后五个领域既可以作为源领域，也可以作为目标领域。另外，针对后五个领域，我们还提供了大规模的无标注数据。

{| class="wikitable" style="text-align: center;"
|-
! !! train !! dev !! test !! unlabeled
|-
| BC || 26.1K || 1K || 2K || 0
|-
| PB || 5K || 1.3K || 2.5K || 291K
|-
| PC || 6.8K || 1.3K || 2.6K || 349K
|-
| FIN || 5K || 1K || 1.8K || 118K
|-
| LEG || 5K || 1K || 1.9K || 150K
|-
| ZX || 1.5K || 0.5K || 1K || 33K
|}

== '''任务设置''' ==
本次评测分为两个赛道:

(Closed)：多源零样本领域移植（封闭）

(Open)：多源零样本领域移植（开放）

含义如下：
* '''多源的含义'''：可以使用其他领域的训练数据作为源领域数据。例如，当目标领域为ZX时，可以使用其他五个领域（包括BC）的训练数据，即BC/PB/PC/FIN/LEG-Train。
* '''零样本的含义'''：不能使用对应领域的训练数据。例如，当目标领域为ZX时，那么ZX-Train不可作为训练数据使用。

* '''Closed赛道的要求'''：
1）只能使用我们提供的数据和信息，包括：所有数据我们都提供分词、自动词性；我们会提供pre-trained word embedding (在Chinese Gigaword 3和所有领域Train/Unlabeled数据上训练word2vec得到)。

2）不可以使用其他开源工具得到新的信息，如词性、词义等特征。

3）不可以使用其他的资源，如词典、句法语义树库等。

4）不可以使用大规模无标注数据上训练的预训练语言模型（任何开源的通用语言模型），但是可以通过预训练语言模型的技术来使用我们提供的无标注数据。即可以使用在我们提供的有标注和无标注数据上从头开始训练预训练模型。

5）不可以使用NLPCC-2019 CODT1.0的数据。

* '''Open赛道的要求'''：

1）可以使用任何可通过某种公开方式获取（包括购买）的数据、资源或工具。但是建议参赛者在系统报告中明确说明使用的外部资源以及这些外部资源对性能的影响。

* '''注意事项'''
1）开发集的使用：不允许将Dev加入到训练数据中。Dev数据只可以用来调参和选择模型。

2）无标注数据（Unlabeled）的使用：不限制。同时，6个领域的Train中的句子，只要不使用句法标注信息，也都可以作为无标注数据使用。

3）预训练语言模型微调：我们将Google发布的bert-base-chinese在所有无标注数据（6个领域的Train，5个领域的Unlabeled数据）进行多轮微调（3轮或10轮），即继续使用语言模型损失函数继续训练。这个模型仅限于Open赛道上的系统使用。我们做这个事情的目的是方便大家试试这个方向，避免大家浪费资源，重复训练。

'''如果您对规则有疑问，请随时联系我们确认。如果违反规则，发现后，成绩会直接取消。'''

文件:依存句法领域移植评测ccl2021-cfp-v4.0.pdf

2021-03-22T07:58:54Z

Myzhou：

CCL2021

2021-03-22T06:35:13Z

Myzhou：/* CCL-2021依存句法分析领域移植评测 */

== '''CCL-2021依存句法分析领域移植评测''' ==
* [http://cips-cl.org/static/CCL2021/cclEval/tasks/index.html CCL-2021评测页面]
* [http://hlt.suda.edu.cn/images/c/cf/%E4%BE%9D%E5%AD%98%E5%8F%A5%E6%B3%95%E9%A2%86%E5%9F%9F%E7%A7%BB%E6%A4%8D%E8%AF%84%E6%B5%8Bccl2021-cfp-v3.0.pdf 我们的参赛邀请函pdf]

== '''评测背景''' ==
近年来，随着深度学习技术的发展，尤其是预训练语言模型ELMo/BERT的提出，封闭领域规范文本上的句法分析性能已经达到了比较高的水平。但是，在跨领域文本，尤其是不规范的网络文本上，句法分析的性能会急剧下降。同时，如何在深度学习模型中利用结构化的句法信息也是NLP领域的重要研究问题之一，但是受到真实文本上句法性能的限制。因此，领域移植问题已经成为句法分析研究的重要挑战。为了更充分地支持句法分析领域移植研究，我们自2017年起标注了多领域句法数据集，并命名为汉语开放依存树库（CODT），目前包含16万句，涵盖10多个领域或来源的文本。2019年，我们依托NLPCC-2019会议，组织了第一届跨领域句法分析评测(Peng et al., 2019)，针对“单源零样本”和“单源少样本”领域移植场景，发布了CODT1.0数据集，包含4万句、对应4个领域。
今年，我们依托CCL-2021会议，组织第二届跨领域句法分析评测，针对“多源零样本”领域移植场景，发布CODT2.0数据集，包含7万句，对应6个领域。其中，通过错误检测和人工校正，CODT2.0与CODT1.0重合的数据的质量进一步提升。

== '''数据设置''' ==
在本次评测任务中，我们提供约29K句平衡语料（BC）、9K句产品博客（PB）、10K句产品评论（PC）、8K句财经资讯（FIN）、8K句法律资讯（LEG）和3K句网络小说（ZX）六个领域的数据。其中BC作为基础数据，只作为源领域。后五个领域既可以作为源领域，也可以作为目标领域。另外，针对后五个领域，我们还提供了大规模的无标注数据。

{| class="wikitable" style="text-align: center;"
|-
! !! train !! dev !! test !! unlabeled
|-
| BC || 26.1K || 1K || 2K || 0
|-
| PB || 5K || 1.3K || 2.5K || 291K
|-
| PC || 6.8K || 1.3K || 2.6K || 349K
|-
| FIN || 5K || 1K || 1.8K || 118K
|-
| LEG || 5K || 1K || 1.9K || 150K
|-
| ZX || 1.5K || 0.5K || 1K || 33K
|}

== '''任务设置''' ==
本次评测分为两个赛道:

(Closed)：多源零样本领域移植（封闭）

(Open)：多源零样本领域移植（开放）

含义如下：
* '''多源的含义'''：可以使用其他领域的训练数据作为源领域数据。例如，当目标领域为ZX时，可以使用其他五个领域（包括BC）的训练数据，即BC/PB/PC/FIN/LEG-Train。
* '''零样本的含义'''：不能使用对应领域的训练数据。例如，当目标领域为ZX时，那么ZX-Train不可作为训练数据使用。

* '''Closed赛道的要求'''：
1）只能使用我们提供的数据和信息，包括：所有数据我们都提供分词、自动词性；我们会提供pre-trained word embedding (在Chinese Gigaword 3和所有领域Train/Unlabeled数据上训练word2vec得到)。

2）不可以使用其他开源工具得到新的信息，如词性、词义等特征。

3）不可以使用其他的资源，如词典、句法语义树库等。

4）不可以使用大规模无标注数据上训练的预训练语言模型（任何开源的通用语言模型），但是可以通过预训练语言模型的技术来使用我们提供的无标注数据。即可以使用在我们提供的有标注和无标注数据上从头开始训练预训练模型。

5）不可以使用NLPCC-2019 CODT1.0的数据。

* '''Open赛道的要求'''：

1）可以使用任何可通过某种公开方式获取（包括购买）的数据、资源或工具。但是建议参赛者在系统报告中明确说明使用的外部资源以及这些外部资源对性能的影响。

* '''注意事项'''
1）开发集的使用：不允许将Dev加入到训练数据中。Dev数据只可以用来调参和选择模型。

2）无标注数据（Unlabeled）的使用：不限制。同时，6个领域的Train中的句子，只要不使用句法标注信息，也都可以作为无标注数据使用。

3）预训练语言模型微调：我们将Google发布的bert-base-chinese在所有无标注数据（6个领域的Train，5个领域的Unlabeled数据）进行多轮微调（3轮或10轮），即继续使用语言模型损失函数继续训练。这个模型仅限于Open赛道上的系统使用。我们做这个事情的目的是方便大家试试这个方向，避免大家浪费资源，重复训练。

'''如果您对规则有疑问，请随时联系我们确认。如果违反规则，发现后，成绩会直接取消。'''

== '''评测日程''' ==
2021.4.1 开始并公布训练集、开发集、无标注数据

2021.** 公布无答案测试集

2021.** 公布有答案的测试集

2021.** 提交截止

2021.** 公布结果

2021.7.1 评测结束

== '''评测奖金''' ==
受中国中文信息学会资助，本次评测设置了2万元奖金，每个赛道各1万元

第一名：5000元

第二名：3000元

第三名：2000元

== '''评测数据下载''' ==
'''数据使用协议'''

下载数据前需要签署数据使用协议，在收到数据使用协议后我们会发给您解压密码。
请您仔细阅读如下两个协议，并根据要求签署两个协议，然后统一发邮件给周明月同学
* [标注数据使用协议下载]（团队负责人签字，如果是公司，必须是公司法人签字）
* [无标注数据使用协议下载] (机构、学院、学校或公司盖章）

'''训练集/开发集/无标注数据'''

[数据说明Readme]

'''预训练词向量下载'''

我们分别提供了50维、100维、300维的预训练词向量

'''fine-tune-bert'''

我们分别提供了在bert-base-chinese上微调3轮、10轮的结果

== '''评价脚本下载''' ==
* [http://hlt.suda.edu.cn/~zhli/nlpcc2019-shared-task/evaluate.py 评价脚本下载]
** 执行命令：python3 evaluate.py gold.conll sys.conll
** 数据集需要为CoNLL格式，与我们提供的数据集格式相同。