查看“Data-anno-book-v2”的源代码

 <nowiki>

2021-3-22: 重启，用1-2周，每天平均2小时，改出一个新的版本。注意：要尽可能写得浅显易懂。

初级篇和高级篇的分割清晰一些。词性标注作为例子挺好。标注任务的分类不要写在初级版，太难了。

关于知识、数据的讨论，可以写一节，简单明了的，不要太复杂。




TODO:
初级版：
1.1节没写全（李正华）
2.2 节 （龚晨：我把小牛的文档给你，你参考着写，没有的话，可以等）
2.2.1节标注任务分类中的分类标注，目前写的是电影题材分类，词性标注的例子，需要补充大纲中情感分类、图片分类、网页相关性分类的例子 
2.2.2节写了依存句法和语义角色标注的例子，需要补充大纲中事件标注和知识图谱三元组的例子
2.2.3分割标注增加图片切割例子
2.2.4抽取标注增加2D拉框例子
2.3 定义：人的知识注入数据还没写（李正华）
6.1节质量评价中安插地雷、随机采样、一致率、应用评估等还没有展开写（目前写在高级篇了）（龚晨：概括的加一下这个讨论）
7.2.2人员管理审核专家和权威专家的薪酬计算没写全（周明月）

高级版：
2.3 标注规范实例，目前以依存句法和语义角色标注为例，按大纲中以命名实体标注为例？（暂时先放着）
4.3 标注工具主要功能，还需补充数据统计分析、信息发布、信息查询、交流与沟通功能（龚晨）
5.4 待标注数据分配，补充三个侧面：确定流程、确定标注者、指定截止时间（李正华）
第6章中考核的奖励与惩罚（李正华）
高级篇中介绍一下unsupervised supervised RL的分类，画个图来介绍supervised learning的过程：数据标注，学习、预测和评价（三部分）

  本书的一些特点：
	标注流程的重视：多人标注
	 重视标注质量，数据质量不高，再大规模也没用
	标注方法很重要，主动学习和局部标注，其实也是模型和人的协同
        需求分析->任务定义->标注指南->小规模试标注->大规模标注 （不断修正）
        任务定义时：是否分解为多个标注任务？
	标注工具、标注指南、标注方法和流程


写书记录：
  2020-7-22：2.5小时
  2020-7-23：3.2小時（得專注）；后面写一下具体的时间段
  7-24：2小时（19:00-21:00）
  7-25：8:00-9:00 10:05-11:45 晚上1.5小时 共3小时
  7-26：目标2小时，写了0.5小时，效率不高，陪孩子画画，晚上游泳。一些杂事，自己主动看各种信息时间太久
  7-27：写了3小时左右，效率挺高，陪孩子画画
　7-28：上午陪孩子画画，百度会议，目标3小时，然后其他时间写审稿意见1-2个。没审稿。差不多达到3小时
  7-29: 3小时，审稿
  7-30: 审稿，2小时
  7-31：审稿，其他杂事，0.5小时
  8-1：目标3小时：9:15-xx
  8.5　22:30 这两天家里事情比较多，今天在学校集中处理了一些事情。 写了0.5小时
  8.6: 目标2小时，基本达成：18：37-20：27
  8.8: 目标3小时，9：50- 上午没弄多少。下午写了比较久。2.5小时。晚上去顾亭喝酒
  8.9：早上起来写了一会0.5小时
  8.10: 今天想粗略的过一遍，图和表需要增加、修改的地方标记一下。将近两小时
  8.11：没啥进展，家里有事，空调的事情，带孩子，晚上买东西啥的，应该见缝插针的写
  8.12：今天事情很多，希望可以写2小时。


  10-10: 专注半个月，写一个更好的版本！每天两小时。


  贡献：
明月写了两章、画3个图（做PPT时）
李嘉诚 标注工具相关部分，半章
侯洋：主动学习和局部标注
亚慧 ？
龚晨 半章
周仕林 标注任务分类
李扬 标注数据的获取、隐私
 </nowiki>

[[http://120.132.13.131:8080/wiki/index.php/Book-nlp-foundation]]
数据标注工程

抽取式标注：从原文中抽取片段，作为答案summarization？ 完形填空

生成式标注：翻译、对话

核验式标注：知识图谱融合

标签式标注：分类

混合式标注：

概念层面，写得更全面：

审核，有多少种方式

标注流程：有多少种方式

报酬：有多种方式

标注人员的形式（全职、兼职）




= 数据标注工程概述 =

== 什么是数据标注 == 
== 为什么需要数据标注 ==

人工智能、机器学习需要人工标注数据

=== 人工评价（manual evaluation）模型的性能 ===

== 数据标注开发循环（MATTER，由于没有机器学习部分，所以要修改一下） ==



= 问题建模 =

分类 片段标注 关系标注


= 标注指南撰写 =

= 标注人员选择与管理 =

== 招聘 ==

== 培训与提高 ==

== 报酬（奖励与惩罚） ==

= 标注 =

== 标注结果表示 ==

=== 分离式标注 ===

=== 内嵌式标注 ===

== 标注流程 == 

== 标注工具与环境 ==

概念上讲一下工具需要有哪些功能

设计的时候要注意什么

NLP领域公开的一些工具，如brat、..（简要介绍、举例子）

= 标注结果评价 =

kappa 一致率 IAA

= 修改模型、和指南 =

增加或减少、合并类别

边界的定义

我把概念都讲出来。

= 报告（标注项目） =



= 数据标注项目实例 =

== Penn Treebank ==
== CODT ==
== ImageNet ==