Data-anno-book-v2

2021-3-22: 重启，用1-2周，每天平均2小时，改出一个新的版本。注意：要尽可能写得浅显易懂。

初级篇和高级篇的分割清晰一些。词性标注作为例子挺好。标注任务的分类不要写在初级版，太难了。

关于知识、数据的讨论，可以写一节，简单明了的，不要太复杂。




TODO:
初级版：
1.1节没写全（李正华）
2.2 节 （龚晨：我把小牛的文档给你，你参考着写，没有的话，可以等）
2.2.1节标注任务分类中的分类标注，目前写的是电影题材分类，词性标注的例子，需要补充大纲中情感分类、图片分类、网页相关性分类的例子 
2.2.2节写了依存句法和语义角色标注的例子，需要补充大纲中事件标注和知识图谱三元组的例子
2.2.3分割标注增加图片切割例子
2.2.4抽取标注增加2D拉框例子
2.3 定义：人的知识注入数据还没写（李正华）
6.1节质量评价中安插地雷、随机采样、一致率、应用评估等还没有展开写（目前写在高级篇了）（龚晨：概括的加一下这个讨论）
7.2.2人员管理审核专家和权威专家的薪酬计算没写全（周明月）

高级版：
2.3 标注规范实例，目前以依存句法和语义角色标注为例，按大纲中以命名实体标注为例？（暂时先放着）
4.3 标注工具主要功能，还需补充数据统计分析、信息发布、信息查询、交流与沟通功能（龚晨）
5.4 待标注数据分配，补充三个侧面：确定流程、确定标注者、指定截止时间（李正华）
第6章中考核的奖励与惩罚（李正华）
高级篇中介绍一下unsupervised supervised RL的分类，画个图来介绍supervised learning的过程：数据标注，学习、预测和评价（三部分）

  本书的一些特点：
	标注流程的重视：多人标注
	 重视标注质量，数据质量不高，再大规模也没用
	标注方法很重要，主动学习和局部标注，其实也是模型和人的协同
        需求分析->任务定义->标注指南->小规模试标注->大规模标注 （不断修正）
        任务定义时：是否分解为多个标注任务？
	标注工具、标注指南、标注方法和流程


写书记录：
  2020-7-22：2.5小时
  2020-7-23：3.2小時（得專注）；后面写一下具体的时间段
  7-24：2小时（19:00-21:00）
  7-25：8:00-9:00 10:05-11:45 晚上1.5小时 共3小时
  7-26：目标2小时，写了0.5小时，效率不高，陪孩子画画，晚上游泳。一些杂事，自己主动看各种信息时间太久
  7-27：写了3小时左右，效率挺高，陪孩子画画
　7-28：上午陪孩子画画，百度会议，目标3小时，然后其他时间写审稿意见1-2个。没审稿。差不多达到3小时
  7-29: 3小时，审稿
  7-30: 审稿，2小时
  7-31：审稿，其他杂事，0.5小时
  8-1：目标3小时：9:15-xx
  8.5　22:30 这两天家里事情比较多，今天在学校集中处理了一些事情。 写了0.5小时
  8.6: 目标2小时，基本达成：18：37-20：27
  8.8: 目标3小时，9：50- 上午没弄多少。下午写了比较久。2.5小时。晚上去顾亭喝酒
  8.9：早上起来写了一会0.5小时
  8.10: 今天想粗略的过一遍，图和表需要增加、修改的地方标记一下。将近两小时
  8.11：没啥进展，家里有事，空调的事情，带孩子，晚上买东西啥的，应该见缝插针的写
  8.12：今天事情很多，希望可以写2小时。


  10-10: 专注半个月，写一个更好的版本！每天两小时。


  贡献：
明月写了两章、画3个图（做PPT时）
李嘉诚 标注工具相关部分，半章
侯洋：主动学习和局部标注
亚慧 ？
龚晨 半章
周仕林 标注任务分类
李扬 标注数据的获取、隐私
 

[[1]] 数据标注工程

抽取式标注：从原文中抽取片段，作为答案summarization？ 完形填空

生成式标注：翻译、对话

核验式标注：知识图谱融合

标签式标注：分类

混合式标注：

概念层面，写得更全面：

审核，有多少种方式

标注流程：有多少种方式

报酬：有多种方式

标注人员的形式（全职、兼职）

数据标注工程概述

为什么需要数据标注

人工智能、机器学习需要人工标注数据

问题建模

分类 片段标注 关系标注

标注

标注工具与环境

概念上讲一下工具需要有哪些功能

设计的时候要注意什么

NLP领域公开的一些工具，如brat、..（简要介绍、举例子）

标注结果评价

kappa 一致率 IAA

修改模型、和指南

增加或减少、合并类别

边界的定义

我把概念都讲出来。