2020年7月26日 (日) 08:45的版本

  本书的一些特点：
	标注流程的重视：多人标注
	 重视标注质量，数据质量不高，再大规模也没用
	标注方法很重要，主动学习和局部标注，其实也是模型和人的协同
        需求分析->任务定义->标注指南->小规模试标注->大规模标注 （不断修正）
        任务定义时：是否分解为多个标注任务？
	标注工具、标注指南、标注方法和流程

写书记录：

 2020-7-22：2.5小时
 2020-7-23：3.2小時（得專注）；后面写一下具体的时间段
 7-24：2小时（19:00-21:00）
 7-25：8:00-9:00 10:05-11:45 晚上1.5小时 共3小时
 7-26：目标2小时

[[1]] 数据标注工程

抽取式标注：从原文中抽取片段，作为答案summarization？完形填空

生成式标注：翻译、对话

核验式标注：知识图谱融合

标签式标注：分类

混合式标注：

概念层面，写得更全面：

审核，有多少种方式

标注流程：有多少种方式

报酬：有多种方式

标注人员的形式（全职、兼职）

数据标注工程概述

什么是数据标注

为什么需要数据标注

人工智能、机器学习需要人工标注数据

人工评价（manual evaluation）模型的性能

数据标注开发循环（MATTER，由于没有机器学习部分，所以要修改一下）

问题建模

分类片段标注关系标注

标注指南撰写

标注人员选择与管理

招聘

培训与提高

报酬（奖励与惩罚）

标注

标注结果表示

分离式标注

内嵌式标注

标注流程

标注工具与环境

概念上讲一下工具需要有哪些功能

设计的时候要注意什么

NLP领域公开的一些工具，如brat、..（简要介绍、举例子）

标注结果评价

kappa 一致率 IAA

修改模型、和指南

增加或减少、合并类别

边界的定义

我把概念都讲出来。

“Data-anno-book-v2”的版本间的差异