查看“Data-anno-book-v2”的源代码

 <nowiki>
  本书的一些特点：
	标注流程的重视：多人标注
	 重视标注质量，数据质量不高，再大规模也没用
	标注方法很重要，主动学习和局部标注，其实也是模型和人的协同
        需求分析->任务定义->标注指南->小规模试标注->大规模标注 （不断修正）
        任务定义时：是否分解为多个标注任务？
	标注工具、标注指南、标注方法和流程
 </nowiki>

写书记录：
  2020-7-22：2.5小时
  2020-7-23：3.2小時（得專注）；后面写一下具体的时间段
  7-24：2小时（19:00-21:00）
  7-25：8:00-9:00 10:05-11:45 晚上1.5小时 共3小时
  7-26：目标2小时，写了0.5小时，效率不高，陪孩子画画，晚上游泳。一些杂事，自己主动看各种信息时间太久
  7-27：写了3小时左右，效率挺高，陪孩子画画
　7-28：上午陪孩子画画，百度会议，目标3小时，然后其他时间写审稿意见1-2个。没审稿。差不多达到3小时
  7-29: 3小时，审稿
  7-30: 审稿，2小时
  7-31：审稿，其他杂事，0.5小时
  8-1：目标3小时：9:15-xx
  8.5　22:30 这两天家里事情比较多，今天在学校集中处理了一些事情。 写了0.5小时
  8.6: 目标2小时，基本达成：18：37-20：27
  8.8: 目标3小时，9：50- 上午没弄多少。下午写了比较久。2.5小时。晚上去顾亭喝酒
  8.9：早上起来写了一会0.5小时
  8.10: 今天想粗略的过一遍，图和表需要增加、修改的地方标记一下。将近两小时
  8.11：没啥进展，家里有事，空调的事情，带孩子，晚上买东西啥的，应该见缝插针的写
  8.12：今天事情很多，希望可以写2小时。


  项目、审稿等工作见缝插针的进行，效率高一点。

  

[[http://120.132.13.131:8080/wiki/index.php/Book-nlp-foundation]]
数据标注工程

抽取式标注：从原文中抽取片段，作为答案summarization？ 完形填空

生成式标注：翻译、对话

核验式标注：知识图谱融合

标签式标注：分类

混合式标注：

概念层面，写得更全面：

审核，有多少种方式

标注流程：有多少种方式

报酬：有多种方式

标注人员的形式（全职、兼职）




= 数据标注工程概述 =

== 什么是数据标注 == 
== 为什么需要数据标注 ==

人工智能、机器学习需要人工标注数据

=== 人工评价（manual evaluation）模型的性能 ===

== 数据标注开发循环（MATTER，由于没有机器学习部分，所以要修改一下） ==



= 问题建模 =

分类 片段标注 关系标注


= 标注指南撰写 =

= 标注人员选择与管理 =

== 招聘 ==

== 培训与提高 ==

== 报酬（奖励与惩罚） ==

= 标注 =

== 标注结果表示 ==

=== 分离式标注 ===

=== 内嵌式标注 ===

== 标注流程 == 

== 标注工具与环境 ==

概念上讲一下工具需要有哪些功能

设计的时候要注意什么

NLP领域公开的一些工具，如brat、..（简要介绍、举例子）

= 标注结果评价 =

kappa 一致率 IAA

= 修改模型、和指南 =

增加或减少、合并类别

边界的定义

我把概念都讲出来。

= 报告（标注项目） =



= 数据标注项目实例 =

== Penn Treebank ==
== CODT ==
== ImageNet ==