Data-anno-book

来自SUDA-HLT
Zhli(讨论 | 贡献)2020年6月15日 (一) 02:00的版本
跳到导航 跳到搜索

一个完整的数据标注项目,由以下几部分构成

需求分析

标注规范

标注规范制定的考虑因素

初版标注规范的制定

标注规范的更新

 如何讨论:线上线下
 奖励机制
 什么时候要大改规范,什么时候只要打补丁
 规范制定要有几个总体的原则和框架,大的原则和框架如果不受影响,就不用大改,否则就要大改。

标注工具

标注系统设计的考虑因素

安全性、便捷性

常用框架

本地工具,如MFC

服务器客户端框架,浏览器标注

浏览器支持、ipad设备支持

公开平台和工具

snap

标注流程(方法)

单人标注

多人标注

专家审核

确定答案的机制

质量评估(标注人员的标注质量 vs. 整个项目的质量)

随机抽检

Kappa、一致率等

标注实施

标注流程设计

人员招聘和培训

质量评估

报酬计算和支付