“Data-anno-book”的版本间的差异
跳到导航
跳到搜索
| 第33行： | 第33行： | ||
= 标注流程（方法） = | = 标注流程（方法） = | ||
| − | + | == 单人标注 == | |
| − | + | == 多人标注 == | |
| − | 专家审核 | + | == 专家审核 == |
| + | |||
| + | == 确定答案的机制 == | ||
| + | |||
| + | = 质量评估（标注人员的标注质量 vs. 整个项目的质量） = | ||
| + | |||
| + | == 随机抽检 == | ||
| + | |||
| + | == Kappa、一致率等 == | ||
= 标注实施 = | = 标注实施 = | ||
| 第44行： | 第52行： | ||
== 人员招聘和培训 == | == 人员招聘和培训 == | ||
== 质量评估 == | == 质量评估 == | ||
| + | |||
| + | == 报酬计算和支付 == | ||
2020年6月15日 (一) 02:00的版本
一个完整的数据标注项目，由以下几部分构成
需求分析
标注规范
标注规范制定的考虑因素
初版标注规范的制定
标注规范的更新
如何讨论：线上线下 奖励机制 什么时候要大改规范，什么时候只要打补丁 规范制定要有几个总体的原则和框架，大的原则和框架如果不受影响，就不用大改，否则就要大改。
标注工具
标注系统设计的考虑因素
安全性、便捷性
常用框架
本地工具，如MFC
服务器客户端框架，浏览器标注
浏览器支持、ipad设备支持
公开平台和工具
snap