“CUP”的版本间的差异

来自SUDA-HLT
跳到导航 跳到搜索
第18行: 第18行:
 
2. 分句:当前版本仅根据句号,感叹号等一些常见符号进行切分。
 
2. 分句:当前版本仅根据句号,感叹号等一些常见符号进行切分。
  
3. 分词:基于BIES标签的神经序列标注模型。由中文BERT在CTB9上fine-tuning得到。
+
3. 分词:基于BIES标签的神经序列标注模型。
  
 
4. 词性标注:传统的BiLSTM神经序列标注模型,加上了CharLSTM特征,训练数据集为CoNLL09。
 
4. 词性标注:传统的BiLSTM神经序列标注模型,加上了CharLSTM特征,训练数据集为CoNLL09。
第24行: 第24行:
 
5. 命名实体识别::通用中文命名实体识别,支持13类实体识别。基于BiLSTM模型+词典+规则的方法。
 
5. 命名实体识别::通用中文命名实体识别,支持13类实体识别。基于BiLSTM模型+词典+规则的方法。
  
6. 依存句法分析:在CODT数据集上训练的Biaffine Parser。
+
6. 依存句法分析:Biaffine Parser。
  
 
TODO:全角半角的转化
 
TODO:全角半角的转化

2020年1月17日 (五) 12:35的版本

汉语理解平台 Chinese Understanding Platform (CUP)

苏大大学人类语言技术研究所(HLT)

维护人员:蒋炜

更新记录

2020.1.8

1. 分词模型使用了大规模训练数据:CTB9、PKU

2. 句法模型使用了大规模训练数据:CODT、CTB、HIT、PMT

3. 分词和句法均使用bert feature

系统介绍

1. 系统功能:输入一个句子,系统会对文本进行分析,包括分句,分词,词性,依存句法和命名实体识别五个部分。目前默认的输入最大长度为512字符,空白字符均无效。

2. 分句:当前版本仅根据句号,感叹号等一些常见符号进行切分。

3. 分词:基于BIES标签的神经序列标注模型。

4. 词性标注:传统的BiLSTM神经序列标注模型,加上了CharLSTM特征,训练数据集为CoNLL09。

5. 命名实体识别::通用中文命名实体识别,支持13类实体识别。基于BiLSTM模型+词典+规则的方法。

6. 依存句法分析:Biaffine Parser。

TODO:全角半角的转化

词性标记说明

词性 名称 demo显示
AD 副词 副词
AS 动态助词 动态助词
BA 把字结构
CC 并列连接词 并列连词
CD 限定数量词 限定数词
CS 从属连接词 从属连词
DEC 补语或名词化 从句-的
DEG 关联或所有格 所有-的
DER 补语短语“得” 补语-得
DEV 方式“地” 方式-地
DT 限定词 限定词
ETC 等等
FW 外来词 外来词
IJ 感叹词 感叹词
JJ 名词修饰词 名词修饰词
LB 长“被”结构 长-被
LC 方位词 方位词
M 量词 量词
MSP 其他助词 其他助词
NN 名词 名词
NR 专有名词 专有名词
NT 时间名词 时间名词
OD 数词 数词
ON 拟声词 拟声词
P 介词 介词
PN 代词 代词
PU 标点符号 标点
SB 短“被”结构 短-被
SP 句末助词 句末助词
VA 谓词性形容词 谓词形容词
VC 系动词 系动词
VE 存现动词 存现动词
VV 动词 动词
X 其他 其他

依存关系说明

依存标签 全拼 说明
adjct adjunct 附加成分
adv adverbial modifier 状语
app appellation 称呼
att attribute modifier 定语
cmp complement modifier 补语
coo coordination construction 并列结构
de de-construction “的”字结构
dfsubj different subject 不同主语
exp explaination 进一步解释
frag fragment 片段
iobj indirect-object 间宾
obj object 宾语
pobj preposition object 介宾
pred predicate 谓语
punc punctuation 标点
repet repetition 重复
root sentence root 根节点
sasubj same subject 同主语
sasubj-obj same subject and object 同主语同宾语
subj subject 主语
subj-in subject inside a subject-predicate predicate 主谓谓语中的内部主语

命名实体类型说明

实体标签 中文表示
PER 人名
ORG 组织名
MOV 电影名
TPT 时间点
DAY 日期
PCT 百分比
MNY 货币
ORD 序数词
TEL 电话号码
RACE 民族
JOB 职业
EML 邮箱