Starry, starry night
-
Relation Extraction
Relation Extraction
-
Transformer
Transformer
-
pre-train
从现在的大趋势来看,使用某种模型预训练一个语言模型看起来是一种比较靠谱的方法。从之前AI2的 ELMo,到 OpenAI的fine-tune transformer,再到Google的这个BERT,全都是对预训练的语言模型的应用。
-
weakly supervision
弱监督学习
-
Attention
Attention
-
分类器性能指标:ROC曲线、AUC值
ROC 曲线
-
梯度消失和梯度爆炸
梯度消失、爆炸
-
Reinforcement Learning
Markov Decision Process(MDP)
-
Adversarial Learning
traditional ML:optimization: Adversarial ML: game theory:
-
Attention
Attention Mechanism