Common Terms in DL Scope
This Blog is used to record common terms in deep learning scope. (Keep Updating.)
Model Level
- sequence transduction models : refers to a kind of model whose input is a sequence and output is still a sequence.(Sequence to Sequence Model).
Algorithm Level
byte-pair encoding (BPE) : 解决 (out-of-vocabulary) 问题的一种方法。
在做nlp的时候,很多时候我们会对语料做一个预处理,生成语料的一个字典。为了不让字典太大,我们通常只会把出现频次大于某个阈值的词丢到字典里边,剩下所有的词都统一编码成#UNK 。这是很经典 很朴素的做法,这种方法不能解决未登录词的问题。未登录词是指 在验证集或测试集出现了训练集从来没见到过的单词。这种未登录词对分词,机器翻译性能影响很大。具体详见 blog :
Model Tradeoffs
- 深度学习模型的退化问题(degrading problems):是指复杂的模型效果反而比相对 simple 的模型差。
- 核心问题:深层神经网络面临的“难以训练”问题(梯度流难以控制:梯度爆炸,梯度消失)。
- 解决方法:ResNet:本质就是 shortcut 使得模型更加容易学到恒等变换。从而保证更深的模型至少能够达到与浅层模型相似的效果。(2015年 ImageNet 竞赛)
- OOV (out-of-vocabulary) Problem: