Common-Terms


Common Terms in DL Scope

This Blog is used to record common terms in deep learning scope. (Keep Updating.)

Model Level

  • sequence transduction models : refers to a kind of model whose input is a sequence and output is still a sequence.(Sequence to Sequence Model).

Algorithm Level

  • byte-pair encoding (BPE) : 解决 (out-of-vocabulary) 问题的一种方法。

    在做nlp的时候,很多时候我们会对语料做一个预处理,生成语料的一个字典。为了不让字典太大,我们通常只会把出现频次大于某个阈值的词丢到字典里边,剩下所有的词都统一编码成#UNK 。这是很经典 很朴素的做法,这种方法不能解决未登录词的问题。未登录词是指 在验证集或测试集出现了训练集从来没见到过的单词。这种未登录词对分词,机器翻译性能影响很大。具体详见 blog :

    https://blog.csdn.net/jmh1996/article/details/89286898

Model Tradeoffs

  • 深度学习模型的退化问题(degrading problems):是指复杂的模型效果反而比相对 simple 的模型差。
    • 核心问题:深层神经网络面临的“难以训练”问题(梯度流难以控制:梯度爆炸,梯度消失)。
    • 解决方法:ResNet:本质就是 shortcut 使得模型更加容易学到恒等变换。从而保证更深的模型至少能够达到与浅层模型相似的效果。(2015年 ImageNet 竞赛)
  • OOV (out-of-vocabulary) Problem:

文章作者: Jason Yuan
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 Jason Yuan !
 上一篇
Implement of Transformer Learning Implement of Transformer Learning
(0) Preface 作者本人了解到 Transformer Bert 这些 2017-2018 年非常 hot 的模型已经有一段时间了。前一段时间在最终学习完成了CS231N课程之后,觉得自己已经达到了一个初级 Researcher 应
2020-03-27
下一篇 
Transformer on Time Series Forecasting Transformer on Time Series Forecasting
Time Series Forecasting with Transformer论文:Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on T
2020-03-27
  目录