深度学习

• 蓝道_RANDALL

  2023-06-01
  机希子习算去是一种形够从效据中学习的算法。然而，我们所肩的“字习”是什么意呢？Mitchell（1997）提供了一个简洁的定义：“对于某类任务T和性能度量P，一个计算机序被认为可以从经验E中学习是指，通过经验E改进后，它在任务T上由性能度量P衡的性能有所提升。”经验E、任务T和性能度量P的定义范围非常宽广，在本书中我们并
• Smile

  2021-01-25
  由L1正则化导出的稀疏性质已经被广泛地用于特征选择（ feature selection）机制。特征选择从可用的特征子集选择出有意义的特征，化简机器学习问题。著名的LASSO（ Tibshirani，1995）（ Least Absolute Shrinkage and Selection Operator）模型将L1惩罚和线性模型结合，并使用最小二乘代价函数。L1惩罚使部分子集的权重为零，表明相应的特征可以被安全地忽略。
• 雨龙真人

  2018-11-04
  (For estimating H^{-1}g), suppose that H is estimated perfectly but has a poor condition number (a number indicating how close a matrix is to be singular). Multiplication by H or its inverse amplifies pre-existing errors, in this case, estimation errors in g.
• 雨龙真人

  2018-11-04
  Methods that compute updates based only on the gradient g are usually relatively robust and can handle smaller batch sizes, like 100. Second-order methods, which also use the Hessian matrix H and compute updates such as H^{-1}g, typically require much larger batch sizes, like 10, 000.
• 雨龙真人

  2018-10-13
  It is important to understand that a large portion of the power of dropout arises from the fact that the masking noise is applied to the hidden units. This can be seen as a form of highly intelligent, adaptive destruction of the raw values of the input. For example, if the model learns a hidden unit h_i that detects a face by finding the nose, then dropping h_i corresponds to erasing the information that there is a nose in the image. The model must learn another h_i that either redundantly encodes the presence of a nose or detects the face by another feature, such as the mouth.
• 雨龙真人

  2018-10-13
  Dropout trains not just a bagged ensemble of models, but an ensemble of models that share hidden units. This means each hidden unit must be able to perform well regardless of which other hidden units are in the model. Hidden units must be prepared to be swapped and interchanged between models.
• 雨龙真人

  2018-09-04
  Another way that has been used in the service of regularizing models is by adding it to the weights. This technique has been used primarily in the context of RNN (jim et al., 1996; Graves, 2011). This can be interpreted as a stochastic implementation of Bayesian inference over the weights. The Bayesian treatment of learning would consider the model weights to be uncertain and representable via a probability distribution that reflects this uncertainty. Adding noise to the weights is a practical, stochastic way to reflect this uncertainty. Noise applied to the weights can also be interpreted as equivalent (under some assumptions) to a more traditional form of regularization, encouraging stability of the function to be learned.
• Liagc

  2018-03-12
  p269 优化数据结构避免高速缓存缺失、使用向量命令等GPU设计为拥有高度并行特性以及很高的内存带宽，同时也付出了一些代价，如相比传统的CPU更慢的时钟速度以及更弱的处理分支运算的能力
• Liagc

  2018-03-12
  正则化偏置项往往会导致欠拟合
• Liagc

  2018-03-12
  这些惩罚和约束有时被设计位编码特定的模型，绝大多数时候为了提高泛化能力
• Liagc

  2018-03-12
  独立同分布假设：假设数据样本是彼此独立的，并且训练集和测试集是同分布的
• Liagc

  2018-03-12
  Society of Mind: 人类的思维是由成千上万个单元共同协作产生，当这些单元组成一个整体时，他们就会产生无限复杂的，我们称之为思想和感情的东西。”
• Liagc

  2018-03-12
  大多数哺乳动物的大脑使用单一的算法就可以解决大部分不同任务分布式表示：可以用不同的神经元来识别不同的东西，比如三个神经元描述颜色，三个神经元描述对象身份
• 志遠²

  2018-01-18
  不确定性有3种可能的来源(1)被建模系统内在的随机性。例如，大多数量子力学的解释，都将亚原子粒子的动力描述为概率的。我们还可以创建一些假设具有随机动态的理论情境，例如一个假想的纸牌游戏，在这个游戏中，我们假设纸牌被真正混洗成了随机顺序。(2)不完全观测。即使是确定的系统，当我们不能观测到所有驱动系统行为的变量时，该系统也会呈现随机性。例如，在 Monty Hall问题中，一个游戏节目的参与者被要求在3个门之间选择，并且会赢得放置在选中门后的奖品。其中两扇门通向山羊，第第3扇扇门通向一辆汽车。选手的每个选择所导致的结果是确定的，但是站在选手的角度，结果是不确定的。（3)不完全建模。当我们使用一些必须舍弃某些观测信息的模型时，舍弃的信息会导致模型的预测出现不确定性。例如，假设我们制作了一个机器人，它可以准确地观察周围每一个对象的位置。在对这些对象将来的位置进行预测时，如果机器人采用的是离散化的空间，那么离散化的方法将使得机器人无法确定对象们的精确位置:因为每个对象都可能处于它被观测到的离散单元的任何一个角落
• 志遠²

  2018-01-16
  尽管我们的确需要一种用以对不确定性进行表示和推理的方法，但是概率论并不能明显地提供我们在人工智能领域需要的所有工具。概率论最初的发展是为了分析事件发生的频率我们可以很容易地看出概率论，对于像在扑克牌游戏中抽出一手特定的牌这种事件的研究中是如何使用的。这类事件往往是可以重复的。当我们说一个结果发生的概率为p，这意味着如果我们反复实验(例如，抽取一手牌)无限限次，有p的比例可能会导致这样的结果。这种推理似乎并不立即适用于那些不可重复的命题。如果一个医生诊断了病人，并说该病人患流感的概率为40%，这意味着非常不同的事情一一我们既不能让病人有无穷多的副本，也没有任何理由去相信病人的不同副本在具有不同的潜在条件下表现出相同的症状。在医生诊断病人的例子中，我们用概率来表示一种信任度( degree of belief)，其中1表示非常肯定病人患有流感，而0表示非常肯定病人没有患流感。前面那种概率直接与事件发生的频率相联系，被称为频率派概率( frequentist probability);而后者涉及确定性水平，被称为贝叶斯概率( Bayesian probability)
• 红色有角F叔

  2017-12-01
  第一，我们想要建模的很多分布的真实情况是比较接近正态分布的。中心极限定理说明很多独立随机变量的和近似服从正态分布。这意味着在实际中，很多复杂系统都可以被成功地建模成正态分布的噪声，即使系统可以被分解成一些更结构化的部分。第二，在具有相同方差的所有可能的概率分布中，正态分布在实数上具有最大的不确定性。因此，我们可以认为正态分布是对模型加入的先验知识最少的分布。
• 李豆瓣9527

  2017-08-30
  For some of these non-distributed algorithms, the output is not constant by parts but instead interpolates between neightboring regions.
• 李豆瓣9527

  2017-08-30
  Examples of learning algorithms based on non-distributed representations include:
• Jeffery

  2017-07-29
  层次：让计算机从经验中学习，并根据层次化的概念体系来理解世界，而每个概念则通过与某些相对简单的概念之间的关系来定义。这些机器学习算法的性能在很大程度上依赖给定数据的表示。然而，对于许多人物来说，我们很难知道应该提取哪些特征。解决这个问题的途径之一是使用机器学习来发掘表示本身，二不仅仅把表示映射到输出。这种方法我们称之为表示学习。深度学习通过其他较简单的表示来表达复杂表示，解决了表示学习中的核心问题。就像计算机程序的长度不存在单一的正确值一样，架构的深度也不存在单一的正确值。控制论Cybernetics，联结主义Connnectionism，深度学习Deep Learning。先行模型无法学习异或XOR函数。这导致了神经网络热潮的第一次大衰退。联结主义的中心思想史，当网络将大量简单的计算单元连接在一起时可以实现智能行为。在那个时候，人们普遍认为深度网络是难以训练的。现在我们知道，20世纪80年代就存在的算法能工做得非常好，但是知道2006年前后都没有体现出来。这可能仅仅由于其计算代价太高，而以当时可用的硬件难以进行足够的试验。最重要的进展是，现在我们有了这些算法得意成功训练所需的资源。监督深度学习算法在每类给定约5000个标注样本情况下一般讲达到可以接受的性能，当至少有1000万个标注样本的数据集用于训练时，它将达到或超过人类表现。几十年来，我们的机器学习模型中每个神经元的连接数量已经与哺乳动物的大脑在同一数量级上。神经图灵机，能学习读取存储单元和向存储单元写入任意内容。这种自我变成技术正处于起步阶段，但原则上未来可以适用于几乎所有的任务。在强化学习中，如DeepMind的AlphaGo，一个自主的智能体必须在没有人类操作者指导的情况下，通过试错来学习执行任务。
• 雨龙真人

  2018-08-31
  Noise injection also works when the noise is applied to the hidden units, which can be seen as doing dataset augmentation at multiple levels of abstraction. Poole et al. (2014) recently showed that this approach can be highly effective provided that the magnitude of the noise is carefully tuned. Dropout, a powerful regularization strategy that will be described in section 7.12, can be seen as a process of constructing new inputs by multiplying by noise.