搜索结果
查询Tags标签： 神经网络，共有 487条记录-
神经网络优化篇：详解调试处理（Tuning process）
调试处理关于训练深度最难的事情之一是要处理的参数的数量，从学习速率\(a\)到Momentum（动量梯度下降法）的参数\(\beta\)。如果使用Momentum或Adam优化算法的参数，\(\beta_{1}\)，\({\beta}_{2}\)和\(\varepsilon\)，也许还得选择层数，也许还得选择不同层中隐藏单元的…
2024/1/24 14:02:58 人评论 次浏览 -
神经网络优化篇：详解局部最优的问题(The problem of local optima)
局部最优的问题 在深度学习研究早期，人们总是担心优化算法会困在极差的局部最优，不过随着深度学习理论不断发展，对局部最优的理解也发生了改变。向展示一下现在怎么看待局部最优以及深度学习中的优化问题。这是曾经人们在想到局部最优时脑海里会出现的图，也许想优化一…
2024/1/23 18:02:33 人评论 次浏览 -
神经网络优化篇：详解学习率衰减(Learning rate decay)
学习率衰减 加快学习算法的一个办法就是随时间慢慢减少学习率，将之称为学习率衰减，来看看如何做到，首先通过一个例子看看，为什么要计算学习率衰减。假设要使用mini-batch梯度下降法，mini-batch数量不大，大概64或者128个样本，在迭代过程中会有噪音（蓝色线），下降朝…
2024/1/22 14:02:51 人评论 次浏览 -
神经网络优化篇：详解Adam 优化算法(Adam optimization algorithm)
Adam 优化算法 在深度学习的历史上，包括许多知名研究者在内，提出了优化算法，并很好地解决了一些问题，但随后这些优化算法被指出并不能一般化，并不适用于多种神经网络，时间久了，深度学习圈子里的人开始多少有些质疑全新的优化算法，很多人都觉得动量（Momentum）梯度…
2024/1/19 14:02:42 人评论 次浏览 -
神经网络优化篇：详解RMSprop
RMSprop 知道了动量（Momentum）可以加快梯度下降，还有一个叫做RMSprop的算法，全称是root mean square prop算法，它也可以加速梯度下降，来看看它是如何运作的。回忆一下之前的例子，如果执行梯度下降，虽然横轴方向正在推进，但纵轴方向会有大幅度摆动，为了分析这个例…
2024/1/18 14:03:16 人评论 次浏览 -
神经网络优化篇：详解指数加权平均数（Exponentially weighted averages）
指数加权平均数比如这儿有去年伦敦的每日温度，所以1月1号，温度是40华氏度，相当于4摄氏度。世界上大部分地区使用摄氏度，但是美国使用华氏度。在1月2号是9摄氏度等等。在年中的时候，一年365天，年中就是说，大概180天的样子，也就是5月末，温度是60华氏度，也就是15摄…
2024/1/12 14:02:55 人评论 次浏览 -
神经网络优化篇：详解Mini-batch 梯度下降（Mini-batch gradient descent）
Mini-batch 梯度下降 机器学习的应用是一个高度依赖经验的过程，伴随着大量迭代的过程，需要训练诸多模型，才能找到合适的那一个，所以，优化算法能够帮助快速训练模型。 其中一个难点在于，深度学习没有在大数据领域发挥最大的效果，可以利用一个巨大的数据集来训练神经…
2024/1/9 18:02:22 人评论 次浏览 -
神经网络优化篇：详解梯度检验（Gradient checking）
梯度检验 梯度检验帮节省了很多时间，也多次帮发现backprop实施过程中的bug，接下来，看看如何利用它来调试或检验backprop的实施是否正确。 假设的网络中含有下列参数，\(W^{[1]}\)和\(b^{[1]}\)……\(W^{[l]}\)和\(b^{[l]}\)，为了执行梯度检验，首先要做的就是，把所有…
2024/1/5 14:02:30 人评论 次浏览 -
川普真会说中文？连嘴型都同步，用VideoReTalking一键生成你的AI播报员
你能想到这种画面吗？霉霉在节目中用普通话接受采访，特朗普在老家用中文脱口秀，蔡明老师操着一口流利的英文调侃潘长江老师.. 这听起来似乎很魔幻，可如今全部由VideoReTalking实现了 你只需要传入一个视频文件和音频文件，它会生成一个新的视频，在这个视频里，不仅人…
2024/1/4 18:02:17 人评论 次浏览 -
神经网络优化篇：详解梯度的数值逼近（Numerical approximation of gradients）
在实施backprop时，有一个测试叫做梯度检验，它的作用是确保backprop正确实施。因为有时候，虽然写下了这些方程式，却不能100%确定，执行backprop的所有细节都是正确的。为了逐渐实现梯度检验，首先说说如何计算梯度的数值逼近。先画出函数\(f\)，标记为\(f\left( \theta…
2024/1/4 14:02:37 人评论 次浏览 -
神经网络优化篇：详解神经网络的权重初始化（Weight Initialization for Deep NetworksVanishing / Exploding gradients）
神经网络的权重初始化 这是一个神经单元初始化地例子，然后再演变到整个深度网络。来看看只有一个神经元的情况，然后才是深度网络。 单个神经元可能有4个输入特征，从\(x_{1}\)到\(x_{4}\)，经过\(a=g(z)\)处理，最终得到\(\hat{y}\)，稍后讲深度网络时，这些输入表示为\…
2024/1/3 14:02:43 人评论 次浏览 -
神经网络训练用什么软件,神经网络训练ai玩游戏
有哪些优秀的关于大脑训练的游戏？20个锻炼大脑的小游戏益智的小游戏，对大脑的锻炼非常有好处1、闭眼吃饭为了有意识地用脑，你可以阻断一些信息，比如视觉信息。闭上眼睛，靠其他感官去寻找食物，再送到嘴里，这样可以刺激触觉、味觉和嗅觉，从而增强大脑中相关区域的功…
2022/10/25 6:24:54 人评论 次浏览 -
动手实现深度学习(4): 神经网络的backward实现
传送门： https://www.cnblogs.com/greentomlee/p/12314064.html github: https://github.com/Leezhen2014/python_deep_learning在第二篇中介绍了用数值微分的形式计算神经网络的梯度，数值微分的形式比较简单也容易实现，但是计算上比较耗时。本章会介绍一种能够较为高效…
2022/9/12 23:23:17 人评论 次浏览 -
神经网络——浅浅的做个笔记
有四个激活函数import matplotlib.pyplot as plt import numpy as npx = np.linspace(-10,10) y_sigmoid = 1/(1+np.exp(-x)) y_tanh = (np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))fig = plt.figure()#plot sigmoid ax = fig.add_subplot(221) ax.plot(x,y_sigmoid) a…
2022/9/10 23:24:57 人评论 次浏览 -
《深度学习入门：基于Python的理论与实现》PDF高清中文版
《深度学习入门：基于Python的理论与实现》PDF高清中文版免费下载地址内容简介 本书是深度学习真正意义上的入门书，深入浅出地剖析了深度学习的原理和相关技术。书中使用Python3，尽量不依赖外部库或工具，从基本的数学知识出发，带领读者从零创建一个经典的深度学…
2022/8/31 1:22:51 人评论 次浏览
