搜索结果
查询Tags标签： 梯度，共有 186条记录-
【图灵VIP严选课程】JAVA互联网架构师专题/分布式/高并发/微服务
一、神经网络基础问题 （1）Backpropagation（反向传播）后向传播是在求解损失函数L对参数w求导时候用到的方法，目的是通过链式法则对参数进行一层一层的求导。这里重点强调：要将参数进行随机初始化而不是全部置0，否则所有隐层的数值都会与输入相关，这称为对称失效。 …
2021/8/25 9:06:04 人评论 次浏览 -
机器学习:P5-P8 误差的来源 and 梯度下降
P5-P8 误差的来源 and 梯度下降 bias(偏差)+variance(方差) 真实的模型和训练的模型之间的误差是偏差和方差导致的 1.评估bias \(假设x的平均值是\mu,方差\sigma^2\) 取N个样本点，计算平均值\(m，m\neq\mu\) 对很多组的m求期望等于\(\mu\) m分布对于\(\mu\)的方差取决于样…
2021/8/21 6:08:36 人评论 次浏览 -
机器学习:P5-P8 误差的来源 and 梯度下降
P5-P8 误差的来源 and 梯度下降 bias(偏差)+variance(方差) 真实的模型和训练的模型之间的误差是偏差和方差导致的 1.评估bias \(假设x的平均值是\mu,方差\sigma^2\) 取N个样本点，计算平均值\(m，m\neq\mu\) 对很多组的m求期望等于\(\mu\) m分布对于\(\mu\)的方差取决于样…
2021/8/21 6:08:36 人评论 次浏览 -
基于numpy用梯度上升法处理逻辑斯蒂回归
import numpy as np import matplotlib.pyplot as plt w=700 w1=700 n=w1-50 train=np.random.randint(-300,300,(w,4)) train=train.astype(float) train_lable=np.zeros((w,1)) traint=train.astype(float) lam=100 for i in range(4):train[:,i]=(train[:,i]-train[:…
2021/8/18 23:09:52 人评论 次浏览 -
基于numpy用梯度上升法处理逻辑斯蒂回归
import numpy as np import matplotlib.pyplot as plt w=700 w1=700 n=w1-50 train=np.random.randint(-300,300,(w,4)) train=train.astype(float) train_lable=np.zeros((w,1)) traint=train.astype(float) lam=100 for i in range(4):train[:,i]=(train[:,i]-train[:…
2021/8/18 23:09:52 人评论 次浏览 -
深度学习 day02神经网络基础
01 二分分类 逻辑回归是一个用于二分分类的算法计算机保存一张图片就需要保存三个独立矩阵，分别对应图片中的红、绿、蓝三个颜色通道，如果照片是6464像素的就有三个6464的矩阵。然后需要将这三个矩阵所有元素都存放在特征x向量中（x向量就是64643=12288维）。输入X用矩阵…
2021/7/31 6:10:00 人评论 次浏览 -
深度学习 day02神经网络基础
01 二分分类 逻辑回归是一个用于二分分类的算法计算机保存一张图片就需要保存三个独立矩阵，分别对应图片中的红、绿、蓝三个颜色通道，如果照片是6464像素的就有三个6464的矩阵。然后需要将这三个矩阵所有元素都存放在特征x向量中（x向量就是64643=12288维）。输入X用矩阵…
2021/7/31 6:10:00 人评论 次浏览 -
【啃书吧：深度学习与MindSpore实践】第二章2.2 梯度下降算法
初读：2020年11月30日至2020年12月3日 啃书进度会在目录中标出来。本次目标是完成第二章2.2节梯度下降算法（P17-P19）。这一节内容非常聚焦，只讲了梯度下降的原理，介绍了三种实际的梯度下降方法——批量梯度下降算法、随机梯度下降算法和小批量梯度下降算法。 “梯度下…
2021/7/27 20:09:35 人评论 次浏览 -
【啃书吧：深度学习与MindSpore实践】第二章2.2 梯度下降算法
初读：2020年11月30日至2020年12月3日 啃书进度会在目录中标出来。本次目标是完成第二章2.2节梯度下降算法（P17-P19）。这一节内容非常聚焦，只讲了梯度下降的原理，介绍了三种实际的梯度下降方法——批量梯度下降算法、随机梯度下降算法和小批量梯度下降算法。 “梯度下…
2021/7/27 20:09:35 人评论 次浏览 -
机器学习——随机梯度下降
在经典的随机梯度下降算法中，我们的迭代下降公式是 $x_{t+1}=x_{t}-\alpha \nabla f\left(x_{t}\right)$ 以一元线性回归的目标函数 $\sum \limits _{i=1}^{n}\left(a x_{i}+b-y_{i}\right)^{2}$ 为例，其梯度可以表达为 $\left(\frac{\parti…
2021/7/26 6:07:20 人评论 次浏览 -
机器学习——随机梯度下降
在经典的随机梯度下降算法中，我们的迭代下降公式是 $x_{t+1}=x_{t}-\alpha \nabla f\left(x_{t}\right)$ 以一元线性回归的目标函数 $\sum \limits _{i=1}^{n}\left(a x_{i}+b-y_{i}\right)^{2}$ 为例，其梯度可以表达为 $\left(\frac{\parti…
2021/7/26 6:07:20 人评论 次浏览 -
动量梯度下降法、RMSprop、Adam 优化算法
1.1 动量梯度下降法（Gradient descent with Momentum） 优化成本函数J，还有一种算法叫做 Momentum，或者叫做动量梯度下降法，运行速度几乎总是快于标准的梯度下降算法，简而言之，基本的想法就是计算梯度的指数加权平均数，并利用该梯度更新你的权重。 使用动量梯度下降…
2021/7/25 20:35:47 人评论 次浏览 -
动量梯度下降法、RMSprop、Adam 优化算法
1.1 动量梯度下降法（Gradient descent with Momentum） 优化成本函数J，还有一种算法叫做 Momentum，或者叫做动量梯度下降法，运行速度几乎总是快于标准的梯度下降算法，简而言之，基本的想法就是计算梯度的指数加权平均数，并利用该梯度更新你的权重。 使用动量梯度下降…
2021/7/25 20:35:47 人评论 次浏览 -
李宏毅《深度学习》笔记（五）
李宏毅《深度学习》笔记（五） 网络设计的技巧 对于梯度下降法会遇到各种不顺利的情况，比如经过梯度下降之后的损失函数仍然比较大，又比如梯度为零无法下降等。对于这些错误的特殊值，统称为临界值（Critical Point）。临界值可以有局部最低点（Local Minima）和鞍点…
2021/7/22 6:10:01 人评论 次浏览 -
李宏毅《深度学习》笔记（五）
李宏毅《深度学习》笔记（五） 网络设计的技巧 对于梯度下降法会遇到各种不顺利的情况，比如经过梯度下降之后的损失函数仍然比较大，又比如梯度为零无法下降等。对于这些错误的特殊值，统称为临界值（Critical Point）。临界值可以有局部最低点（Local Minima）和鞍点…
2021/7/22 6:10:01 人评论 次浏览
