搜索结果
查询Tags标签： 梯度，共有 186条记录-
反向传播算法之梯度下降
一、导数常见性质 1.基本函数的导数常数函数c导数为0，如
2021/10/6 22:10:59 人评论 次浏览 -
吴恩达【优化深度神经网络】笔记02——优化算法
文章目录 一、Mini-batch梯度下降（Mini-batch gradient descent）1. 复习：batch梯度下降2. Mini-Batch 梯度下降法3. Understanding mini-batch gradient descent3.1 batch的不同大小（size）带来的影响：3.2 Batch梯度下降法和随机梯度下降法的比较3.3 mini-batch大小的…
2021/10/4 20:41:09 人评论 次浏览 -
吴恩达【优化深度神经网络】笔记02——优化算法
文章目录 一、Mini-batch梯度下降（Mini-batch gradient descent）1. 复习：batch梯度下降2. Mini-Batch 梯度下降法3. Understanding mini-batch gradient descent3.1 batch的不同大小（size）带来的影响：3.2 Batch梯度下降法和随机梯度下降法的比较3.3 mini-batch大小的…
2021/10/4 20:41:09 人评论 次浏览 -
吴恩达深度学习 2.2 改善深度神经网络-优化算法
1. 知识点Mini-batch梯度下降法普通梯度下降法，每一步梯度下降都要对训练集的所有样本进行运算。Mini-batch梯度下降法，每一步梯度下降选择训练集样本的子集进行运算。Mini-batch梯度下降的算法实现：打乱训练集、对训练集进行切分（比如，切分为64个子集）、更新参数时…
2021/10/3 22:11:20 人评论 次浏览 -
吴恩达深度学习 2.2 改善深度神经网络-优化算法
1. 知识点Mini-batch梯度下降法普通梯度下降法，每一步梯度下降都要对训练集的所有样本进行运算。Mini-batch梯度下降法，每一步梯度下降选择训练集样本的子集进行运算。Mini-batch梯度下降的算法实现：打乱训练集、对训练集进行切分（比如，切分为64个子集）、更新参数时…
2021/10/3 22:11:20 人评论 次浏览 -
02梯度下降算法
梯度算法梯度算法公式其中α 表示速率计算步骤优先从右边计算 注意要保证$\theta_1$和$\theta_0$ 同时计算 For Example：来看一道例题吧Suppose $\theta_0=1,\theta_1=2$ and we simultaneously update $\theta_0$and $\theta_1$using the rule:$\theta_j := \theta_j + …
2021/10/2 9:11:02 人评论 次浏览 -
02梯度下降算法
梯度算法梯度算法公式其中α 表示速率计算步骤优先从右边计算 注意要保证$\theta_1$和$\theta_0$ 同时计算 For Example：来看一道例题吧Suppose $\theta_0=1,\theta_1=2$ and we simultaneously update $\theta_0$and $\theta_1$using the rule:$\theta_j := \theta_j + …
2021/10/2 9:11:02 人评论 次浏览 -
传统视觉处理方法笔记
目录1. 图像分割1.1 阈值、边缘1.1.1 区域生长法1.1.2 图论(分割(目标检测))2 人脸检测2.1 Haar-like 特征+级联分类器3 行人检测3.1 HOG（方向梯度直方图）+SVM（支持向量机）3.2 DPM（Deformable Part Model可变形的组件模型）其它 1. 图像分割 传统的方法根据灰度、颜色…
2021/10/1 6:10:54 人评论 次浏览 -
传统视觉处理方法笔记
目录1. 图像分割1.1 阈值、边缘1.1.1 区域生长法1.1.2 图论(分割(目标检测))2 人脸检测2.1 Haar-like 特征+级联分类器3 行人检测3.1 HOG（方向梯度直方图）+SVM（支持向量机）3.2 DPM（Deformable Part Model可变形的组件模型）其它 1. 图像分割 传统的方法根据灰度、颜色…
2021/10/1 6:10:54 人评论 次浏览 -
【下降算法】最速下降法、Newton法、共轭梯度法
文章目录 1. 一维搜索2. 最速下降法最速下降法特征最速下降法的优缺点 3. Newton法算法基本思想牛顿法和梯度下降法的效率对比1. 一维搜索 最优化问题一般选择某一组变量，然后在满足一定的限制条件下，求出使目标值达到最优（最大或最小）的变量值。大部分时候，最优化问…
2021/9/27 22:12:20 人评论 次浏览 -
【下降算法】最速下降法、Newton法、共轭梯度法
文章目录 1. 一维搜索2. 最速下降法最速下降法特征最速下降法的优缺点 3. Newton法算法基本思想牛顿法和梯度下降法的效率对比1. 一维搜索 最优化问题一般选择某一组变量，然后在满足一定的限制条件下，求出使目标值达到最优（最大或最小）的变量值。大部分时候，最优化问…
2021/9/27 22:12:20 人评论 次浏览 -
线性回归中的梯度爆炸
2021年秋季第四周周报内容0. 前言 古人说: “ 温故而知新, 可以为师矣.” 刚好自己也有点时间, 就把几个月前敲过的代码又敲了一遍. 1. nan? inf? 这是一个非常基础的一元线性回归代码, 照着西瓜书公式就可以直接敲出来的那种. 重新在网上找了一个数据集, 如图所示: 虽…
2021/9/24 23:42:12 人评论 次浏览 -
线性回归中的梯度爆炸
2021年秋季第四周周报内容0. 前言 古人说: “ 温故而知新, 可以为师矣.” 刚好自己也有点时间, 就把几个月前敲过的代码又敲了一遍. 1. nan? inf? 这是一个非常基础的一元线性回归代码, 照着西瓜书公式就可以直接敲出来的那种. 重新在网上找了一个数据集, 如图所示: 虽…
2021/9/24 23:42:12 人评论 次浏览 -
batch batch-size
什么是batch,batch-size 深度学习训练过程本身是就是求损失函数的最小值。这一过程一般通过梯度下降来实现。如果训练一个epoch，遍历所有训练集，计算一次loss，反向传播一次，梯度也下降一次。如果把训练集切割成一些小的训练集，，每次遍历完一个小的训练集，就计算一次…
2021/9/23 6:14:06 人评论 次浏览 -
batch batch-size
什么是batch,batch-size 深度学习训练过程本身是就是求损失函数的最小值。这一过程一般通过梯度下降来实现。如果训练一个epoch，遍历所有训练集，计算一次loss，反向传播一次，梯度也下降一次。如果把训练集切割成一些小的训练集，，每次遍历完一个小的训练集，就计算一次…
2021/9/23 6:14:06 人评论 次浏览
