搜索结果
查询Tags标签： 梯度，共有 186条记录-
数值优化：经典一阶确定性算法及其收敛性分析
我们在上一篇博客《数值优化：算法分类及收敛性分析基础》介绍了数值优化算法的历史发展、分类及其收敛性/复杂度分析基础。本篇博客我们重点关注一阶确定性优化算法及其收敛性分析。 1 梯度下降法 1.1 算法描述 梯度下降法[1]是最古老的一阶方法，由Cauchy在1847年提出。…
2022/6/12 5:20:25 人评论 次浏览 -
Batch Normalization (批标准化）
Batch Normalization 为了解决深度网络训练时可能会出现的梯度消失、梯度爆炸或者，导致收敛速度变慢的 问题，使用批标准化的方法将每层的数据都规范到相同的均值和方差， 批标准化可以解决 internal convraiate shift，通过适当的使用较大的学习率，减少训练时间; 能够解…
2022/6/2 23:21:16 人评论 次浏览 -
Logistic回归——原理加实战
Logistic回归 1. 什么是Logistic回归 Logistic是一种常用的分类方法，属于对数线性模型，利用Logistic回归，根据现有数据对分类边界建立回归公式，以此进行分类。 回归：假设现有一些数据点，我们用一条直线对这些点进行拟合，这个拟合过程就称为回归 2. Logistic回归与S…
2022/5/5 23:20:58 人评论 次浏览 -
C#开发PACS医学影像三维重建(十三):基于人体CT值从皮肤渐变到骨骼的梯度透明思路
当我们将CT切片重建为三维体之后，通常会消除一些不必要的外部组织来观察内部病灶， 一般思路是根据人体常见CT值范围来使得部分组织透明来达到效果， 但这是非黑即白的，即，要么显示皮肤，要么显示神经，要么显示骨骼… 然而，当病灶介于两个CT值范围中间或重合时，要观…
2022/5/5 14:28:59 人评论 次浏览 -
斯坦福NLP课程 | 第4讲 - 神经网络反向传播与计算图
作者：韩信子@ShowMeAI，路遥@ShowMeAI，奇异果@ShowMeAI 教程地址：http://www.showmeai.tech/tutorials/36 本文地址：http://www.showmeai.tech/article-detail/236 声明：版权所有，转载请联系平台与作者并注明出处 收藏ShowMeAI查看更多精彩内容ShowMeAI为斯坦福CS22…
2022/5/4 6:47:43 人评论 次浏览 -
浅析梯度下降算法
线性回归 首先对于若干数据点，每一个数据点\(\bm{x}\in\mathbb{R}^N\)，我们用超平面\(b+\sum_{n=1}^Nx_n\theta_n\bm{i}_n=0\)对其进行划分。这时需要向量\(\bm\theta\in\mathbb{R}^N\)，我们让截距\(b\)也成为一个参数，让下标\(n\)从0计，这样上式可以写成\(\bm\theta…
2022/5/2 1:42:36 人评论 次浏览 -
代价函数 and 梯度下降算法
此系列笔记来源于 Coursera上吴恩达老师的机器学习课程线性回归算法 回归问题中，根据已给的数据集，拟合出一个线性的函数。 代价函数 均方误差函数 Mean squared error \(J(\theta_0, \theta_1) = \frac{1}{2m}\sum_{i=1}^{m}(y-y_i)^2=\frac{1}{2m}\sum_{i=1}^{m}(h_{\…
2022/4/27 14:14:03 人评论 次浏览 -
反向传播
视频地址：https://www.bilibili.com/video/BV1NE41147Nt?spm_id_from=333.880.my_history.page.click 笔记地址：https://blog.csdn.net/Jackydyy/article/details/117233027?spm=1001.2014.3001.5502之前提出的线性模型 = wx，如果以神经网络的视角代入来看，即x为输入…
2022/4/14 23:15:49 人评论 次浏览 -
深度学习教程 | 深度学习的实用层面
作者：韩信子@ShowMeAI 教程地址：http://www.showmeai.tech/tutorials/35 本文地址：http://www.showmeai.tech/article-detail/216 声明：版权所有，转载请联系平台与作者并注明出处收藏ShowMeAI查看更多精彩内容本系列为吴恩达老师《深度学习专业课程》学习与总结整理所…
2022/4/14 6:13:29 人评论 次浏览 -
关于深度学习优化器【转载以学习、回忆】
来源链接：https://mp.weixin.qq.com/s/kUE7NcTiQyYP-oWi0T_mbA 来源公众号：阿柴的算法学习日记 转载以学习回忆 ___________________________开始 原文此处有动图。。。。 梯度下降是指，给定待优化的模型参数和目标函数后，算法沿梯度的相反方向更新来最小化。学习率a决…
2022/4/9 23:50:23 人评论 次浏览 -
FedRec Federated Recommendation With Explicit Feedback阅读笔记
动机 本文是2020年的一篇论文。对于联邦学习框架，之前的工作FCF是针对隐式数据的，它将所有未产生评分的物品都当作是负样本，间接的保护了用户的隐私，但是对于显示数据（例如评分），它求导之后很容易被服务器识别出来，因为求导的式子中只包含有交互的物品(未交互的物…
2022/4/5 23:21:21 人评论 次浏览 -
图解AI数学基础 | 微积分与最优化
作者：韩信子@ShowMeAI 教程地址：http://www.showmeai.tech/tutorials/83 本文地址：http://www.showmeai.tech/article-detail/165 声明：版权所有，转载请联系平台与作者并注明出处1.最优化理论（Optimality Theory） 我们在做事过程中，会希望以最小的代价取得最大的收…
2022/2/25 6:28:44 人评论 次浏览 -
逻辑回归与梯度下降策略之Python实现
逻辑回归与梯度下降策略之Python实现 1. 映射到概率的函数sigmoid2. 返回预测结果值model函数3. 计算损失值cost4. 计算梯度gradient5. 进行参数更新6. 计算精度我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员，你想根据两次考试的…
2022/2/25 1:26:51 人评论 次浏览 -
一文搞懂NLP中的对抗训练FGSM/FGM/PGD/FreeAT/YOPO/FreeLB/SMART
原地址本文主要串烧了FGSM, FGM, PGD, FreeAT, YOPO, FreeLB, SMART这几种对抗训练方法，希望能使各位大佬炼出的丹药更加圆润有光泽，一颗永流传对抗训练是一种引入噪声的训练方式，可以对参数进行正则化，提升模型鲁棒性和泛化能力。 对抗训练的假设是：给输入加上扰动之…
2022/2/24 23:28:28 人评论 次浏览 -
几种常见的优化算法
阅读目录1. 梯度下降法（Gradient Descent） 2. 牛顿法和拟牛顿法（Newtons method & Quasi-Newton Methods） 3. 共轭梯度法（Conjugate Gradient） 4. 启发式优化方法5. 解决约束优化问题——拉格朗日乘数法我们每个人都会在我们的生活或者工作中遇到各种各样的最优…
2022/2/15 20:11:49 人评论 次浏览
