搜索结果
查询Tags标签： grad，共有 55条记录-
with torch.no_grad() 和 @torch.no_grad()
Pytorch中with torch.no_grad()或@torch.no_grad() 用法 https://www.cnblogs.com/douzujun/p/13364116.htmlrequires_grad=True 要求计算梯度 requires_grad=False 不要求计算梯度 with torch.no_grad()或者@torch.no_grad()中的数据不需要计算梯度，也不会进行反向传播m…
2022/9/17 6:16:17 人评论 次浏览 -
Canny边缘检测原理及实现（Opencv C++）
Canny边缘检测是Canny在1986年提出来的，目前仍是图像边缘检测算法中最经典、先进的算法之一。canny方法基于如下三个基本目标： 1. 低错误率：所有边缘都应被找到，并且不应有虚假响应。 2. 最优定位：已定位的边缘必须尽可能接近真实边缘 。也就是说，由检测子标记为边缘…
2022/9/11 14:23:06 人评论 次浏览 -
优化算法篇
梯度下降与随机梯度下降：import torch import matplotlib.pyplot as plt import numpy as np x_data = [5,6,7,8.5,9,10,11.5,12] y_data = [1,2,8,4,5,6.5,7.5,8]w = 1 #初始权重def forward(x):return x * w#MSE def cost(xs,ys):cost = 0for x,y in zip(xs,ys):y_pred…
2022/9/7 14:23:22 人评论 次浏览 -
MindSpore求导传入sens值时infer报错For 'MatMul', the input dimensions
1 报错描述 1.1 系统环境 Hardware Environment(Ascend/GPU/CPU): GPUSoftware Environment:MindSpore version (source or binary): 1.7.0 Python version (e.g., Python 3.7.5): 3.7.5 OS platform and distribution (e.g., Linux Ubuntu 16.04): Ubuntu 18.04.4 LTS GC…
2022/7/16 23:49:36 人评论 次浏览 -
基于数组或链表的学生信息管理系统(小学期C语言程序实训)
1.基于数组的学生信息管理系统 实验内容： 编写并调试程序，实现学校各专业班级学生信息的管理。定义学生信息的结构体类型，包括：学号、姓名、专业、班级、3门成绩。 实验要求： (1) main函数：以菜单形式将各项功能提供给用户，根据用户的选择，调用相应的函数。 (2) 定…
2022/6/11 1:22:50 人评论 次浏览 -
反向传播
视频地址：https://www.bilibili.com/video/BV1NE41147Nt?spm_id_from=333.880.my_history.page.click 笔记地址：https://blog.csdn.net/Jackydyy/article/details/117233027?spm=1001.2014.3001.5502之前提出的线性模型 = wx，如果以神经网络的视角代入来看，即x为输入…
2022/4/14 23:15:49 人评论 次浏览 -
pytorch学习笔记二之自动差分引擎
自动差分引擎torch.autograd是 PyTorch 的自动差分引擎，可为神经网络训练提供支持。1. 背景神经网络（NN）是在某些输入数据上执行的嵌套函数的集合。 这些函数由参数（由权重和偏差组成）定义，这些参数在 PyTorch 中存储在张量中。 训练 NN 分为两个步骤： 正向传播：在…
2022/2/25 6:24:20 人评论 次浏览 -
【吴恩达机器学习】Week3 编程作业——对数几率回归
1. 可视化数据 plot.m function plotData(X, y) %PLOTDATA Plots the data points X and y into a new figure % PLOTDATA(x,y) plots the data points with + for the positive examples % and o for the negative examples. X is assumed to be a Mx2 matrix.% Cre…
2022/1/28 1:04:32 人评论 次浏览 -
[源码分析] Facebook如何训练超大模型--- (5)
[源码分析] Facebook如何训练超大模型--- (5) 目录[源码分析] Facebook如何训练超大模型--- (5)0x00 摘要0x01 背景0x02 思路2.1 学习建议2.2 具体思路2.3 最佳实践0x03 具体实现3.1 Wrapper3.2 如何使用3.2 _checkpointed_forward3.2.1 处理输入3.2.2 非张量输出3.2.2.1 …
2022/1/26 9:04:19 人评论 次浏览 -
自动微分延迟计算
自动微分延迟计算 BP(反向传播)，为什么BP不好呢？每一步都会保存了上一步中，计算出来的缓冲数据，这样在每次进行反向传播时，占用的内存比较高。 自动微分的核心概念，延迟计算。 先选取一个目标函数，求输出两个权重参数(W_1，W_2W1，W2)的导数。先求出1/x的导数-…
2021/12/15 6:46:57 人评论 次浏览 -
自动微分延迟计算
自动微分延迟计算 BP(反向传播)，为什么BP不好呢？每一步都会保存了上一步中，计算出来的缓冲数据，这样在每次进行反向传播时，占用的内存比较高。 自动微分的核心概念，延迟计算。 先选取一个目标函数，求输出两个权重参数(W_1，W_2W1，W2)的导数。先求出1/x的导数-…
2021/12/15 6:46:57 人评论 次浏览 -
写算子单元测试Writing Unit Tests!
写算子单元测试Writing Unit Tests! 一些单元测试示例，可在tests/python/relay/test_op_level3.py中找到，用于累积总和与乘积算子。 梯度算子 梯度算子对于编写Relay中的可微程序非常重要。虽然Relay的autodiff算法可区分一流的语言结构，但算子是不透明的。Relay无法查…
2021/12/6 6:16:34 人评论 次浏览 -
写算子单元测试Writing Unit Tests!
写算子单元测试Writing Unit Tests! 一些单元测试示例，可在tests/python/relay/test_op_level3.py中找到，用于累积总和与乘积算子。 梯度算子 梯度算子对于编写Relay中的可微程序非常重要。虽然Relay的autodiff算法可区分一流的语言结构，但算子是不透明的。Relay无法查…
2021/12/6 6:16:34 人评论 次浏览 -
对抗训练fgm和pgd原理和源码分析
当前，在各大NLP竞赛中，对抗训练已然成为上分神器，尤其是fgm和pgd使用较多，下面来说说吧。对抗训练是一种引入噪声的训练方式，可以对参数进行正则化，提升模型鲁棒性和泛化能力。 fgm FGM的全称是Fast Gradient Method, 出现于Adversarial Training Methods for Semi-…
2021/11/24 17:12:23 人评论 次浏览 -
对抗训练fgm和pgd原理和源码分析
当前，在各大NLP竞赛中，对抗训练已然成为上分神器，尤其是fgm和pgd使用较多，下面来说说吧。对抗训练是一种引入噪声的训练方式，可以对参数进行正则化，提升模型鲁棒性和泛化能力。 fgm FGM的全称是Fast Gradient Method, 出现于Adversarial Training Methods for Semi-…
2021/11/24 17:12:23 人评论 次浏览
