搜索结果
查询Tags标签： 梯度，共有 186条记录-
p5 Error的来源
p5 Error的来源从上节课测试集数据来看，Average\ ErrorAverage Error 随着模型复杂增加呈指数上升趋势。更复杂的模型并不能给测试集带来更好的效果，而这些 ErrorError 的主要有两个来源，分别是 biasbias 和 variancevariance 。 然而 biasbias 和 variancevariance 是…
2021/11/19 23:11:06 人评论 次浏览 -
tensorflow学习010——优化函数、学习速率、反向传播算法
2.9 优化函数、学习速率、反向传播算法 梯度：表明损失函数相对参数的变化率 学习速率：对梯度进行缩放的参数，是一种超参数（超参数写代码时需要自己设定），在具体实践中，可通过查看损失函数值随时间的变化曲线，来判断学习速率的选取是否合适 合适的学习速率，损失函…
2021/11/14 22:12:28 人评论 次浏览 -
tensorflow学习010——优化函数、学习速率、反向传播算法
2.9 优化函数、学习速率、反向传播算法 梯度：表明损失函数相对参数的变化率 学习速率：对梯度进行缩放的参数，是一种超参数（超参数写代码时需要自己设定），在具体实践中，可通过查看损失函数值随时间的变化曲线，来判断学习速率的选取是否合适 合适的学习速率，损失函…
2021/11/14 22:12:28 人评论 次浏览 -
Python实现手绘图像效果转换
作业三：手绘图像效果 编写手绘图像效果程序，选择一张新的图片，将其转换成手绘图像效果from PIL import Image import numpy as npa = np.array(Image.open(r"C:\Users\xia\Pictures\Cyberpunk 2077\1.png").convert(L))depth = 10 # 预设深度值是10 grad = …
2021/11/14 22:10:24 人评论 次浏览 -
Python实现手绘图像效果转换
作业三：手绘图像效果 编写手绘图像效果程序，选择一张新的图片，将其转换成手绘图像效果from PIL import Image import numpy as npa = np.array(Image.open(r"C:\Users\xia\Pictures\Cyberpunk 2077\1.png").convert(L))depth = 10 # 预设深度值是10 grad = …
2021/11/14 22:10:24 人评论 次浏览 -
梯度下降算法学习
梯度下降求f(x,y)=x^2 + y^2 先画个图 import numpy as np from matplotlib import interactive, pyplot as plt from mpl_toolkits.mplot3d import Axes3D from matplotlib import animation as amat "function:f()x,y = x^2 +y^2" def fangcheng(x,y):return …
2021/11/14 9:39:39 人评论 次浏览 -
梯度下降算法学习
梯度下降求f(x,y)=x^2 + y^2 先画个图 import numpy as np from matplotlib import interactive, pyplot as plt from mpl_toolkits.mplot3d import Axes3D from matplotlib import animation as amat "function:f()x,y = x^2 +y^2" def fangcheng(x,y):return …
2021/11/14 9:39:39 人评论 次浏览 -
梯度下降算法python实现
def fun(x, y, w, b):l = 0for i in range(4):l += (y[i] - (b + w * x[i]))**2# l = sum(y - (b + w * x)**2 for x, y in zip(x, y)) / 8return l / 8# 梯度下降法 def gradient_descent():times = 100 # 迭代次数alpha = 0.001 # 步长w = 0 # w的初始值b = 0 # b的初始…
2021/11/14 9:09:49 人评论 次浏览 -
梯度下降算法python实现
def fun(x, y, w, b):l = 0for i in range(4):l += (y[i] - (b + w * x[i]))**2# l = sum(y - (b + w * x)**2 for x, y in zip(x, y)) / 8return l / 8# 梯度下降法 def gradient_descent():times = 100 # 迭代次数alpha = 0.001 # 步长w = 0 # w的初始值b = 0 # b的初始…
2021/11/14 9:09:49 人评论 次浏览 -
Task 08
Task 08 侧边栏练习 【练习7】请写出L(m)(Fi(m))L^{(m)}(F_i^{(m)})L(m)(Fi(m))在Fi(m)=Fi(m−1)F_i^{(m)} = F_i^{(m-1)}Fi(m)=Fi(m−1)处的二阶展开。 L(m)(Fi(m))=γT+12λ∑j=1Twj2+∑i=1N[∂L∂hi∣hi=0hi+∂2L∂hi2∣hi=0hi2]+constant=γT+12λ∑j=1Twj2+∑i…
2021/11/8 6:13:48 人评论 次浏览 -
Task 08
Task 08 侧边栏练习 【练习7】请写出L(m)(Fi(m))L^{(m)}(F_i^{(m)})L(m)(Fi(m))在Fi(m)=Fi(m−1)F_i^{(m)} = F_i^{(m-1)}Fi(m)=Fi(m−1)处的二阶展开。 L(m)(Fi(m))=γT+12λ∑j=1Twj2+∑i=1N[∂L∂hi∣hi=0hi+∂2L∂hi2∣hi=0hi2]+constant=γT+12λ∑j=1Twj2+∑i…
2021/11/8 6:13:48 人评论 次浏览 -
Learning to Learning with Gradients———论文阅读第二部分
（前几天忙着处理联邦学习和终身学习任务，加上有点犯懒，没有坚持看论文，今天继续！！） 第一部分点击这里！！ Learning to Learning with Gradients———论文阅读第一部分 四. 基于模型不可知的元学习算法（MAML） 前三章我们主要探讨了元学习的基本概念，以及如何以…
2021/11/5 23:40:20 人评论 次浏览 -
Learning to Learning with Gradients———论文阅读第二部分
（前几天忙着处理联邦学习和终身学习任务，加上有点犯懒，没有坚持看论文，今天继续！！） 第一部分点击这里！！ Learning to Learning with Gradients———论文阅读第一部分 四. 基于模型不可知的元学习算法（MAML） 前三章我们主要探讨了元学习的基本概念，以及如何以…
2021/11/5 23:40:20 人评论 次浏览 -
李宏毅2021春机器学习课程笔记--类神经网络（三）
视频链接： https://www.bilibili.com/video/BV1Wv411h7kN?p=13 自动调整学习率 learning rate critical point 有时不是训练时的最大障碍->当loss不再下降时， gradient真的很小吗？ 下图 在 error surface反复横跳 对于convex（等高线为椭圆）的error surface，设置…
2021/11/4 23:13:16 人评论 次浏览 -
李宏毅2021春机器学习课程笔记--类神经网络（三）
视频链接： https://www.bilibili.com/video/BV1Wv411h7kN?p=13 自动调整学习率 learning rate critical point 有时不是训练时的最大障碍->当loss不再下降时， gradient真的很小吗？ 下图 在 error surface反复横跳 对于convex（等高线为椭圆）的error surface，设置…
2021/11/4 23:13:16 人评论 次浏览
