深度学习之微积分预备知识点

极限(Limit)

  • 定义:表示某一点处函数趋近于某一特定值的过程,一般记为 \lim_{x \to a}f(x) =L

极限是一种变化状态的描述,核心思想是无限靠近而永远不能到达

  • 公式eq?%5Clim_%7Bx%20%5Cto%20a%7D%20f%28x%29 表示 x 趋向 a 时 f(x) 的极限。
知识点口诀解释
极限的存在左右极限需相等左极限等于右极限,极限才存在
极限求值小数接近分母带分子分母消掉无关,最后代入极限值
无限极限无穷大趋向无穷多x 趋向无穷大时,函数会无界
常数极限常数极限还是常常数不随 x 变化,其极限为常数本身

总结

  • 极限是“左等于右”,常数不变小数带。

导数(Derivative)

  • 定义:函数的局部性质,导数表示函数变化率,即在某一点的斜率。

           对函数y = f(x)来说,其导数可以用符号f'(x)来表示。也可记为eq?%5Cfrac%7B%5Cmathrm%7Bdf%28x%29%29%7D%20%7D%7B%5Cmathrm%7Bd%7D%20x%7D

  • 公式eq?%5Cfrac%7Bdy%7D%7Bdx%7D%20%3D%20%5Clim_%7B%5CDelta%20x%20%5Cto%200%7D%20%5Cfrac%7B%5CDelta%20y%7D%7B%5CDelta%20x%7D
知识点口诀解释
导数定义式变化速率瞬间看导数即函数在某点的变化率
斜率斜率即导数曲线的导数等于该点处切线的斜率
导数存在条件连续光滑无跳变函数在该点必须连续且光滑

总结

  • 导数看斜率,曲线随点变。


微分(Differentiation)

  • 定义:微分是导数的线性近似,表示函数在小变化下的增量。

  • 公式eq?dy%20%3D%20f%27%28x%29%20dx,表示 dx 的微小变化引起 dy 的变化。

微分近似小变大,导差线性接着算。

  • 知识点口诀解释
    微分近似小变大差线性算微分表示函数的增量,是导数的线性近似
    一阶微分导数导差就是微分微分与导数等价于线性变化

    总结

  • 微分近似小变大,导差线性接着算。

  • 导数表示变化率微分表示变化量

偏导数(Partial Derivative)

  • 定义:偏导数表示多元函数在某一点处关于某一变量的导数,其他变量保持不变。
  • 公式符号eq?%5Cfrac%7B%5Cpartial%20f%28x%2Cy%29%7D%7B%5Cpartial%20x%7D 来表示多元函数eq?z%20%3D%20f%28x%2Cy%29 ,关于x的偏导数 即:eq?%5Cfrac%7B%5Cpartial%20f%28x%2Cy%29%7D%7B%5Cpartial%20x%7D%20%3D%20%5Clim_%7Bh%20%5Cto%200%7D%5Cfrac%7Bf%28x+h%2Cy%29-f%28x%2Cy%29%7D%7Bh%7D
知识点口诀解释
偏导数看谁变化锁其他偏导数只看一个变量,其他变量保持不变
偏导数几何意义高维斜率看切面在多维空间中,偏导数表示函数沿某轴的斜率
计算方法变量固定逐个求对每个变量分别求导

总结

  • 偏导锁定一变量,高维斜率看切面。

梯度(Gradient)

  • 定义:梯度是函数在多维空间中变化最快的方向,一个包含所有偏导数的向量符号是eq?%5Ctriangledown
  • 公式: 对函数 eq?z%20%3D%20f%28x%2Cy%29%3Dx%5E2%20+%20y%5E2 来说,其梯度向量是  eq?%5Ctriangledown%20f%28x%2Cy%29%20%3D%20%282x%2C2y%29

    梯度下降算法中,参数更新公式为   eq?%5Ctheta%20_%7Bt+1%7D%20%3D%5Ctheta_%7Bt%7D%20-%20%5Ceta%20%5Ctriangledown%20_%7B%5Ctheta%7DJ%28%5Ctheta_%7Bt%7D%29

知识点口诀解释
梯度定义快速上升靠梯度梯度表示函数变化最快的方向
梯度计算多维偏导排成队梯度是各个偏导数排列成的向量
梯度方向梯度方向最快升梯度方向表示函数上升最快的方向

总结

  • 梯度导快升,排队各偏导。

链式求导法则(Chain Rule)

  • 定义:链式法则用于复合函数的求导,即导数分为外层函数和内层函数分别求导。

假设对实数x,有可微函数f 和 g,其中z = f(y) ,y = g(x),那么,链式法则公式如下  eq?%5Cfrac%7B%5Cmathrm%7Bd%7Dz%20%7D%7B%5Cmathrm%7Bd%7D%20y%7D%20*%20%5Cfrac%7B%5Cmathrm%7Bd%7Dy%20%7D%7B%5Cmathrm%7Bd%7D%20x%7D

所谓链式法则,就是一层一层增加可以互相抵消的分子分母

例子

有函数   eq?f%28x%29%20%3D%20x%5E2  和  eq?g%28x%29%20%3D%20x+1, 计算  eq?h%28x%29%20%3D%20f%28g%28x%29%29%20%3D%20%28x+1%29%5E2  的导数,可得

eq?h%27%28x%29%20%3D%20f%27%28g%28x%29%29*g%27%28x%29%20%5C%5C%20%5C%20%3D%202%28x+1%29*1%20%5C%5C%20%5C%20%3D%202x%20+2

  • 公式eq?%5Cfrac%7B%5Cmathrm%7Bd%7D%20%7D%7B%5Cmathrm%7Bd%7D%20x%7Df%28g%28x%29%29%20%3Df%27%28g%28x%29%29*g%27%28x%29
知识点口诀解释
链式法则内外分导再相乘外层函数的导数乘以内层函数的导数
链式求导应用多层复合层层解对于多层复合函数,逐层求导

总结

  • 链式分内外,逐层导相乘。


记忆口诀

  • 极限:“左等于右,常数不变小数带”,极限需要左右一致,小数极限直接代入。
  • 导数:“导数看斜率,曲线随点变”,导数表示函数在一点的斜率,函数形状随点变化。
  • 微分:“微分近似小变大,导差线性接着算”,微分表示函数的线性近似,是导数的进一步延伸。
  • 偏导数:“偏导锁定一变量,高维斜率看切面”,多变量函数中只看一个变量的变化,其余固定。
  • 梯度:“梯度导快升,排队各偏导”,梯度表示函数上升最快的方向,是各偏导数的组合。
  • 链式法则:“链式分内外,逐层导相乘”,链式法则用于复合函数的求导,逐层求导并相乘。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/1536711.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

文件误删除后的数据救援实战指南

在数字化时代,文件误删除成为了许多用户心头挥之不去的阴影。无论是手误点击了“删除”键,还是系统崩溃导致的数据丢失,文件一旦从我们的视线中消失,往往伴随着重要信息的流失和工作的中断。本文将深入探讨文件误删除的现象&#…

数据中台建设(六)—— 数据资产管理

数据资产管理 随着企业数据越来越大,企业意识到数据是一种无形的资产,通过对企业各业务线产生的海量数据进行合理管理和有效应用,能盘活并充分释放数据的巨大价值。如果不能对海量数据进行有效管理和应用,企业堆积如山的数据给企…

使用 release key 对 LineageOS 进行编译和签名

版权归作者所有,如有转发,请注明文章出处:https://cyrus-studio.github.io/blog/ 为什么需要使用 release key test-key 是一个公开的、众所周知的开发测试密钥,广泛用于测试阶段。这意味着任何人都可以获取这个密钥,…

R语言学习全攻略:从入门到精通的详细指南

目录 一、引言 1. R语言的背景和发展 2. 学习R语言的意义 二、R语言的核心特性 1. 开源和跨平台 2. 专业的统计分析功能 3. 强大的数据可视化能力 4. 丰富的扩展包 三、R语言基础语法 1. 基本数据类型 2. 数据结构 向量(Vector) 矩阵&#x…

Vue.js魔法书:前端开发者的终极指南

个人名片:😊作者简介:一个为了让更多人看见许舒雅的宝贝的小白先生 🤡个人主页:许舒雅的宝贝 🐼座右铭:深夜两点半的夜灯依旧闪烁,凌晨四点的闹钟不止你一个。 🎅学习目标…

UML 类图(提供 Java 实现)

文章目录 UML 类图概述及作用类图表示法类(接口)的表示类与类之间关系的表示关联关系(Association)单向关联(Unidirectional Association)双向关联(Bidirectional Association)自关联…

Acwing 栈

1.数组模拟栈 主要思想:先进后出,设置一个数组存储数据,一个栈顶指针指向栈顶(初始化为0) 注意:数据出栈,只需将指针单纯前移,无需在意数组还存储数据造成浪费。 下面是需要背过的…

Linux部署Servlet代码

文章目录 一、为何要部署网站二、如何部署2.1 准备Java web的环境如何安装 为什么要准备环境安装JDK安装Tomcat 并启动Tomcat:安装Mysql 2.2 在云服务器上部署网站 其他查看Tomcat日志访问Tomcat的欢迎页面访问MariaDB 一、为何要部署网站 我们做出的网站是希望这…

2024永久激活版 Studio One 6 Pro for mac 音乐创作编辑软件 完美兼容

Studio One 6是一款功能强大的音乐制作软件,由PreSonus公司开发。它提供了全面的音频录制、编辑、混音和母带处理工具,适用于音乐制作人、音频工程师和创作人员。 Studio One 6拥有直观的用户界面,使用户能够快速而流畅地进行音乐创作。它采…

谷粒商城のElasticsearch

文章目录 前言一、前置知识1、Elasticsearch 的结构2、倒排索引 (Inverted Index)2.1、 索引阶段2.2、查询阶段 二、环境准备1、安装Es2、安装Kibana3、安装 ik 分词器 三、项目整合1、引入依赖2、整合业务2.1、创建索引、文档、构建查询语句2.2、整合业务代码 后记 前言 本篇介…

[内网渗透]---msf基础-永恒之蓝-ms17-010

what Metasploit(通常简称为MSF)是一个开源的渗透测试框架,包含大量的已知漏洞利用模块,可以用来攻击目标系统并获取控制权。 how 实验环境:Kali、带有永恒之蓝漏洞的虚拟机且开启445端口(两个虚拟机同一子网) 1.信…

进阶SpringBoot之异步任务、邮件任务和定时执行任务

SpringBooot 创建 Web 项目 异步任务: service 包下创建 AsyncService 类 Async 异步方法 Thread.sleep(3000) 停止三秒,捕获异常 package com.demo.task.service;import org.springframework.scheduling.annotation.Async; import org.springfram…

matlab DFT的点数与周期

只需要0——N-1个点就可以算得另一个域全部的信号 周期 时域信号的全部长度时一个周期,所以时域的周期化没有混叠 频域的周期与采样率有关,会混叠。 取一个周期进行傅里叶变换都是对于周期化后的信号取得,由于时域周期化不混叠,所…

句子成分——每日一划(九)

人民英雄,永垂不朽! 目录 一、原句 二、主语 三、谓语 四、介词短语 一、原句 Eternal glory to the heroes of the people who from 1840 laid down their lives in the many struggles against domestic and foreign enemies and for national i…

思维训练900

思路&#xff1a; 假设答案用x表示&#xff0c;则x&a[i]要尽可能小&#xff0c;那就让x遍历一遍数组&#xff0c;每次进行&操作&#xff0c;直到尽可能多的位数变成0&#xff0c;所得到的x就是最后答案 代码; vector<int> a(n);int ans;for(int i 0; i < n…

磁盘写入缓存区太大,如何清理C盘缓存

针对“磁盘写入缓存区太大&#xff0c;如何清理C盘缓存”的问题&#xff0c;我们可以从多个角度进行专业解答。首先&#xff0c;需要明确的是&#xff0c;“磁盘写入缓存区太大”这一表述可能涉及硬盘缓存的设置或系统缓存管理&#xff0c;但通常用户面对的问题更多是关于C盘空…

【网络安全的神秘世界】csrf客户端请求伪造

&#x1f31d;博客主页&#xff1a;泥菩萨 &#x1f496;专栏&#xff1a;Linux探索之旅 | 网络安全的神秘世界 | 专接本 | 每天学会一个渗透测试工具 一、概述 跨站请求伪造&#xff0c;是一种挟持用户在当前已登陆的web应用程序上执行非本意操作的攻击方法&#xff0c;允许攻…

SSH工具 MobaXterm的使用与快捷配置

软件下载/安装与链接服务器/本地虚拟机 文章目录 软件下载/安装与链接服务器/本地虚拟机软件下载软件安装使用软件链接非本地机器并设置用户密码我不想有确定密码的弹窗 其余便捷配置配置右键粘贴SSH链接设置 软件下载 如果你访问不了这个网址&#xff0c;可以评论区找博主或者…

C++:string 类详解

目录 简介 使用 初始化(构造函数、拷贝构造函数) 析构函数 赋值运算符重载(operator) 成员常量(npos) 运算符重载[ ](operator[ ]) size() 和 length() 迭代器( begin() 和 end() ) 范围 for 迭代器和范围 for 的比较 反向迭代器( rbegin() 和 rend() ) const 迭…

k8s 微服务 ingress-nginx 金丝雀发布

目录 一 什么是微服务 二 微服务的类型 三 ipvs模式 3.1 ipvs模式配置方式 四 微服务类型详解 4.1 clusterip 4.2 ClusterIP中的特殊模式headless 4.3 nodeport 4.4 loadbalancer 4.5 metalLB 4.6 externalname 五 Ingress-nginx 5.1 ingress-nginx功能 5.2 部署…