陶哲轩:计算机通用方法,往往比深奥的纯数学更能解决问题

刚刚,著名数学家陶哲轩在个人社交平台更新的几篇帖子,引起大家广泛的共鸣。

陶哲轩用浅显易懂的语言表达了自己对数学的理解与思考心得。 

文中谈到了一个关于「度」的问题,陶哲轩表示在设计系统时,缺乏或者过度的数学分析可能都会适得其反,所以要适度。

有时,我们不需要太过复杂精深的专业知识,大道至简。

对于大多数任务,使用一些相对简单但通用的数学方法,往往比专门设计的算法效果更好。

陶哲轩还提到,在纯数学中,故意忽略一些直觉上看似非常重要的信息非常有帮助。

接下来是陶哲轩帖子全部内容。

掌握一点点的数学知识就能大有裨益。系统的设计不仅仅会因为缺乏足够的数学分析而受到限制,同样也可能因为过度的数学分析而受到阻碍。 

一个常见的例子是网络安全中对密码的要求。从数学上讲,密码要求越复杂(例如,规定最小长度、特殊字符或不重复使用密码),密码就越安全。

然而,如果要求过于复杂,用户和服务提供商可能会寻找绕过复杂要求的方法,比如寻找简单的密码重置或恢复方式,或者将密码存储在不安全的系统中。这些做法反而可能降低整体系统的安全性,而不是提升它。 

另一方面,只对单一指标(如用户使用密码直接登录系统)进行过度优化,可能会损害更广泛的目标。就如古德哈特定律(Goodhart's law)中所说的,「当压力施于其上以进行控制时,任何观测到的统计恒性都倾向消散。」

粗略的讲,在设计安全性时,直接输入方式的安全性应该加强到与其他输入方式的安全性相当,但超过这个程度的加强反而可能适得其反

举个例子来说,如果一栋建筑的前门有锁,但窗户没有防护,那么再给前门加更多的锁就没有太大意义,这样做甚至可能导致一种危险的虚假安全感。另一方面,如果窗户比前门更难进入,那么在前门上至少加一把锁就很合理。 

图片

在人工智能领域,强化学习之父 Rick Sutton 的「苦涩的教训」(Bitter Lesson)就是这一原则的一个例子。

从直觉上来看,大家往往会认为针对具体任务量身定制算法是最自然的选择,在某些情况下,确实能取得不错的效果。

其实,对于大多数任务,使用一些相对简单但通用的数学方法,如梯度下降和反向传播,往往比专门设计的算法效果更好。通用方法不依赖于特定任务的领域知识,而是通过大量的数据和计算资源来训练模型,通常能带来更大的进展。

最近,我看到了有人为传感器网络开发更实惠的模数转换器(ADC),就是这条发现的证明。

传统上,ADC 电路基于经典电气工程原理设计,采用常微分方程(ODE)、共振、傅里叶变换等数学工具来构建高效电路。然而,在一些特定环境(如传感器网络)中,我们的目标是大规模、快速且成本低的方式实现模数转换,同时可以容忍一定的故障率。

在这种情况下,训练神经网络来设计 ADC 电路,不依赖任何专业领域的知识(如傅里叶分析),反而是更好的方法。

这并不是说领域知识毫无用处 —— 例如,物理信息神经网络在许多物理领域的表现可以远超标准神经网络 —— 关键在于了解在什么情况下,应该运用多少领域知识。

图片

在纯数学中,一个有效的解题方法是故意忽略一些直觉上看似非常重要的信息。比如,在分析数论中,许多进展都是通过把像素数这样的「重要」数学对象转化为看起来更加简单、结构较少的形式来实现的。这样做可以让我们更容易找到解决问题的途径。

抽象也需要把握一个度。如果抽象得过头,就会丢失关键信息,反而无法解决问题;而如果抽象得恰到好处,问题就会变得更加清晰,从而找到合适的技巧去解决它。在此过程中甚至可以做出一些看似不太合理的变换,让解题思路更加灵活起来。

我有时会开玩笑说,应用数学家只需要掌握每本纯数学研究生教材的前两章,之后的章节对他们可能帮助不大(甚至可能有负面作用)。

另一方面,正是寻找第 3 到第 12 章的过程,才使得前两章至臻完美、具有广泛实用性的瑰宝。

图片

在读完陶哲轩的这段见解后,有人评论道:这些建议非常有价值,不论是对于哪种问题,都要做到: 

  • 简化细节,直到看到更宏观的问题结构。

  • 判断是否已有针对同类问题的解决方案。

  • 或者判断这个一般性问题类是否过于笼统,或者是否过于具体。

图片

参考链接:

https://mathstodon.xyz/@tao/113482950431855749

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/19752.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

NewStarCTF2024-Week3-Web-WP

目录 1、Include Me 2、blindsql1 3、臭皮踩踩背 4、臭皮的计算机 5、这“照片”是你吗 1、Include Me 使用 data 协议,结合 base64 编码绕过 payload: ?iknow1&medata://text/plain;base64,PD89c3lzdGVtKCJ0YWMgL2ZsYWciKTs 拿到 flag&#…

java版询价采购系统 招投标询价竞标投标系统 招投标公告系统源码

在信息化飞速发展的今天,电子招投标采购系统已成为企业运营中的重要一环。这一系统不仅优化了传统的招投标流程,还为企业带来了诸多显著的价值。 首先,电子招投标采购系统极大地提高了工作效率。传统招投标过程中,企业需要耗费大…

小林Coding—Java「二、Java基础篇」

󠀲󠀲二 Java基础面试篇 数据类型 引用类型 类:Class接口:Interface数组:Array枚举:Enum自动装箱:int -> Integer 自动拆箱:Integer -> int // 下面代码会先自动拆箱将sum转为…

GBDT 算法

GBDT 梯度决策提升树是将一些弱分类决策树的结果加在一起,每一棵决策树对前一颗觉得树残差进行优化,从而使得总体的损失值达到最小。 GBDT 公式 Fm-1: 上一棵树的结果 α \alpha α: 学习率 hm(x): 当前树,通过训练调整结果,降低…

java~Lambda表达式

目录 Lambda和匿名内部类 语法 函数式接口 无返回值(无参、有参) 有返回值(无参、有参) 语法精简 四个基本的函数式接口 方法引用 实例方法引用 静态方法引用 特殊方法引用 构造方法引用 数组引用 集合 List、Set …

PyQt5信号与槽二

窗口数据传递 在开发程序时,如果这个程序只有一个窗口,则应该关心这个窗口里面的各个控件之间是如何传递数据的;如果这个程序有多个窗口,那么还应该关心不同的窗口之间是如何传递数据的。对于多窗口的情况,一般有两种…

【java】多态

一、概念 多态是同一个行为具有多个不同表现形式或形态的能力。 多态就是同一个接口,使用不同的实例而执行不同操作。 同一个事件发生在不同的对象上会产生不同的结果。 比如: public class Test {public static void main(String[] args) {Person xn…

使用Holoviews创建复杂的可视化布局

目录 一、Holoviews简介 二、安装Holoviews 三、Holoviews的基本概念 元素(Elements): 容器(Containers): 映射(Mappings): 四、基本用法 创建元素: …

Java2.1——异常

异常基本概念 一:程序出错 分类 : 编辑错误,逻辑错误,运行时错误 目的: 异常处理让程序出错了还运行,避免中止运行 二: 运行时错误 当出现编译时无法预料的问题,将运行错误报告…

2025年假期python,工作日python脚本求出 输出日期内容

# coding:utf-8 import datetime# 假设已知的节假日和调休安排 holidays [datetime.date(2025, 1, 1), # 元旦datetime.date(2025, 1, 28), # 春节datetime.date(2025, 1, 29), # 春节datetime.date(2025, 1, 30), # 春节datetime.date(2025, 1, 31), # 春节datetime.dat…

1TB! 台湾最新倾斜摄影3DTiles数据分享

之前的文章分享了546GB香港倾斜摄影3DTiles数据,主要是验证倾斜模型3DTiles转换工具的生产效率和数据显示效率,结果对比可以看出无论是数据生产速度以及成果数据显示效率上,都优于其他两种技术路线。最近使用倾斜模型3DTiles工具生产了台湾地…

ssm136公司项目管理系统设计与实现+jsp(论文+源码)_kaic

毕 业 设 计(论 文) 题目:公司项目管理系统设计与实现 摘 要 现代经济快节奏发展以及不断完善升级的信息化技术,让传统数据信息的管理升级为软件存储,归纳,集中处理数据信息的管理方式。本T公司项目管理系…

【Sql Server】sql server 2019设置远程访问,外网服务器需要设置好安全组入方向规则

大家好,我是全栈小5,欢迎来到《小5讲堂》。 这是《Sql Server》系列文章,每篇文章将以博主理解的角度展开讲解。 温馨提示:博主能力有限,理解水平有限,若有不对之处望指正! 目录 前言1、无法链接…

小车综合玩法--2.超声波避障

一、实验准备 通过超声波模块与小车结合,实现小车超声波避障。小车接线已安装,且安装正确 二、实验原理 通过超声波我们获取小车与障碍物的距离。当检测到小车与障碍物的距离小于我们的设置的距离时,小车左旋避开障碍物。 三、实验源码 #!…

「二」体验HarmonyOS端云一体化开发模板——创建端云一体化工程

关于作者 白晓明 宁夏图尔科技有限公司董事长兼CEO、坚果派联合创始人 华为HDE、润和软件HiHope社区专家、鸿蒙KOL、仓颉KOL 华为开发者学堂/51CTO学堂/CSDN学堂认证讲师 开放原子开源基金会2023开源贡献之星 「目录」 「一」HarmonyOS端云一体化概要 「二」体验HarmonyOS端云一…

操作系统启动实验

简单的操作系统 汇编代码 ; hello-os ; TAB4ORG 0x7c00 ; 指明程序装载地址; 标准FAT12格式软盘专用的代码 Stand FAT12 format floppy codeJMP entryDB 0x90DB "HELLOIPL" ; 启动扇区名称(8字节)DW 512 ; 每个扇区(s…

助力模型训练,深度学习的经典数据集介绍

想要训练出效果好的模型,高质量的数据集必不可少。深度学习的经典数据集包括MNIST手写数字数据集、Fashion MNIST数据集、CIFAR-10和CIFAR-100数据集、ILSVRC竞赛的ImageNet数据集、用于检测和分割的PASCAL VOC和COCO数据集等,本文将对这些数据集进行介绍…

Spring基础——针对实习面试

目录 Spring基础什么是Spring框架?列举一些重要的Spring模块Spring Core 核心模块Spring AOP 模块Spring MVC 模块Spring Data 模块Spring Security 模块Spring Boot 模块 Spring,Spring MVC,Spring Boot之间什么关系(区别&#x…

PH热榜 | 2024-11-17

DevNow 是一个精简的开源技术博客项目模版,支持 Vercel 一键部署,支持评论、搜索等功能,欢迎大家体验。 在线预览 1. Octokit 标语:人人都能用的无代码游戏和AR滤镜制作工具 介绍:Octokit 是一款无需编程技能就能使用…

分享本周所学——三维重建算法3D Gaussian Splatting(3DGS)

大家好,欢迎来到《分享本周所学》第十二期。本人是一名人工智能初学者,刚刚读完大二。前几天自学了一下3D Gaussian Splatting(3DGS),觉得非常有意思。写这篇文章主要是因为网上大部分关于3DGS的文章都比较晦涩&#x…