AI学习笔记

目录

专业词汇

AI、NLP和AIGC的关系

涌现能力(Emergent Ability)


专业词汇

专业词汇

(缩写)

英文中文
AIArtificial Intelligence人工智能
AIGCArtificial Intelligence Generated Content人工智能生成内容
PGCProfessional Generated Content专业生成内容
UGCUser Generated Content用户生成内容
NLPNatural Language Processing自然语言处理
NLUNatural Language Understanding自然语言理解
LLMLarge Language Model大语言模型
GPTGenerative Pre-trained Transformer基于Transformer的生成式预训练模型
PETPrompt Engineering Technology提示工程技术
RNNRecurrent Neural Network循环神经网络
LSTMLong Short-Term Memory长短期记忆网络
GANGenerative Adversarial Networks对抗网络
VAEVariational Auto-Encoders变分自编码器
RLReinforcement Learning强化学习
RLHFReinforcement Learning from Human Feedback基于人类反馈的强化学习
NNLMNeural Network Language Model神经网络语言模型
Pre-training-Fine-tuning预训练-微调框架
BERTBidirectional Encoder Representations from Transformers基于Transformer的双向编码器表示,预训练语言表征模型
Masked Language Modeling掩码语言建模
Unidirectional Language Modeling单向语言建模
Emergent Ability涌现能力
semi-supervised半监督
Zero-shot Learning零样本学习
Few-shot小样本
reward model奖励模型
BPEByte Pair Encoding字节对编码技术
CoTChain-of-Thought思维链提示技术
AI AgentAI智能体
APIApplication Program Interface应用程序接口

AI、NLP和AIGC的关系

涌现能力(Emergent Ability)

涌现能力是指一个系统在达到一定的复杂度和规模时出现的未预料到的新行为或新能力,表现为逻辑认知、世界观、思维链形成和多模态综合能力等。

在大语言模型领域,涌现能力指的是,当模型规模达到某个阈值(大模型奇点)之前,增加参数数量带来的性能提升相对较小,效果基本上等同于随机,而在超过该阈值后,增加参数数量则会带来显著的改善。然而一旦突破大模型奇点之后,增加参数数量或者预训练语料带来的性能提升是有限的,更多需要的是高质量和多样化的指令数据来激发它的泛化性。

  • 在自然语言处理任务中,神经网络可以从字符、句法和语义级别学习有效的特征表示。
  • 模型的规模(或者说参数数量)是影响涌现能力的关键因素。只有当模型规模达到阈值时,模型才能展现出对复杂任务的处理能力。
  • 然而,参数数量的增加也可能导致过拟合和计算成本提高,因此需要平衡模型的规模和性能。
  • 此外,训练方法和优化算法的改进也能提高模型的泛化能力和学习效率,进而促进涌现能力的出现。
  • 大量的高质量数据可以提供丰富的样本和多样性,使模型能够学到更多的只是和规律。
  • 然而,数据量的增加也会增加模型的训练成本和存储需求。

涌现能力是AI模型处理复杂任务的重要指标。涌现能力的表现是模型架构、参数规模、训练方法、数据量、数据质量等多个因素共同作用的结果。在实际应用中,需要综合考虑这些因素,以提高模型的涌现能力,从而更好地解决复杂任务。

--------

《深度对话GPT-4》 仇华     出版时间:2024-07-01

《大模型导论》       张成文  出版时间:2024-07-01

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/9472.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

【【简单systyem verilog 语言学习使用二--- 新adder加法器 】】

【【简单systyem verilog 语言学习使用二— 新adder加法器 】】 adder.v module addernew(input clk ,input rst_n ,input [2 : 0] in_a ,input [2 : 0] in_b ,input …

曲率定义与三维Mesh曲率估计

曲率定义与三维Mesh曲率估计 二维圆的曲率线的曲率 三维Patch fitting methodsNormal curvature-based methodsTensor averaging methods Estimating Curvatures and Their Derivatives on Triangle Meshes1. Per-Face Curvature Computation2. Coordinate System Transformati…

Dinky控制台:利用SSE技术实现实时日志监控与操作

1、前置知识 1.1 Dinky介绍 实时即未来,Dinky 为 Apache Flink 而生,让 Flink SQL 纵享丝滑。 Dinky 是一个开箱即用、易扩展,以 Apache Flink 为基础,连接 OLAP 和数据湖等众多框架的一站式实时计算平台,致力于流批一体和湖仓一体的探索与实践。 致力于简化Flink任务开…

无人机声学侦测算法详解!

一、算法原理 无人机在飞行过程中,其电机工作、旋翼震动以及气流扰动等都会产生一定程度的噪声。这些噪声具有独特的声学特征,如频率范围、时域和频域特性等,可以用于无人机的检测与识别。声学侦测算法利用这些特征,通过一系列步…

ABAP开发-12、Dialog屏幕开发_1

系列文章目录 文章目录 系列文章目录[TOC](文章目录) 前言一、Dialog屏幕概览二、界面1、界面-界面中的事件块2、界面-创建界面3、界面- 属性4、界面-元素清单5、界面-Screen Layout Designer6、界面- 参照创建7、界面- 常用关键字8、界面- 数据处理逻辑9、界面- Module执行顺序…

vue搭建项目之后的步骤操作

1.创建router文件夹(里面创建index.js),创建views文件夹(创建index页面) 2.删除assets文件夹里面的内容,删除components文件夹 3.安装路由 npm install vue-router 4.router路由下面的index.js书写内容 …

w029基于springboot的网上购物商城系统研发

🙊作者简介:拥有多年开发工作经验,分享技术代码帮助学生学习,独立完成自己的项目或者毕业设计。 代码可以查看文章末尾⬇️联系方式获取,记得注明来意哦~🌹赠送计算机毕业设计600个选题excel文件&#xff0…

底层视角看C语言

文章目录 main函数很普通main函数之前调用了什么main函数和自定义函数的对比 变量名只为人而存在goto是循环的本质指针变量指针是一个特殊的数字汇编层面看指针 数组和指针数组越界问题低端地址越界高端地址越界 引用就是指针 main函数很普通 main函数是第一个被调用的函数吗&…

Linux内核USB2.0驱动框架分析--USB设备枚举过程

一 USB特点 1.1 USB协议版本介绍: USB1.0/1.1(low/fullspeed):传输速率最大为12Mbps,是较早的USB协议版本。 USB2.0(highspeed):传输速率最大为480Mbps,相比USB1.0/1.1…

bert-base-uncased处理文档

1.安装必要的库 确保安装 transformers 和 torch 库: pip install transformers torch 2.加载本地 BERT 模型和分词器 由于已将模型和分词器下载到本地,可以指定文件路径加载。确保路径与本地文件结构一致。 from transformers import BertTokenizer…

【快速入门】Kafka的安装部署

目录 一、我的集群环境介绍 二、集群部署 1、解压安装包 2、修改解压后的文件名称 3、进入到/opt/installs/kafka3 目录,修改配置文件 4、分发安装包 5、分别在 bigdata02 和 bigdata03上修改配置文件 6、配置环境变量 7、启动集群 8、停止集群 三、本文用…

Windows安装tensorflow的GPU版本

前言 首先本文讨论的是windows系统,显卡是英伟达(invida)如何安装tensorflow-gpu。一共需要安装tensorflow-gpu、cuDNN、CUDA三个东西。其中CUDA是显卡的驱动库,cuDNN是深度学习加速库。 安装开始前,首先需要安装好c…

深度学习(神经网络)中模型的评估与性能度量

深度学习(神经网络)中模型的评估与性能度量 1.在现实任务中,我们往往有多种学习算法可供选择,那么我们如何评判一个模型的好坏呢?理想的解决方案是对模型的泛化误差进行评估,选择泛化误差最小的&#xff1…

mysql做数据统计图表常用的sql语句 部门人数 工龄 学历 年龄 性别 在职人员 兴趣分析查询

做统计有时候挺头疼的,sql改来改去还是达不到想要的效果,这里分享一下最近写的sql,感兴趣的朋友可以看看了解一下,sql语句代码都有注释。 这里只分享sql查询语句,前端图表用的是Echarts。 首先看一下统计的效果图 1、…

无人机之姿态融合算法篇

无人机的姿态融合算法是无人机飞行控制中的核心技术之一,它通过将来自不同传感器的数据进行融合,以实现更加精确、可靠的姿态检测。 一、传感器选择与数据预处理 无人机姿态融合算法通常依赖于多种传感器,包括加速度计、陀螺仪、磁力计等。这…

phpstudy 使用php8.2.9版本报错问题

phpstudy 使用php8.2.9版本报错问题 1、如果php8的扩展控制面板开启无效的话,可以手动开启试试 2、php有报错日志: Fatal error: Directive ‘track_errors’ is no longer available in PHP in Unknown on line 0 在切换php版本到更高版本时在终端查…

SpringBoot开发——SpringBoot3.3 中实现多端口监听

文章目录 1、项目环境与依赖配置2、配置多端口监听3、编写配置类实现多端口监听4、为每个端口创建独立的配置类4.1 8081 端口配置类4.2 8082 端口配置类 5、控制器类定义5.1 8080 端口的控制器(保持原有配置)5.2 8081 端口的控制器5.3 8082 端口的控制器…

Git分支

目录​​​​​​​ 一、分支是什么 二、查看、创建分⽀(git branch) 查看分支 创建分支 三、切换分支(git checkout,git checkout -b) 四、合并分支(git merge、git log查看合并情况) 五、删除分支(git branch -d []) 六、合并冲突&…

sigmoid和softmax有什么区别,softmax的本质是最大熵?

本文理论依据王木头的视频: softmax是为了解决归一问题凑出来的吗?和最大熵是什么关系?最大熵对机器学习为什么非常重要?_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1cP4y1t7cP/?spm_id_from333.999.0.0&vd_sourc…

stm32 挂死定位(死循环)

1,调式程序时先看初始化和轮询点灯流程,如果灯没有闪烁则表明程序进入了死循环。 2,程序调式进入调式debug接口; 3,打断点依次运行; 4,查看寄存器; LR在异常后通常为0xFFFFFFFx&am…