2023年3月15日

今天凌晨呢

万众瞩目的大型多模态模型

GPT-4正式发布

我们先总结一下发布会的重点

---

首先

这个模型能够接受图像和文本的输入

输出文本的内容

虽然在很多的现实场景中呢

它的能力还不如人类

但是在各种专业

和学术的基准测试中呢

已经能做到人类的表现

---

各种考试

它能强大到什么程度呢

比如你输入一张手绘的草图

GPT-4就能生成最终设计的网页代码

而且

它以高分通过了各种标准化的考试

像SAT 700分

GRE几乎满分

逻辑能力上

完全吊打GPT-3.5

GPT-4在高级的推理能力上

也完全超越ChatGPT

在律师模拟的考试中呢

ChatGPT背后

大家都知道是基于的GPT-3.5

它的排名呢在倒数的10%左右

而GPT-4考到了前10%左右

这就相当于一下子

从一个班的差等生

蹦到了班里的优等生

这是绝对的飞跃

---

长度限制

这一次呢

GPT-4将长度上的限制

提升到了32K tokens

什么意思呢

就是能够处理超过25,000个单词的文本

并且还可以使用长格式的内容

---

OpenAI还贴心的发布了一个

GPT-4的开发者视频

手把手的教你如何去生成代码

检查错误信息

以及报税等等

在这个视频中呢

OpenAI的联合创始人兼总裁

Greg Brockman说了一句话

他并不完美，但是你也一样

这听上去是不是有点扎心呢

是吧

图像输入功能

目前GPT-4的图像输入功能

还没有开放

ChatGPT plus订阅者

可以直接获得有使用上限的

GPT-4的使用权

四个小时之内呢

最多只能发布100条信息

开发者API

开发者呢也可以申请GPT-4的API

进入到候补名单

等待审核通过之后

才能够使用

定价

GPT-4的定价

是每1K的prompt tokens是0.03美元

每1K的completion tokens是0.06美元

默认的速率限制呢

是每分钟40K的tokens

和每分钟200个请求

GPT-4的上下文长度是8,192个tokens

就是8K的tokens

---

但是OpenAI还提供了一个32K的版本

可以对32,768个上下文

大概约50页的文本进行有限的访问

这个版本的价格呢

是每1,000个prompt tokens是0.06美元

每1,000个completion tokens是0.12美元

评估框架

此外呢OpenAI还开源了一个

用来自动评估AI模型性能的框架

OpenAI Evals

这样呢开发者就可以更好的

去评估模型的优缺点

从而指导团队进一步的去改进模型

好了

以上就是这次GPT-4发布会的一些重点

接下来我们来详细说明

GPT-4的一些特点

1 - 基准测试表现

第一点就是

GPT-4的基准测试表现

远远优于现有的大模型

如果你只是随意的聊天呢

你可能不太能够感受出

GPT-3.5与GPT-4之间的区别

但是当任务的复杂性

达到一定的阈值之后呢

GPT-4将明显比GPT-3.5

更可靠更有创意

而且能够处理更细微的指令

---

所以OpenAI特意在各种基准测试中

对两种模型做了对比

包括一些最初为人类设计的模拟考试

可以看到在很多的测试中

GPT-4都明显高于GPT-3.5

在为机器学习模型

设计的传统基准测试中

GPT-4也大大优于现有的大语言模型

以及大多数最先进的SOTA模型

---

由于许多现有的这个机器模型啊

这个machine learning的基准测试

都是用英语编写的

所以这次OpenAI特意将MMLU

的基准测试翻译成了各种语言

---

在测试的26种语言的24种中

GPT-4都优于GPT-3.5

以及其他的大型语言模型

包括像拉脱维亚语

威尔士语

斯瓦希里语等等非常小众的语言

2 - 文本和图像提示

第二点

GPT-4可以接受文本和图像的提示

虽然现在图像的输入还没有公开

但是OpenAI在官网展示了

7个视觉输入的相关例子

第一个示例呢

是输入了一张由3张图片拼成的图

用户输入这张图有什么奇怪的地方

请一张一张的描述

GPT-4呢就会分别

对这每张图中的内容进行描述

并且指出这幅图

是把一个大的而且过时的VGA接口

插入了一个小的

但是现代化的智能手机的充电端口

这样做是非常荒谬的

其实这个是网络上的一张梗图啊

但是GPT-4也能够很好的去描述它

---

第二个示例是用户问

格鲁吉亚和西亚

平均每天肉类消费总量是多少

让GPT-4在给答案之前呢

提供一个循序渐进的推理过程

GPT-4也能按照要求做出回答

---

第三个示例呢

是用户直接给了一张考试题的照片

而且这个试题呢是法语的

让GPT-4一步步的思考作答

而且GPT-4也答对了

---

第四个例子是

用户问这张图片有什么不寻常之处

GPT-4直接就回答出

这是一名男子正在

行驶中的出租车车顶上

在熨衣板上熨烫衣服

这也是一个不合常理的地方

它可以很好的识别出来

---

第五个例子是给了几张论文的照片

让GPT-4呢做一些相应的总结

而且GPT-4也可以对用户指定的

图片内容进行展开的解释

---

第6个例子

是给了GPT-4一张网络上的梗图

搞笑图片

GPT-4回答说这其实呢是一个笑话

结合了太空中的地球照片

和鸡块这两个完全不相关的东西

---

最后一个示例呢

是让GPT-4去解释这张漫画

GPT-4认为它讽刺了

统计学习和神经网络

在提高模型性能方面的差异

也是对这个图像上的内容

识别的比较准确

3 - 系统消息功能

第三点呢就是在可操作性方面

OpenAI这次提供了一个

叫系统消息 (system messages) 的功能

允许API的用户

来定义AI的风格和任务

同时也展示了三个示例

---

第一个示例

是让这个GPT-4

作为一个总是以苏格拉底风格

来回应学生问题的老师

不是直接给学生去求解

某个线性方程组的答案

而是通过将那个问题

拆分成更简单的部分

引导学生来做独立思考

---

第二个示例

是让GPT-4变成莎士比亚的海盗

就是完全忠于自己的个性啊

可以看到它在多轮对话的过程中呢

始终能够保持着自己的人设

---

第三个示例呢

是让GPT-4成为一名AI的助手

但是总是以这个JSON的方式来

编写这个响应输出啊

然后GPT-4的回答的风格呢

就变成了如下这样

回答内容都是JSON的这个格式风格

4 - 真实性、稳定性、可靠性

第4点

在真实性 稳定性 可靠性等其他方面

基于ChatGPT使用的经验教训

OpenAI团队对GPT-4进行了长达

6个月的对抗性测试和调整

据说达到了有史以来最好的效果

虽然GPT-4仍然存在一定的局限性

包括事实性的幻觉和推理错误

但是相对于以前的模型

已经大幅度的减少

在OpenAI内部的对抗性

和真实性的这个评估中呢

GPT-4的得分都要比GPT-3.5高40%

---

在模型的风险方面

OpenAI聘请了50多位来自于

AI对齐风险

网络安全

生物风险

信任和安全

以及国际安全等领域的专家

来对模型进行对抗性的测试

---

GPT-4在RLHF训练期间

还加入了一个额外的安全奖励信号

就是通过训练模型

拒绝对此类内容的请求

来减少有害的输出

这种方式将模型

去响应禁止内容请求的可能性

降低了82%

---

并且GPT-4根据OpenAI的政策

响应敏感请求的频率还提高了29%

总的来说

---

虽然还有很多的不足

也还有很多的工作要做

但是GPT-4

应该算是一个里程碑式的发布

我们也期待

GPT-4能够成为一个有价值的工具

通过为许多的应用来提供动力

从而改善人们的生活