《清华发布工具学习框架，让ChatGPT操控地图、股票查询，贾维斯已来？》
清华发布工具学习框架，让ChatGPT操控地图、股票查询，贾维斯已来？工具学习，清华天团让 ChatGPT 拿起专业工具
https://mp.weixin.qq.com/s/PZt8pfnmY8B1OUGL1fBbCA
人区别于动物的根本标志是什么›？书上的标准答案是人会制造与使用工具。那么再来一道思考题，如果 AI 会使用甚至会制造工具了以后，会发生什么呢？是像贾维斯一样的 AI 私人助手？还是科幻片里按下核弹发射按钮的 AI 机器人？
论文题目：
Tool Learning with Foundation Models
论文链接：
https://arxiv.org/pdf/2304.08354.pdf
开源代码：
https://github.com/OpenBMB/BMTools
工具大体可以被分为三类——物理交互工具、GUI驱动工具以及基于程序的工具。
GPT-4 是否已然具有了和人类一样使用和操作复杂机器的能力？
1、工具操作的知识是隐式的、模糊的，甚至是不可表述的。→如何准确地捕获和表示这种知识？
2、利用工具去解决一个复杂现实问题实质上是一个序贯决策的问题，在不同状态下的不同动作可以能会产生完全相同亦或截然相反的结果。→如何从不同的序列中准确地预测下一步操作？
3、操作工具的过程中有极大可能会出现不同的错误。→如何去捕捉并纠正错误？
利用它本身决策制定和推理的能力让它学会如何利用工具，那么将会极大的增强基础模型的能力。
工具增强学习的主要目标是扩展原有工具的能力，突破原有工具的限制。最典型的就是检索增强的学习，例如 New Bing，通过将基础模型与现有工具融合，从而使得现有工具获得更好的性能。而工具导向学习则侧重于是模型学会如何去使用工具，这种模型侧重于开发可以综合管理和使用工具的基础模型，从而在一定程度上代替人类进行序贯决策，完成许多任务。
工具学习由工具集、环境、控制器、感知器四个模块组成。
人类完成复杂任务时不会只单单使用一个工具，而是将复杂任务拆分为不同的子任务，多步迭代的完成一个复杂任务。这就对大模型的能力提出了全新的挑战，多步的推理任务要求基础模型可以做到：
- 理解不同工具之间的相互作用
- 同时拥有顺序使用与并行使用工具的能力
- 从单一控制器到多控制器的协作
从某种程度而言，工具集也可以是一个近似无限的集合，那么这也就对工具学习的泛化能力提出了挑战。正如人类一样，人类只要学会使用了一把锤子，那不论这把锤子的锤柄锤头如何变换，人类都可以完成对不同锤子的使用。同时，人类在不同工具间的使用经验也可以被泛化，如人类在使用剑的时候学会了刺的动作，那么在使用长枪时也可以泛化使用刺的动作，因此工具学习模型如何扩大自己的通用能力便至关重要。
《探索AI Agent的认知架构及记忆的实现机制》
《探索AI Agent的认知架构及记忆的实现机制-36氪Agent的记忆实现和调用是提高Agent智能水平的关键。https://www.36kr.com/p/2874618853054851从人类的认知系统看AI Agents
Daniel Kahneman在《Thinking, Fast and Slow》中对人类的认知系统进行了两种定义分类：
系统 1：是一种响应迅速且自动化的推理过程。
优点是响应迅速，但在复杂任务中表现可能不理想。
反应快但改变较慢，就像人类的习惯难以快速改变。
系统 2：是慢速、深思熟虑的推理过程。
通过生成中间推理步骤来解决问题。依赖记忆调用，存储思考过程和对行为结果的反思，累积经验以优化后续行为。
反应时间比系统1慢，但改变所需时间相对较快。
优点是推理能力强，不过需要更多计算资源和时间。
大模型的工作方式类似于人类的认知系统1，而构建系统2，就是要让AI通过语言推理、记忆调用、自我思考和规划，将复杂问题拆解成由系统1组成的流程单元，分别执行不同的任务从而达到目的，并在多次实践和运用中沉淀为“经验”数据提供给系统1去训练，从而让系统1获得新的能力。
