从概念到使用全面了解Llama 3 这个迄今为止最强大的开源模型

概述

mate最近发布了 Llama3，下一代最先进的开源大语言模型（LLM）。正如本文的综合评论所述，Llama 3 以其前身奠定的基础为基础，旨在增强 Llama 2 成为 ChatGPT 重要开源竞争对手的能力 Llama 2：深入探讨 ChatGPT 的开源挑战者.

在本文中，我们将讨论 Llama 3 背后的核心概念，探索其创新架构和训练过程，并就如何负责任地访问、使用和部署这一突破性模型提供实用指导。无论您是研究人员、开发人员还是 AI 爱好者，这篇文章都将为您提供所需的知识和资源，帮助您利用 Llama 3 的强大功能来完成您的项目和应用程序。

Llama 的演变：从 Llama 2 到 Llama 3

Meta 的首席执行官马克·扎克伯格公布 Meta AI 开发的最新人工智能模型 Llama 3 首次亮相。这种最先进的模型现已开源，旨在增强 Meta 的各种产品，包括 Messenger 和 Instagram。扎克伯格强调 Llama 3 将 Meta AI 定位为最先进的免费提供的人工智能助手.

在讨论 Llama 3 的具体细节之前，让我们简单回顾一下它的前身 Llama 2。Llama 2022 于 2 年推出，是开源 Llama 领域的一个重要里程碑，提供了一个可以在消费类硬件上运行的强大而高效的模型。

然而，虽然 Llama 2 是一项显着的成就，但它也有其局限性。用户报告了错误拒绝（模型拒绝回答良性提示）、帮助有限以及推理和代码生成等领域的改进空间的问题。

Llama 3：Meta 对这些挑战的回应以及社区的反馈。通过 Llama 3，Meta 着手构建与当今可用的顶级专有模型相媲美的最佳开源模型，同时还优先考虑负责任的开发和部署实践。

Llama 3：架构和训练

Llama 3 的关键创新之一是它的分词器，它的特点是显着扩展了词汇量 128,256 Token （高于 Llama 32,000 中的 2）。更大的词汇量可以更有效地对输入和输出文本进行编码，从而有可能带来更强的多语言能力和整体性能改进。

Llama 3 还包含 分组查询注意力 （GQA），一种有效的表示技术，可以增强可扩展性并帮助模型更有效地处理更长的上下文。这 8B Llama 3 的版本利用了 GQA，而 8B 和 70B 模型可以处理序列高达 8,192 Token.

训练数据和扩展

Llama 3 使用的训练数据是其性能提升的关键因素。 Meta 策划了超过 15万亿 来自公开在线资源的Token，比 Llama 2 使用的数据集大七倍。该数据集还包括很大一部分（超过 5%）的高质量非英语数据，涵盖超过 30语言，为未来的多语言应用做准备。

为了确保数据质量，Meta 采用了先进的过滤技术，包括启发式过滤器、NSFW 过滤器、语义重复数据删除和在 Llama 2 上训练的文本分类器来预测数据质量。该团队还进行了广泛的实验，以确定预训练数据源的最佳组合，确保 Llama 3 在各种用例中表现良好，包括琐事、STEM、编码和历史知识。

扩大预训练规模是 Llama 3 开发的另一个关键方面。 Meta 开发了缩放法则，使他们能够在实际训练之前预测最大模型在代码生成等关键任务上的性能。这为数据混合和计算分配的决策提供了信息，最终导致更高效和有效的培训。

Llama 3 最大的模型在两个定制的 24,000 个 GPU 集群上进行训练，利用数据并行化、模型并行化和管道并行化技术的组合。 Meta 的高级训练堆栈可自动检测、处理和维护错误，从而最大限度地延长 GPU 正常运行时间，并将训练效率比 Llama 2 提高约三倍。

指令微调和性能

为了充分发挥 Llama 3 在聊天和对话应用程序方面的潜力，Meta 创新了其指令微调方法。其方法结合了 监督微调 (SFT)，拒绝采样， 近端政策优化 （PPO），以及 直接偏好优化 （数据保护办公室）。

SFT 中使用的提示的质量以及 PPO 和 DPO 中使用的偏好排名对于对齐模型的性能起着至关重要的作用。 Meta 的团队精心整理了这些数据，并对人类注释者提供的注释进行了多轮质量保证。

通过 PPO 和 DPO 进行偏好排名训练也显着提高了 Llama 3 在推理和编码任务上的表现。 Meta 发现，即使模型难以直接回答推理问题，它仍然可能产生正确的推理轨迹。对偏好排名的训练使模型能够学习如何从这些痕迹中选择正确的答案。
在这里插入图片描述

结果不言而喻：Llama 3 在常见行业基准上优于许多可用的开源聊天模型，在 8B 和 70B 参数范围内为法学硕士建立了新的最先进的性能。

在这里插入图片描述

负责任的开发和安全考虑

在追求尖端性能的同时，Meta 还优先考虑了 Llama 3 的负责任的开发和部署实践。该公司采用了系统级方法，将 Llama 3 模型设想为更广泛的生态系统的一部分，让开发人员处于主导地位，使他们能够设计并根据其特定用例和安全要求定制模型。

Meta 进行了广泛的红队演习，进行了对抗性评估，并实施了安全缓解技术，以降低其指令调整模型中的残余风险。然而，该公司承认残余风险可能仍然存在，并建议开发人员在其特定用例的背景下评估这些风险。

为了支持负责任的部署，Meta 更新了其负责任的使用指南，为开发人员为其应用程序实施模型和系统级安全最佳实践提供了全面的资源。该指南涵盖内容审核、风险评估以及 Llama Guard 2 和 Code Shield 等安全工具的使用等主题。

Llama Guard 2 基于 MLCommons 分类法构建，旨在对 LLM 输入（提示）和响应进行分类，检测可能被认为不安全或有害的内容。 CyberSecEval 2 在其前身的基础上进行了扩展，添加了防止滥用模型代码解释器、攻击性网络安全功能以及对提示注入攻击的敏感性的措施。

Code Shield 是 Llama 3 的新功能，增加了对 LLM 生成的不安全代码的推理时过滤，从而减轻与不安全代码建议、代码解释器滥用和安全命令执行相关的风险。

访问和使用 Llama 3

随着 Meta AI 的 Llama 3 的推出，多个开源工具已经可以在各种操作系统上进行本地部署，包括 Mac、Windows 和 Linux。本节详细介绍了三个值得注意的工具：Ollama、Open WebUI 和 LM Studio，每个工具都提供了在个人设备上利用 Llama 3 功能的独特功能。

奥拉马：适用于 Mac、Linux 和 Windows，奥拉马简化了 Llama 3 和其他大型语言模型在个人计算机上的操作，即使是那些硬件不太强大的计算机。它包括一个包管理器，可轻松管理模型，并支持跨平台下载和运行模型的命令。

使用 Docker 打开 WebUI：该工具提供了一个用户友好的、码头工人基于接口，与 Mac、Linux 和 Windows 兼容。它与 Ollama 注册表中的模型无缝集成，允许用户在本地 Web 界面中部署 Llama 3 等模型并与之交互。

LM工作室：针对 Mac、Linux 和 Windows 上的用户， LM工作室支持一系列模型，并基于 llama.cpp 项目构建。它提供聊天界面并促进与各种模型的直接交互，包括 Llama 3 8B Instruct 模型。

这些工具确保用户可以在其个人设备上高效地使用 Llama 3，满足一系列技术技能和要求。每个平台都提供了设置和模型交互的分步流程，使开发人员和爱好者更容易使用高级人工智能。

大规模部署 Llama 3

除了提供对模型权重的直接访问之外，Meta 还与各种云提供商、模型 API 服务和硬件平台合作，以实现 Llama 3 的大规模无缝部署。

Llama 3 的主要优势之一是通过新的分词器提高了代币效率。基准测试显示 Llama 3 需要多达 代币减少 15% 与 Llama 2 相比，推理速度更快且更具成本效益。

尽管参数数量有所增加，但在 8B 版本的 Llama 3 中集成分组查询注意力（GQA）有助于保持与 7B 版本的 Llama 2 相当的推理效率。

为了简化部署过程，Meta 提供了 Llama Recipes 存储库，其中包含开源代码以及用于微调、部署、模型评估等的示例。对于希望在其应用程序中利用 Llama 3 功能的开发人员来说，该存储库是宝贵的资源。

对于那些有兴趣探索 Llama 3 性能的人，Meta 已将其最新模型集成到 Meta AI 中，Meta AI 是一款采用 Llama 3 技术构建的领先人工智能助手。用户可以通过各种 Meta 应用程序（例如 Facebook、Instagram、WhatsApp、Messenger 和网络）与 Meta AI 进行交互，以完成工作、学习、创建和连接对他们来说重要的事物。