计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-10

1. Characterizing and Efficiently Accelerating Multimodal Generation Model Inference

Y Lee, A Sun, B Hosmer, B Acun, C Balioglu, C Wang… - arXiv preprint arXiv …, 2024
https://arxiv.org/pdf/2410.00215?

在这里插入图片描述

特征化与高效加速多模态生成模型推理

摘要

本文针对多模态生成模型在实际系统上的推理性能进行了深入分析，识别了系统设计和优化的关键机会。多模态生成模型在理解并响应多种模态方面具有革命性的能力，但这些高级功能通常需要显著的系统资源。为了在全球范围内将生成性AI能力扩展到数十亿用户，推理过程必须快速且高效。文章通过特征化一系列新兴的多模态生成模型，指出了关键的系统设计和优化机会，并展示了从应用到系统软件和硬件的最新优化方法，可将推理性能提高3.88倍。

创新点

系统性能特征化：对多模态生成模型进行了深入的系统性能分析，包括计算需求、内存带宽需求和输入分布的变化。
优化方法：展示了包括torch.compile、CUDA Graph、Scaled Dot Product Attention (SDPA) / Flash Attention和量化技术在内的最新优化方法，这些方法可以显著提高推理性能。
算法优化：通过LayerSkip等算法优化进一步提高推理性能效率。

算法模型

多模态生成模型：涵盖了语言模型（如Code Llama）、语音翻译（如Seamless）、文本和图像生成（如Chameleon）以及生成式深度学习推荐系统（如gDLRM）。
优化技术：
- SDPA/Flash Attention：用于加速Transformer模型中的关键性能瓶颈。
- torch.compile和CUDA Graph：用于优化内存效率和提高GPU利用率。
- 量化：提高计算密度和内存带宽利用率。
- LayerSkip：一种自推测解码方法，用于加速生成过程。

实验效果

性能提升：通过启用最新的优化技术，跨关键生成AI任务的推理性能平均提高了3.88倍。
数据与结论：
- 不同模型的性能差异：例如，Chameleon的文本到图像任务比HSTU需要更多的计算资源。
- 优化技术的影响：SDPA和torch.compile结合使用可以显著提高性能，尤其是在小批量设置中。
- 实时应用潜力：对于Seamless模型，优化后的端到端推理速度提高了2.7倍，这对于实时语音翻译任务至关重要。

2. Generative AI Application for Building Industry

H Wan, J Zhang, Y Chen, W Xu, F Feng - arXiv preprint arXiv:2410.01098, 2024
https://arxiv.org/pdf/2410.01098
在这里插入图片描述
生成式人工智能在建筑行业的应用

摘要

本文探讨了生成式人工智能技术，特别是大型语言模型（LLMs），在建筑行业的变革潜力。通过利用这些先进的AI工具，研究了它们在能源规范合规性、建筑设计优化和劳动力培训等关键领域的应用。研究强调了LLMs如何自动化劳动密集型流程，显著提高建筑实践中的效率、准确性和安全性。文章还解决了在建筑计划和法规规范中解释复杂视觉和文本数据的挑战，提出了创新的解决方案，以增强AI驱动的合规性检查和设计流程。此外，研究还考虑了AI集成的更广泛影响，包括开发AI驱动的工具，以实现跨不同监管领域的全面规范合规，以及AI通过现实模拟彻底改革劳动力培训的潜力。

创新点

综合应用分析：提供了生成式AI在建筑行业多个领域应用的全面分析。
AI驱动的合规性检查：提出了使用LLMs自动化建筑规范合规性检查的创新方法。
设计优化：探索了利用AI优化设计流程，提高建筑实践的效率和准确性。
劳动力培训：考虑了AI在通过现实模拟彻底改革劳动力培训方面的潜力。

算法模型

Transformer模型：用于处理包括文本生成、语言理解和分类在内的各种自然语言处理（NLP）任务。
Diffusion模型：通过模拟从噪声到有意义内容的逐步转换过程，生成图像或文本。
检索增强生成（RAG）：一种通过整合外部知识源来增强语言模型功能的技术。

实验效果

代码合规性检查：展示了LLMs在自动化翻译建筑规范为明确规则方面的潜力。
HVAC系统控制：使用ChatGPT和深度Q网络（DQN）模型优化HVAC系统的控制，以减少能源消耗。
数据挖掘：结合最大频繁项集挖掘和生成预训练变压器（GPT）来识别建筑运营数据中的能源浪费模式。
建筑模拟输入文件支持：研究了LLMs在建筑能源建模（BEM）软件中的集成，特别是EnergyPlus。

结论

生成式AI在建筑行业的集成为设计、合规性和培训的各个方面的变革提供了重要的潜力。通过利用LLMs在能源规范合规性检查、建筑设计优化和劳动力培训等方面的能力，建筑行业可以实现显著的效率、准确性和安全性改进。

3. Application of RAG Model Based on Retrieval Enhanced Generation Technique in Complex Query Processing

X Li

基于检索增强生成技术的RAG模型在复杂查询处理中的应用

摘要

本文探讨了检索增强生成(RAG)模型在处理复杂查询中的应用。RAG模型通过结合检索和生成两个过程，展示了在处理复杂查询时的独特优势。文章深入讨论了RAG模型的工作原理，并将其应用于复杂查询处理场景。通过分析真实案例和验证实验结果，展示了RAG模型在增强查询处理结果方面的显著优势。尽管RAG模型在处理复杂查询方面表现出良好的性能，但其应用仍面临一些挑战和限制。文章最后对RAG模型的未来发展进行了展望，探索了可能的优化方向和应用前景。

创新点

检索增强生成技术：RAG模型结合了检索和生成过程，以处理复杂查询。
深度集成：RAG模型通过检索文档片段并将其作为上下文信息输入生成模型，提高了生成响应的相关性和准确性。
端到端训练：RAG模型采用端到端训练方法，优化检索器和生成器的协同工作。

算法模型

RAG模型：结合信息检索与生成模型，通过检索与生成的结合来提供更准确的答案。
检索步骤：使用向量表示的检索模型（如DPR）从大规模数据集中筛选与查询最相关的文档片段。
生成步骤：基于检索到的内容和初始处理的查询信息，生成与用户需求一致的自然语言响应。

实验效果

实验结果：RAG模型在处理复杂查询时，能够更有效地利用外部知识，生成内容的相关性更高。
重要数据与结论：RAG模型在知识广度和答案准确性方面显著优于传统生成模型。

4. How Can Generative Artificial Intelligence Techniques Facilitate Intelligent Research into Ancient Books?

J Liu, X Ma, L Wang, L Pei - ACM Journal on Computing and Cultural Heritage, 2024

在这里插入图片描述

生成式人工智能技术如何促进古籍研究智能化？

摘要

本文探讨了生成式人工智能（AI）技术在古籍研究领域的应用，包括数字化、智能化处理古籍文本和古籍活化的智能应用。研究重点在于多模态大型模型在古籍图像处理和光学字符识别（OCR）中的作用，以及如何利用大型语言模型（LLM）进行古籍文本的智能信息处理。文章还讨论了结合提示工程、检索增强生成（RAG）、监督式微调、LangChain 等技术来提高古籍文本挖掘和应用的性能。尽管大型语言模型在推进古籍研究领域向智能分析发展方面展现出变革潜力，但仍存在知识补全、理解情感和文化细微差别以及伦理和责任问题的局限性。

创新点

多模态大型模型：在古籍图像处理和OCR中的应用，提高布局分析的准确性。
智能信息处理：使用LLM进行古籍文本的深入分析，包括结构化分析、信息提取和深度语义分析。
LangChain 技术：构建基于链式推理模型的智能知识库问答系统，提高问答系统的深度和准确性。
智能代理技术：将需求和答案转化为可由其他IoT设备执行的命令，实现文化产业的智能化。

算法模型

多模态大型模型（Multimodal LLMs）：结合图像和文本信息，提高古籍页面的布局分析和文字识别。
大型语言模型（LLMs）：用于理解和生成复杂的古籍文本，进行结构化分析和深度语义分析。
检索增强生成（RAG）：结合信息检索和自然语言生成，提高LLM的回答准确性和知识丰富度。
LangChain：基于LLM的智能信息处理框架，提供标准化接口，简化应用开发难度。

实验效果

古籍修复：使用AI模型对敦煌遗书等古籍进行数字化修复，恢复了文档的完整性。
智能古籍注释：使用“WYD: WIDEN YOUR DATA”平台进行古籍文本的自动注释，提高了研究效率。
数据和结论：AI技术在古籍研究中的应用不仅提高了对传统文化的理解和传播，还为古籍的数字化保护和智能化使用开辟了新的途径。

5. Retrieval-Augmented Generation for Large Language Models: A Survey

Yunfan Gao, Yun Xiong, et.
https://arxiv.org/pdf/2312.10997
在这里插入图片描述

用于大型语言模型的检索增强生成：一项综述

摘要

大型语言模型（LLMs）展现出了令人印象深刻的能力，但同时也面临诸如幻觉、知识过时以及推理过程不透明和不可追溯等挑战。检索增强生成（RAG）通过整合外部数据库的知识，作为一种有希望的解决方案出现。这增强了生成内容的准确性和可信度，特别是对于知识密集型任务，并允许持续的知识更新和整合特定领域的信息。RAG将LLMs的内在知识与外部数据库的庞大、动态的知识库相结合。这篇综述论文详细检查了RAG范式的进展，包括朴素RAG、高级RAG和模块化RAG。它细致地审查了RAG框架的三个部分基础，包括检索、生成和增强技术。本文强调了这些关键部分中嵌入的最新技术，提供了对RAG系统进展的深刻理解。此外，本文介绍了最新的评估框架和基准。最后，本文概述了目前面临的挑战，并指出了研究和开发的潜在途径。