文章主要内容和创新点主要内容本文针对异构检索增强生成（RAG）服务中出现的系统级挑战（如复杂多阶段工作流和多样化请求模式导致的执行效率问题），提出了一种名为HedraRAG的运行时系统。该系统基于图抽象（RAGraph），通过动态图转换（包括节点拆分、重排序、边添加和依赖重连等）挖掘跨阶段并行性、请求内相似性和请求间倾斜性等优化机会，并将生成的执行计划映射到CPU-GPU混合管道，以提高资源利用率和降低延迟。实验表明，在多种RAG工作流中，HedraRAG相比现有框架实现了超过1.5倍、最高达5倍的加速。创新点提出RAGraph抽象：一种基于图的抽象，统一表示异构RAG工作流，支持对多样化执行模式的统一推理，为 runtime 优化提供基础。HedraRAG系统设计：通过RAGraph实现动态图转换，支持动态批处理、语义感知执行和自适应缓存，协调复杂多阶段工作流中的生成与检索过程。三项关键优化技术：细粒度子阶段划分与动态批处理，缓解因阶段长度变化导致的管道停滞，实现更平滑的CPU-GPU流水线；语义感知重排序与推测执行，利用请求内语义相似性，重叠复杂多轮工作流中的依赖阶段；部分GPU索引缓存与异步更新，捕捉请求间的索引访问倾斜性，实现高效的CPU-GPU混合检索执行。实验验证