文章目录
- Abstract
- 1 Introduction
- 2 文献综述
- 2.1 相关的深度学习方法
- 2.2 基于强化学习的方法
- 3 Methodology
- 3.1 问题定义和预备知识
- 3.2 策略网络架构
Abstract
组合优化，如图上的车辆路径和旅行商问题，是NP-hard问题，几十年来一直被研究。已经提出了许多方法来解决这些问题，包括但不限于精确算法、近似算法、启发式算法和解决方案求解器。然而，这些方法无法学习问题的内部结构，也无法推广到类似或更大规模的问题。最近，深度强化学习已被应用于组合优化并取得了令人信服的结果。尽管如此，有效整合和训练改进的挑战依然存在。在本研究中，我们提出了一个新的框架（BDRL），结合BERT（来自Transformer的双向编码器表示）和深度强化学习，通过将一般优化问题视为在已识别数据分布下的数据点来解决图上的组合优化问题。我们首先改进了BERT的Transformer编码器，以有效嵌入组合优化图。通过采用对比目标，我们将BERT类训练扩展到强化学习中，并获取自注意力一致的表示。接下来，我们使用分层强化学习对模型进行预训练；即通过迭代过程训练和微调模型，使其更适合特定的组合优化问题。结果表明我们提出的框架在多个任务中的泛化能力、效率和有效性。
