在应用数学、地球物理反演以及机器学习领域“伴随算子”是一个核心概念。从线性代数的角度看对于一个线性算子或矩阵AAA其伴随算子A∗A^*A∗满足内积关系⟨Ax,y⟩⟨x,A∗y⟩\langle Ax, y \rangle \langle x, A^*y \rangle⟨Ax,y⟩⟨x,A∗y⟩。在实数域中这通常对应于矩阵的转置ATA^TAT在复数域中则对应于共轭转置。然而在实际工程应用中我们往往面对的是复杂的物理模拟或信号处理流程这些过程由大量的代码逻辑组成而非简单的矩阵乘法。此时显式构建矩阵AAA往往是不可能的因为维度过高。因此如何在不构建矩阵的情况下利用 Python 实现一个算子及其伴随算子并验证它们的正确性成为了科学计算中的一个关键问题。本报告将深入探讨伴随算子的 Python 实现、伴随性测试以及其在自动化梯度计算中的亮点。二、伴随算子的 Python 实现与代码解析为了演示伴随算子我们首先定义一个简单的线性算子一维有限差分算子。在数值计算中差分算子常用于近似导数。其伴随算子在物理上通常对应于“散度”或“反向累加”操作。以下是一个基于 Python 和 NumPy 的实现示例importnumpyasnpclassLinearOperator: 一个基础的线性算子类用于封装正演和伴随操作。 def__init__(self,n,m):self.nn# 模型空间维度self.mm# 数据空间维度defforward(self,x):正演算子 A: x - yraiseNotImplementedErrordefadjoint(self,y):伴随算子 A*: y - xraiseNotImplementedErrorclassFirstDerivativeOp(LinearOperator): 一阶前向差分算子及其伴随。 A 近似于 d/dx使用前向差分。 边界条件假设 x[N] 0 (Dirichlet边界)。 def__init__(self,n):super().__init__(n,n-1)defforward(self,x): 计算 y[i] x[i1] - x[i] ifx.shape[0]!self.n:raiseValueError(输入维度不匹配)returnx[1:]-x[:-1]defadjoint(self,y): 计算 A* y。 根据分部求和公式离散版伴随算子是负散度。 对于前向差分伴随算子为 x[0] -y[0] x[i] y[i-1] - y[i] x[N-1] y[N-2] ify.shape[0]!self.m:raiseValueError(输入维度不匹配)x_adjnp.zeros(self.n)x_adj[0]-y[0]x_adj[1:-1]y[:-1]-y[1:]x_adj[-1]y[-1]returnx_adjdefdot_product(a,b):计算两个向量的实数内积returnnp.dot(a.conj(),b).real# 实例化算子n_model100opFirstDerivativeOp(n_model)# 生成随机向量进行测试xnp.random.randn(n_model)ynp.random.randn(n_model-1)# 计算 Ax, y 和 x, A*ylhsdot_product(op.forward(x),y)rhsdot_product(x,op.adjoint(y))print(fAx, y {lhs:.10f})print(fx, A*y {rhs:.10f})print(f相对误差:{abs(lhs-rhs)/max(abs(lhs),abs(rhs)):.2e})代码解析面向对象设计我们定义了一个基类LinearOperator强制要求子类实现forward正演和adjoint伴随方法。这种结构在大规模科学计算库如 PyLops中非常常见它允许我们将复杂的物理过程封装成算子对象。离散微分与伴随FirstDerivativeOp实现了前向差分。数学上差分算子的伴随是负的散度。在代码中adjoint方法并没有通过矩阵转置实现而是直接通过数组切片和加减运算完成。这种“矩阵-free”的实现方式极大地节省了内存是处理大规模数据的核心技巧。内积验证代码最后通过计算两个随机向量的内积来验证伴随关系的正确性。这是检验伴随算子实现是否无误的“金标准”。三、技术亮点伴随性测试与自动化微分1. 伴随性测试在编写复杂的算子时推导伴随算子的公式非常容易出错。上述代码中展示的验证方法被称为伴随性测试。对于任意线性算子如果⟨Ax,y⟩−⟨x,A∗y⟩\langle Ax, y \rangle - \langle x, A^*y \rangle⟨Ax,y⟩−⟨x,A∗y⟩在浮点数精度范围内不为零则说明伴随算子实现有误。这种测试不依赖于具体的物理背景具有通用性。2. 伴随算子与自动微分伴随算子在现代 AI 框架中有着极其重要的地位——它就是反向传播的核心。在深度学习框架如 PyTorch中当我们定义一个前向计算图时框架会自动生成其伴随梯度计算逻辑。我们可以利用 PyTorch 来验证我们手写的伴随算子是否与自动微分的结果一致这展示了符号计算与数值计算的统一importtorch# 使用 PyTorch 张量x_torchtorch.tensor(x,requires_gradTrue)y_torchtorch.tensor(y,requires_gradTrue)# 前向传播Axx_torch[1:]-x_torch[:-1]lhs_torchtorch.dot(Ax,y_torch)# 自动微分计算梯度lhs_torch.backward()adjoint_via_autogradx_torch.grad.numpy()# 比较手动实现的伴随和自动微分的结果manual_adjointop.adjoint(y)diffnp.linalg.norm(adjoint_via_autograd-manual_adjoint)print(f手动伴随与自动微分结果的差异:{diff:.2e})这段代码的亮点在于它揭示了adjoint(y)本质上就是计算向量yyy与算子输出AxAxAx的内积关于输入xxx的梯度。这种视角将传统的数值分析与现代深度学习紧密联系在一起。四、应用场景与总结伴随算子不仅是数学上的优雅构造更是解决实际问题的利器最小二乘反演在求解AxbAxbAxb时共轭梯度法等迭代算法只需要提供AAA和A∗A^*A∗的操作而不需要存储AAA。这使得求解百万级甚至亿级未知数的问题成为可能。全波形反演在地震勘探中正演算子是波动方程求解器而伴随算子则是反向传播波动场用于更新地下介质模型。计算机视觉在图像去模糊或超分辨率任务中模糊核的伴随算子通常用于初始化或作为正则化项的一部分。综上所述利用 Python 实现伴随算子关键在于理解“矩阵-free”的操作逻辑并严格通过伴随性测试来保证代码的正确性。结合现代自动微分工具我们可以更高效地开发和验证复杂的线性算子为大规模科学计算和人工智能应用奠定基础。 
长河君 · 2026/10/31 7:07:18 · 阅读 1.2k 在应用数学、地球物理反演以及机器学习领域，“伴随算子”是一个核心概念
在应用数学、地球物理反演以及机器学习领域“伴随算子”是一个核心概念。从线性代数的角度看对于一个线性算子或矩阵AAA其伴随算子A∗A^*A∗满足内积关系⟨Ax,y⟩⟨x,A∗y⟩\langle Ax, y \rangle \langle x, A^*y \rangle⟨Ax,y⟩⟨x,A∗y⟩。在实数域中这通常对应于矩阵的转置ATA^TAT在复数域中则对应于共轭转置。然而在实际工程应用中我们往往面对的是复杂的物理模拟或信号处理流程这些过程由大量的代码逻辑组成而非简单的矩阵乘法。此时显式构建矩阵AAA往往是不可能的因为维度过高。因此如何在不构建矩阵的情况下利用 Python 实现一个算子及其伴随算子并验证它们的正确性成为了科学计算中的一个关键问题。本报告将深入探讨伴随算子的 Python 实现、伴随性测试以及其在自动化梯度计算中的亮点。二、伴随算子的 Python 实现与代码解析为了演示伴随算子我们首先定义一个简单的线性算子一维有限差分算子。在数值计算中差分算子常用于近似导数。其伴随算子在物理上通常对应于“散度”或“反向累加”操作。以下是一个基于 Python 和 NumPy 的实现示例importnumpyasnpclassLinearOperator: 一个基础的线性算子类用于封装正演和伴随操作。 def__init__(self,n,m):self.nn# 模型空间维度self.mm# 数据空间维度defforward(self,x):正演算子 A: x - yraiseNotImplementedErrordefadjoint(self,y):伴随算子 A*: y - xraiseNotImplementedErrorclassFirstDerivativeOp(LinearOperator): 一阶前向差分算子及其伴随。 A 近似于 d/dx使用前向差分。 边界条件假设 x[N] 0 (Dirichlet边界)。 def__init__(self,n):super().__init__(n,n-1)defforward(self,x): 计算 y[i] x[i1] - x[i] ifx.shape[0]!self.n:raiseValueError(输入维度不匹配)returnx[1:]-x[:-1]defadjoint(self,y): 计算 A* y。 根据分部求和公式离散版伴随算子是负散度。 对于前向差分伴随算子为 x[0] -y[0] x[i] y[i-1] - y[i] x[N-1] y[N-2] ify.shape[0]!self.m:raiseValueError(输入维度不匹配)x_adjnp.zeros(self.n)x_adj[0]-y[0]x_adj[1:-1]y[:-1]-y[1:]x_adj[-1]y[-1]returnx_adjdefdot_product(a,b):计算两个向量的实数内积returnnp.dot(a.conj(),b).real# 实例化算子n_model100opFirstDerivativeOp(n_model)# 生成随机向量进行测试xnp.random.randn(n_model)ynp.random.randn(n_model-1)# 计算 Ax, y 和 x, A*ylhsdot_product(op.forward(x),y)rhsdot_product(x,op.adjoint(y))print(fAx, y {lhs:.10f})print(fx, A*y {rhs:.10f})print(f相对误差:{abs(lhs-rhs)/max(abs(lhs),abs(rhs)):.2e})代码解析面向对象设计我们定义了一个基类LinearOperator强制要求子类实现forward正演和adjoint伴随方法。这种结构在大规模科学计算库如 PyLops中非常常见它允许我们将复杂的物理过程封装成算子对象。离散微分与伴随FirstDerivativeOp实现了前向差分。数学上差分算子的伴随是负的散度。在代码中adjoint方法并没有通过矩阵转置实现而是直接通过数组切片和加减运算完成。这种“矩阵-free”的实现方式极大地节省了内存是处理大规模数据的核心技巧。内积验证代码最后通过计算两个随机向量的内积来验证伴随关系的正确性。这是检验伴随算子实现是否无误的“金标准”。三、技术亮点伴随性测试与自动化微分1. 伴随性测试在编写复杂的算子时推导伴随算子的公式非常容易出错。上述代码中展示的验证方法被称为伴随性测试。对于任意线性算子如果⟨Ax,y⟩−⟨x,A∗y⟩\langle Ax, y \rangle - \langle x, A^*y \rangle⟨Ax,y⟩−⟨x,A∗y⟩在浮点数精度范围内不为零则说明伴随算子实现有误。这种测试不依赖于具体的物理背景具有通用性。2. 伴随算子与自动微分伴随算子在现代 AI 框架中有着极其重要的地位——它就是反向传播的核心。在深度学习框架如 PyTorch中当我们定义一个前向计算图时框架会自动生成其伴随梯度计算逻辑。我们可以利用 PyTorch 来验证我们手写的伴随算子是否与自动微分的结果一致这展示了符号计算与数值计算的统一importtorch# 使用 PyTorch 张量x_torchtorch.tensor(x,requires_gradTrue)y_torchtorch.tensor(y,requires_gradTrue)# 前向传播Axx_torch[1:]-x_torch[:-1]lhs_torchtorch.dot(Ax,y_torch)# 自动微分计算梯度lhs_torch.backward()adjoint_via_autogradx_torch.grad.numpy()# 比较手动实现的伴随和自动微分的结果manual_adjointop.adjoint(y)diffnp.linalg.norm(adjoint_via_autograd-manual_adjoint)print(f手动伴随与自动微分结果的差异:{diff:.2e})这段代码的亮点在于它揭示了adjoint(y)本质上就是计算向量yyy与算子输出AxAxAx的内积关于输入xxx的梯度。这种视角将传统的数值分析与现代深度学习紧密联系在一起。四、应用场景与总结伴随算子不仅是数学上的优雅构造更是解决实际问题的利器最小二乘反演在求解AxbAxbAxb时共轭梯度法等迭代算法只需要提供AAA和A∗A^*A∗的操作而不需要存储AAA。这使得求解百万级甚至亿级未知数的问题成为可能。全波形反演在地震勘探中正演算子是波动方程求解器而伴随算子则是反向传播波动场用于更新地下介质模型。计算机视觉在图像去模糊或超分辨率任务中模糊核的伴随算子通常用于初始化或作为正则化项的一部分。综上所述利用 Python 实现伴随算子关键在于理解“矩阵-free”的操作逻辑并严格通过伴随性测试来保证代码的正确性。结合现代自动微分工具我们可以更高效地开发和验证复杂的线性算子为大规模科学计算和人工智能应用奠定基础。