简介这份资源面向学习并行计算与科学计算编程的开发者聚焦基于 MPI 的并行矩阵乘法算法实现适合已掌握 C/C 基础、希望理解分布式内存并行编程的读者参考。压缩包内共 1 个 docx 文件约 15KB以文档形式整理算法思路与代码实现便于对照阅读。资源围绕矩阵分块分配、矩阵 B 广播、各进程局部计算与结果聚合展开涉及 MPI_Init、MPI_Comm_rank、MPI_Comm_size、MPI_Bcast、MPI_Scatterv、MPI_Gatherv 等通信函数的实际用法并讨论 BLOCK_SIZE 等优化手段对计算效率的影响。内容预览可见完整 C 语言源码涵盖矩阵随机初始化、按进程划分数据块、局部乘积累加及根进程汇总输出等环节能帮助读者理解主从模式下的任务划分与通信流程。已有 445 人学习可作为 MPI 入门实践与课程实验的参考材料。1. 矩阵乘法 MPI 并行版一份能直接编译运行的 C 源码第一次看到这份源码时我盯着MPI_Scatterv和MPI_Gatherv那两段看了半天——它没有用教科书里常见的MPI_Send/Recv手写点对点通信而是用变长分发把矩阵 A 按行切块撒下去再把结果按列块收回来。这个选择很务实代码短、通信原语少、跑起来就能看到加速比。它解决的是并行计算入门最典型的痛点——矩阵乘法 MPI 并行计算到底怎么写才不翻车。适合两类人一是刚学完 MPI 六个基本函数、想找一个完整可跑例子的学生二是需要给科学计算或机器学习预处理环节加一个并行矩阵乘 baseline 的开发者。源码只有一个.c文件依赖 OpenMPI 或 MPICH编译一条命令运行带两个参数输出直接打印 A、B 和结果矩阵拿来改比从零写省事得多。2. 代码结构拆解一个文件里的五段式流水线2.1 从 main 到 Finalize 的骨架整个程序没有拆函数全部逻辑压在main里这在教学型 MPI 代码里很常见——好处是读者从上往下读一遍就能跟完整个通信时序坏处是后面改造时得自己动手拆。骨架可以切成五段初始化与参数解析、根进程造数据、广播 B、分发 A、计算并回收结果。每段之间靠 MPI 集合通信函数衔接没有额外的同步点时序完全由集合通信的阻塞语义保证。MPI_Init(argc, argv); MPI_Comm_rank(MPI_COMM_WORLD, rank); MPI_Comm_size(MPI_COMM_WORLD, size); int m atoi(argv[1]); int n atoi(argv[2]); int block (m size - 1) / size * n; if (rank size - 1 block m * n - (size - 1) * block) block m * n - (size - 1) * block;m和n从命令行读入分别代表 A 的行数和列数同时 B 被约定为n × m这样乘出来是m × m的方阵。block是每个进程分到的元素个数先按向上取整算一个均匀块再对最后一个 rank 做截断修正防止越界。这里有个隐含假设size不能大于m否则前面的进程分到的块会超过实际数据量后面Scatterv的 counts 就会算错。我一般会在参数解析后加一句if (size m) { ... }的检查源码里没写属于可以补的防御。2.2 根进程造矩阵与 counts/ofss 的构造只有 rank 0 分配完整的 AB 则是每个进程都分配一份m行的指针数组因为 B 要被广播到所有进程。counts 和 ofss 也只在根进程构造它们是Scatterv和Gatherv的元数据。if (rank 0) { counts (int*)malloc(size * sizeof(int)); ofss (int*)malloc(size * sizeof(int)); for (i 0; i size - 1; i) { counts[i] block; ofss[i] i * block; } counts[i] block m * n - i * block ? block : m * n - i * block; ofss[i] i * block; A (int*)malloc(m * n * sizeof(int)); srand((int)time(0)); for (i 0; i m; i) for (j 0; j n; j) { A[i * n j] (int)rand() % N; B[i][j] (int)rand() % N; } }counts[i]是发给第 i 个进程的元素个数ofss[i]是它在 A 里的起始偏移。注意最后一个进程的 counts 用了三元表达式兜底因为block在上一段已经被截断过这里再取 min 是双保险。随机数用rand() % NN宏定义为 3所以矩阵元素只有 0、1、2 三个值方便人眼核对结果。B 的填充循环写的是B[i][j]i 走m、j 走n但 B 的逻辑形状是n × m这里其实是按行优先把 B 当成m × n的存储来填后面计算时用B[k][j]取第 k 行第 j 列正好对应 B 的转置视角读代码时别被绕进去。2.3 广播 B 与 Scatterv 分发 A通信阶段只有两行核心调用但这两行决定了整个并行策略B 全量复制A 按行切块。for (i 0; i m; i) MPI_Bcast(B[i], n, MPI_INT, 0, MPI_COMM_WORLD); MPI_Scatterv(A, counts, ofss, MPI_INT, TA, block, MPI_INT, 0, MPI_COMM_WORLD);MPI_Bcast对 B 的每一行单独广播因为 B 是二级指针每行内存不连续不能一次性广播整个矩阵。循环m次广播n个 int通信次数偏多这是这份代码可以优化的第一个点——把 B 改成一维连续数组一次Bcast搞定。MPI_Scatterv把 A 按 counts/ofss 切成不等长的块发给各进程接收缓冲区TA大小固定为block。这里有个细节非根进程的counts和ofss是 NULLScatterv在非根进程上会忽略这两个参数所以不分配也不会崩。2.4 本地乘加与结果转置存储计算段是纯串行三重循环但结果没有直接按行存而是转置着写进RETA这是为了后面Gatherv能按列块拼接。int col block / n; int *RETA (int*)malloc(col * m * sizeof(int)); int *RES NULL; if (rank 0) RES (int*)malloc(m * m * sizeof(int)); for (k 0; k m; k) { for (i 0; i col; i) { int tmp 0; for (j 0; j n; j) tmp TA[i * n j] * B[k][j]; RETA[i * m k] tmp; } }col block / n是本进程分到的行数。外层k遍历 B 的行也就是结果的列内层i遍历本地 A 的行最内层j做点积。RETA[i * m k]的写法把结果按「行 i、列 k」存进一个col × m的缓冲区等价于把本地结果转置后连续存放。这样 rank 0 收到各进程的块后按偏移直接拼就能得到完整的m × m结果不需要再做一次转置。代价是写RETA时访存不连续缓存命中率不如按行写但在教学规模下无所谓。2.5 Gatherv 回收与结果打印回收阶段先把 counts/ofss 从「元素个数」换算成「结果元素个数」再调Gatherv。if (rank 0) { ofss[0] 0; counts[0] col * m; for (i 1; i size; i) { counts[i] counts[i] / n * m; ofss[i] ofss[i-1] counts[i-1]; } } MPI_Gatherv(RETA, col * m, MPI_INT, RES, counts, ofss, MPI_INT, 0, MPI_COMM_WORLD);counts[i] / n * m是把「A 的元素数」换算成「结果元素数」每个进程负责counts[i]/n行每行产生m个结果。ofss重新累加保证各块在RES里首尾相接。最后 rank 0 打印 A、B按转置形式打印所以看到的是n × m和结果矩阵然后逐层free。释放顺序值得留意A、counts、ofss、RES在 rank 0 分支里释放TA、RETA、B在所有进程释放漏掉任何一个都会在长时间跑批时攒出内存问题。3. 跑起来编译、运行与多进程验证3.1 环境准备与编译命令需要一套 MPI 实现OpenMPI 或 MPICH 都行外加 gcc。装好后用mpicc编译它本质是包了 gcc 并自动带上 MPI 头文件和链接库。# 确认 MPI 可用 mpicc --version mpirun --version # 编译-O2 打开优化-Wall 看警告 mpicc -O2 -Wall -o matmul_mpi matmul_mpi.c # 2 进程跑 4×3 的 AB 自动为 3×4结果为 4×4 mpirun -np 2 ./matmul_mpi 4 3-np指定进程数必须小于等于m否则前面分析的块大小会算错。如果机器是多核mpirun默认会把进程铺到可用核上单机调试时加--oversubscribe可以在核数不够时强行起更多进程但会拖慢速度只适合验证逻辑。跑完应该看到 A、B、结果三段输出结果矩阵每个元素是 0 到 12 之间的整数因为元素最大 2点积长度 3最大 2×2×312。3.2 用 1 进程和 4 进程对照验证正确性验证并行结果对不对最省事的办法是拿不同进程数的输出互相对。1 进程时Scatterv退化成整块分发Gatherv退化成整块回收等价于串行版本4 进程时数据被切成四份。两次运行的随机种子不同矩阵内容会变所以不能直接 diff 输出得固定种子或者只比对「同一份输入下不同进程数的结果」。# 改法把 srand((int)time(0)) 换成 srand(42)两次运行输入一致 mpirun -np 1 ./matmul_mpi 6 4 out_1p.txt mpirun -np 3 ./matmul_mpi 6 4 out_3p.txt # 手动比对两份输出里的结果矩阵段我一般会写个小脚本只提取:之后的行做 diff这样能快速确认分发和回收的偏移没算错。如果结果对不上优先查counts的换算和ofss的累加这两处是最容易出 off-by-one 的地方。3.3 参数含义与边界条件参数含义约束改错后的现象argv[1](m)A 的行数、结果行数正整数≥ 进程数块大小算负Scatterv 报错或段错误argv[2](n)A 的列数、B 的行数正整数点积长度错结果数值不对-np进程数≤ m前面进程 counts 超出实际数据N宏随机数上界建议 ≤ 10太大时结果溢出 int 的风险上升m和n不要求相等但 B 的形状被硬编码成n × m所以结果一定是m × m。如果想算m × n乘n × p的通用形状得把 B 的分配和打印循环里的m换成p这是二次开发时第一个要动的地方。4. 避坑与排查五个真实会踩的坑4.1 进程数大于行数导致 counts 越界现象是mpirun -np 8 ./matmul_mpi 4 3直接段错误或Scatterv报 invalid count。原因是block (m size - 1) / size * n在size m时算出 1 行但前面size-1个进程各拿 1 行累计超过m行最后一个进程的截断修正救不回来。解决是在MPI_Init之后加一句判断size m时让非根进程直接MPI_Finalize退出或者把size钳到m。4.2 B 的广播循环次数写错现象是结果矩阵部分行正确、部分行是垃圾值。原因是MPI_Bcast循环上界写成了n而不是mB 只有前n行被广播后面m-n行在各进程里是未初始化内存。这份源码写的是i m是对的但改代码时很容易顺手改成n。排查办法是在Bcast后打印每个进程的 B 行数确认等于m。4.3 Gatherv 的 counts 没做元素数换算现象是 rank 0 打印的结果矩阵错位或者Gatherv报 truncation。原因是直接把Scatterv用的 countsA 的元素数传给了Gatherv但每个进程产出的结果元素数是col * m两者差一个m/n的因子。源码里counts[i] counts[i] / n * m就是干这个的改造时如果改了分块策略这行必须同步改。排查时打印换算前后的 counts 对比最直接。4.4 忘记 free 导致长跑内存涨现象是循环调用几十次后 RSS 持续上升。原因是B的每行、TA、RETA在非根进程也要释放而A、counts、ofss、RES只在根进程分配。源码的释放顺序是对的但如果你把这段逻辑抽成函数反复调用很容易漏掉B[i]的逐行释放。习惯做法是把分配和释放成对写在同一个函数里或者用valgrind --leak-checkfull mpirun -np 2 ./matmul_mpi 4 3跑一遍看泄漏报告。4.5 用 time(0) 做种子导致无法复现现象是两次运行结果不同没法判断是并行逻辑错了还是输入变了。原因是srand((int)time(0))每秒变一次同一秒内跑两次才一致。调试阶段把种子固定成常量确认并行结果和串行一致后再换回时间种子。这个坑我在第一次调Gatherv偏移时踩过白白怀疑了半天通信函数。5. 二次开发从教学代码到能用的并行乘 baseline这份代码最大的改造空间在通信和分块两处。B 的逐行广播改成连续内存一次广播能把m次通信压成 1 次A 的分块从「按元素均分」改成「按行块均分」能让col的计算不再依赖整除边界更干净。下面是我一般会先做的两步。第一步把 B 改成一维连续数组广播只调一次// B 改成一维B[k * n j] 访问第 k 行第 j 列 int *B (int*)malloc(m * n * sizeof(int)); // 根进程填充后一次广播整个 B MPI_Bcast(B, m * n, MPI_INT, 0, MPI_COMM_WORLD); // 计算段相应改成 tmp TA[i * n j] * B[k * n j];这样改完通信次数从m1降到 2一次 Bcast、一次 Scatterv在小m时提升不明显但m上千后差距就出来了。第二步把结果回收改成MPI_Reduce或者按行Gatherv避免RETA的转置写。如果目标是做性能对比还可以在计算段前后加MPI_Wtime()分别统计通信和计算耗时输出每个 rank 的耗时分解——这是判断「该优化通信还是优化计算」最直接的依据。验证改造是否正确的办法很朴素固定种子用 1、2、4 进程各跑一遍提取结果矩阵做 diff全一致才算过。性能上用mn512跑 1 进程和 4 进程看加速比是否接近线性如果 4 进程只快 1.5 倍多半是 B 的广播或结果回收成了瓶颈回去看耗时分解。改造点原实现建议改法预期收益B 广播逐行m次 Bcast连续内存 1 次 Bcast通信次数降为 O(1)A 分块按元素均分按行块均分边界处理简化结果回收转置写 Gatherv按行 Gatherv 或 Reduce访存连续缓存友好计时无MPI_Wtime分段定位瓶颈最后说个习惯这份代码我每次改完通信原语都会先用-np 1跑通再上多进程因为单进程下所有集合通信都退化成内存拷贝逻辑错会立刻暴露比在多进程里靠打印猜快得多。从那以后我调任何 MPI 集合通信的偏移参数都强制先走一遍单进程对照再逐步加进程数。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/11/2 7:36:18 · 阅读 1.2k 矩阵乘法MPI并行计算：可编译C源码与避坑指南
简介这份资源面向学习并行计算与科学计算编程的开发者聚焦基于 MPI 的并行矩阵乘法算法实现适合已掌握 C/C 基础、希望理解分布式内存并行编程的读者参考。压缩包内共 1 个 docx 文件约 15KB以文档形式整理算法思路与代码实现便于对照阅读。资源围绕矩阵分块分配、矩阵 B 广播、各进程局部计算与结果聚合展开涉及 MPI_Init、MPI_Comm_rank、MPI_Comm_size、MPI_Bcast、MPI_Scatterv、MPI_Gatherv 等通信函数的实际用法并讨论 BLOCK_SIZE 等优化手段对计算效率的影响。内容预览可见完整 C 语言源码涵盖矩阵随机初始化、按进程划分数据块、局部乘积累加及根进程汇总输出等环节能帮助读者理解主从模式下的任务划分与通信流程。已有 445 人学习可作为 MPI 入门实践与课程实验的参考材料。1. 矩阵乘法 MPI 并行版一份能直接编译运行的 C 源码第一次看到这份源码时我盯着MPI_Scatterv和MPI_Gatherv那两段看了半天——它没有用教科书里常见的MPI_Send/Recv手写点对点通信而是用变长分发把矩阵 A 按行切块撒下去再把结果按列块收回来。这个选择很务实代码短、通信原语少、跑起来就能看到加速比。它解决的是并行计算入门最典型的痛点——矩阵乘法 MPI 并行计算到底怎么写才不翻车。适合两类人一是刚学完 MPI 六个基本函数、想找一个完整可跑例子的学生二是需要给科学计算或机器学习预处理环节加一个并行矩阵乘 baseline 的开发者。源码只有一个.c文件依赖 OpenMPI 或 MPICH编译一条命令运行带两个参数输出直接打印 A、B 和结果矩阵拿来改比从零写省事得多。2. 代码结构拆解一个文件里的五段式流水线2.1 从 main 到 Finalize 的骨架整个程序没有拆函数全部逻辑压在main里这在教学型 MPI 代码里很常见——好处是读者从上往下读一遍就能跟完整个通信时序坏处是后面改造时得自己动手拆。骨架可以切成五段初始化与参数解析、根进程造数据、广播 B、分发 A、计算并回收结果。每段之间靠 MPI 集合通信函数衔接没有额外的同步点时序完全由集合通信的阻塞语义保证。MPI_Init(argc, argv); MPI_Comm_rank(MPI_COMM_WORLD, rank); MPI_Comm_size(MPI_COMM_WORLD, size); int m atoi(argv[1]); int n atoi(argv[2]); int block (m size - 1) / size * n; if (rank size - 1 block m * n - (size - 1) * block) block m * n - (size - 1) * block;m和n从命令行读入分别代表 A 的行数和列数同时 B 被约定为n × m这样乘出来是m × m的方阵。block是每个进程分到的元素个数先按向上取整算一个均匀块再对最后一个 rank 做截断修正防止越界。这里有个隐含假设size不能大于m否则前面的进程分到的块会超过实际数据量后面Scatterv的 counts 就会算错。我一般会在参数解析后加一句if (size m) { ... }的检查源码里没写属于可以补的防御。2.2 根进程造矩阵与 counts/ofss 的构造只有 rank 0 分配完整的 AB 则是每个进程都分配一份m行的指针数组因为 B 要被广播到所有进程。counts 和 ofss 也只在根进程构造它们是Scatterv和Gatherv的元数据。if (rank 0) { counts (int*)malloc(size * sizeof(int)); ofss (int*)malloc(size * sizeof(int)); for (i 0; i size - 1; i) { counts[i] block; ofss[i] i * block; } counts[i] block m * n - i * block ? block : m * n - i * block; ofss[i] i * block; A (int*)malloc(m * n * sizeof(int)); srand((int)time(0)); for (i 0; i m; i) for (j 0; j n; j) { A[i * n j] (int)rand() % N; B[i][j] (int)rand() % N; } }counts[i]是发给第 i 个进程的元素个数ofss[i]是它在 A 里的起始偏移。注意最后一个进程的 counts 用了三元表达式兜底因为block在上一段已经被截断过这里再取 min 是双保险。随机数用rand() % NN宏定义为 3所以矩阵元素只有 0、1、2 三个值方便人眼核对结果。B 的填充循环写的是B[i][j]i 走m、j 走n但 B 的逻辑形状是n × m这里其实是按行优先把 B 当成m × n的存储来填后面计算时用B[k][j]取第 k 行第 j 列正好对应 B 的转置视角读代码时别被绕进去。2.3 广播 B 与 Scatterv 分发 A通信阶段只有两行核心调用但这两行决定了整个并行策略B 全量复制A 按行切块。for (i 0; i m; i) MPI_Bcast(B[i], n, MPI_INT, 0, MPI_COMM_WORLD); MPI_Scatterv(A, counts, ofss, MPI_INT, TA, block, MPI_INT, 0, MPI_COMM_WORLD);MPI_Bcast对 B 的每一行单独广播因为 B 是二级指针每行内存不连续不能一次性广播整个矩阵。循环m次广播n个 int通信次数偏多这是这份代码可以优化的第一个点——把 B 改成一维连续数组一次Bcast搞定。MPI_Scatterv把 A 按 counts/ofss 切成不等长的块发给各进程接收缓冲区TA大小固定为block。这里有个细节非根进程的counts和ofss是 NULLScatterv在非根进程上会忽略这两个参数所以不分配也不会崩。2.4 本地乘加与结果转置存储计算段是纯串行三重循环但结果没有直接按行存而是转置着写进RETA这是为了后面Gatherv能按列块拼接。int col block / n; int *RETA (int*)malloc(col * m * sizeof(int)); int *RES NULL; if (rank 0) RES (int*)malloc(m * m * sizeof(int)); for (k 0; k m; k) { for (i 0; i col; i) { int tmp 0; for (j 0; j n; j) tmp TA[i * n j] * B[k][j]; RETA[i * m k] tmp; } }col block / n是本进程分到的行数。外层k遍历 B 的行也就是结果的列内层i遍历本地 A 的行最内层j做点积。RETA[i * m k]的写法把结果按「行 i、列 k」存进一个col × m的缓冲区等价于把本地结果转置后连续存放。这样 rank 0 收到各进程的块后按偏移直接拼就能得到完整的m × m结果不需要再做一次转置。代价是写RETA时访存不连续缓存命中率不如按行写但在教学规模下无所谓。2.5 Gatherv 回收与结果打印回收阶段先把 counts/ofss 从「元素个数」换算成「结果元素个数」再调Gatherv。if (rank 0) { ofss[0] 0; counts[0] col * m; for (i 1; i size; i) { counts[i] counts[i] / n * m; ofss[i] ofss[i-1] counts[i-1]; } } MPI_Gatherv(RETA, col * m, MPI_INT, RES, counts, ofss, MPI_INT, 0, MPI_COMM_WORLD);counts[i] / n * m是把「A 的元素数」换算成「结果元素数」每个进程负责counts[i]/n行每行产生m个结果。ofss重新累加保证各块在RES里首尾相接。最后 rank 0 打印 A、B按转置形式打印所以看到的是n × m和结果矩阵然后逐层free。释放顺序值得留意A、counts、ofss、RES在 rank 0 分支里释放TA、RETA、B在所有进程释放漏掉任何一个都会在长时间跑批时攒出内存问题。3. 跑起来编译、运行与多进程验证3.1 环境准备与编译命令需要一套 MPI 实现OpenMPI 或 MPICH 都行外加 gcc。装好后用mpicc编译它本质是包了 gcc 并自动带上 MPI 头文件和链接库。# 确认 MPI 可用 mpicc --version mpirun --version # 编译-O2 打开优化-Wall 看警告 mpicc -O2 -Wall -o matmul_mpi matmul_mpi.c # 2 进程跑 4×3 的 AB 自动为 3×4结果为 4×4 mpirun -np 2 ./matmul_mpi 4 3-np指定进程数必须小于等于m否则前面分析的块大小会算错。如果机器是多核mpirun默认会把进程铺到可用核上单机调试时加--oversubscribe可以在核数不够时强行起更多进程但会拖慢速度只适合验证逻辑。跑完应该看到 A、B、结果三段输出结果矩阵每个元素是 0 到 12 之间的整数因为元素最大 2点积长度 3最大 2×2×312。3.2 用 1 进程和 4 进程对照验证正确性验证并行结果对不对最省事的办法是拿不同进程数的输出互相对。1 进程时Scatterv退化成整块分发Gatherv退化成整块回收等价于串行版本4 进程时数据被切成四份。两次运行的随机种子不同矩阵内容会变所以不能直接 diff 输出得固定种子或者只比对「同一份输入下不同进程数的结果」。# 改法把 srand((int)time(0)) 换成 srand(42)两次运行输入一致 mpirun -np 1 ./matmul_mpi 6 4 out_1p.txt mpirun -np 3 ./matmul_mpi 6 4 out_3p.txt # 手动比对两份输出里的结果矩阵段我一般会写个小脚本只提取:之后的行做 diff这样能快速确认分发和回收的偏移没算错。如果结果对不上优先查counts的换算和ofss的累加这两处是最容易出 off-by-one 的地方。3.3 参数含义与边界条件参数含义约束改错后的现象argv[1](m)A 的行数、结果行数正整数≥ 进程数块大小算负Scatterv 报错或段错误argv[2](n)A 的列数、B 的行数正整数点积长度错结果数值不对-np进程数≤ m前面进程 counts 超出实际数据N宏随机数上界建议 ≤ 10太大时结果溢出 int 的风险上升m和n不要求相等但 B 的形状被硬编码成n × m所以结果一定是m × m。如果想算m × n乘n × p的通用形状得把 B 的分配和打印循环里的m换成p这是二次开发时第一个要动的地方。4. 避坑与排查五个真实会踩的坑4.1 进程数大于行数导致 counts 越界现象是mpirun -np 8 ./matmul_mpi 4 3直接段错误或Scatterv报 invalid count。原因是block (m size - 1) / size * n在size m时算出 1 行但前面size-1个进程各拿 1 行累计超过m行最后一个进程的截断修正救不回来。解决是在MPI_Init之后加一句判断size m时让非根进程直接MPI_Finalize退出或者把size钳到m。4.2 B 的广播循环次数写错现象是结果矩阵部分行正确、部分行是垃圾值。原因是MPI_Bcast循环上界写成了n而不是mB 只有前n行被广播后面m-n行在各进程里是未初始化内存。这份源码写的是i m是对的但改代码时很容易顺手改成n。排查办法是在Bcast后打印每个进程的 B 行数确认等于m。4.3 Gatherv 的 counts 没做元素数换算现象是 rank 0 打印的结果矩阵错位或者Gatherv报 truncation。原因是直接把Scatterv用的 countsA 的元素数传给了Gatherv但每个进程产出的结果元素数是col * m两者差一个m/n的因子。源码里counts[i] counts[i] / n * m就是干这个的改造时如果改了分块策略这行必须同步改。排查时打印换算前后的 counts 对比最直接。4.4 忘记 free 导致长跑内存涨现象是循环调用几十次后 RSS 持续上升。原因是B的每行、TA、RETA在非根进程也要释放而A、counts、ofss、RES只在根进程分配。源码的释放顺序是对的但如果你把这段逻辑抽成函数反复调用很容易漏掉B[i]的逐行释放。习惯做法是把分配和释放成对写在同一个函数里或者用valgrind --leak-checkfull mpirun -np 2 ./matmul_mpi 4 3跑一遍看泄漏报告。4.5 用 time(0) 做种子导致无法复现现象是两次运行结果不同没法判断是并行逻辑错了还是输入变了。原因是srand((int)time(0))每秒变一次同一秒内跑两次才一致。调试阶段把种子固定成常量确认并行结果和串行一致后再换回时间种子。这个坑我在第一次调Gatherv偏移时踩过白白怀疑了半天通信函数。5. 二次开发从教学代码到能用的并行乘 baseline这份代码最大的改造空间在通信和分块两处。B 的逐行广播改成连续内存一次广播能把m次通信压成 1 次A 的分块从「按元素均分」改成「按行块均分」能让col的计算不再依赖整除边界更干净。下面是我一般会先做的两步。第一步把 B 改成一维连续数组广播只调一次// B 改成一维B[k * n j] 访问第 k 行第 j 列 int *B (int*)malloc(m * n * sizeof(int)); // 根进程填充后一次广播整个 B MPI_Bcast(B, m * n, MPI_INT, 0, MPI_COMM_WORLD); // 计算段相应改成 tmp TA[i * n j] * B[k * n j];这样改完通信次数从m1降到 2一次 Bcast、一次 Scatterv在小m时提升不明显但m上千后差距就出来了。第二步把结果回收改成MPI_Reduce或者按行Gatherv避免RETA的转置写。如果目标是做性能对比还可以在计算段前后加MPI_Wtime()分别统计通信和计算耗时输出每个 rank 的耗时分解——这是判断「该优化通信还是优化计算」最直接的依据。验证改造是否正确的办法很朴素固定种子用 1、2、4 进程各跑一遍提取结果矩阵做 diff全一致才算过。性能上用mn512跑 1 进程和 4 进程看加速比是否接近线性如果 4 进程只快 1.5 倍多半是 B 的广播或结果回收成了瓶颈回去看耗时分解。改造点原实现建议改法预期收益B 广播逐行m次 Bcast连续内存 1 次 Bcast通信次数降为 O(1)A 分块按元素均分按行块均分边界处理简化结果回收转置写 Gatherv按行 Gatherv 或 Reduce访存连续缓存友好计时无MPI_Wtime分段定位瓶颈最后说个习惯这份代码我每次改完通信原语都会先用-np 1跑通再上多进程因为单进程下所有集合通信都退化成内存拷贝逻辑错会立刻暴露比在多进程里靠打印猜快得多。从那以后我调任何 MPI 集合通信的偏移参数都强制先走一遍单进程对照再逐步加进程数。希望帮到你。本文还有配套的精品资源点击获取