33 · PSRAM 只有 1.31×把输出头拆给两个核以及先修好带宽仪表本篇对应源码main/kmcu.c·main/main.c·docs/optimization_plan.zh-CN.md目标输出头占单 token 的 43%能不能用第二颗核把它砍一半。结论双核聚合带宽只有 1.31×不是 2×输出头 91.8 → 82.3 ms端到端 −5%。关键词双核 · PSRAM 带宽 · 输出头 · 分核封面双核只有 1.31×输出头 91.8 → 82.3 ms一、结论先行项单核双核输出头扫描正式模型20 次均值91.82 ms82.28 ms1.12×稳定 decode178–188 ms/token170–173 ms/token5.8 tok/sAgent 8 步1739–1755 ms1677 mstop-8 / 全量 logits 哈希—MATCH / 一致收益只有 1.12×因为瓶颈不在核数在 PSRAM 带宽。二、先修仪表原来的探针测的是延迟最初的带宽探针是for(i0;in;i)sumr[i];/* 单链依赖 */sum r[i]每一步都依赖上一步测到的是加法延迟不是读带宽。换成8 路独立累加后数字立刻变了探针结果朴素单链106–107 MB/s8 路独立累加单核120–122 MB/s双核各读 8 MB、同时进行157 MB/score0/core1 各 101.3 ms双核 1.31×不是 2×。这直接决定了后面所有「要不要多核」的判断如果按 2× 估算收益会得出「拆两半就能省一半时间」的错误结论。三、拆法按词表区间分核按 id 升序重放core0: rows [0, V/2) → 本地 top-k core1: rows [V/2, V) → 本地 top-k 合并把 2k 个候选按 id 升序重放用与单核完全相同的「严格 」规则为什么必须按 id 升序重放单核扫描的隐含规则是「先出现者优先」。如果直接比较两边的最大值遇到浮点相等时 Tie-break 会和单核不同top-8 顺序会变——虽然 argmax 通常不变但位级门禁会挂。/* 合并后按 id 升序逐条套用单核规则 */for(inti0;in;i){floatacccv[i];if(accbest){bestacc;best_idci[i];}...}四、门禁哈希路径强制单核if(km_head_dual_enabledout_hashNULLvocab1024){...双核...}out_hash ! NULL说明这次调用要输出「全量 logits 的哈希」用于位级对拍——双核路径只保留 top-k拿不到全量所以这种情况直接走单核。这不是为了正确性top-k 双核本身是对的而是为了让对拍路径保持可比的实现。五、几何探针先量天花板再改代码正式模型不方便反复加载每次开机展开 86 秒所以做了一个不依赖模型文件的几何探针在 PSRAM 里构造 32002 行 × 10 块的真实形状用真实内核扫描。扫描方式时间单核89 ms双核按区间分核79 ms1.13×双核行交替分核79 ms1.13×两种分法一样快说明瓶颈不是负载不均而是共享的 PSRAM 总线。这一步把「双核能拿多少」在上真模型之前就锁死了。六、为什么不做 attentionE-1 判否分桶显示attn只有 3.4 ms占 2%。「单遍 QK」这种改写要动归约顺序按规则必须重新对拍收益上限 3.4 ms——投入产出比不成立直接出局。七、诚实边界1.13× 是几何合成的结果上真模型后是 1.12×一致性很好但两者不能混用。双核路径每次调用要创建/销毁一个任务20 次/token这部分开销已包含在170–173 ms 里若将来 token 更短任务开销占比会上升。收益与上下文长度无关输出头不吃 KV但会随词表增大而线性放大。八、一句话先证明双核只能拿到 1.31× 的带宽再把输出头按词表拆开——预期 2×、实测 1.12×端到端 −5%同时得到一个可复用的结论这台机器上任何「多核并行读 PSRAM」的方案都别指望超过 1.3 倍。对应源码文件关键符号 / 位置支撑本文哪部分main/main.cprobe_psram_dual()/bw_read()带宽仪表修正106 → 121/157main/kmcu.chead_from_hidden()双核分支、km_head_job_body()按区间分核与升序重放main/main.cKMCU_HEADBW_PROBE几何探针89 → 79 ms 的上限测量main/kmcu.ckm_head_dual_enabled运行期逃生舱《Kestrel-MCU 手记》· 全系列 37 篇在 ESP32-P4 上从零训练并部署 64M 参数 MoE 大模型5.8 tok/s源码、权重、训练脚本与全部文章开源可复现。仓库https://gitee.com/pei-xiaoguang/kestrel-llm-mcu · 觉得有用欢迎 Star 
长河君 · 2026/10/30 4:53:42 · 阅读 1.2k 33 · PSRAM 只有 1.31×：把输出头拆给两个核，以及先修好带宽仪表
33 · PSRAM 只有 1.31×把输出头拆给两个核以及先修好带宽仪表本篇对应源码main/kmcu.c·main/main.c·docs/optimization_plan.zh-CN.md目标输出头占单 token 的 43%能不能用第二颗核把它砍一半。结论双核聚合带宽只有 1.31×不是 2×输出头 91.8 → 82.3 ms端到端 −5%。关键词双核 · PSRAM 带宽 · 输出头 · 分核封面双核只有 1.31×输出头 91.8 → 82.3 ms一、结论先行项单核双核输出头扫描正式模型20 次均值91.82 ms82.28 ms1.12×稳定 decode178–188 ms/token170–173 ms/token5.8 tok/sAgent 8 步1739–1755 ms1677 mstop-8 / 全量 logits 哈希—MATCH / 一致收益只有 1.12×因为瓶颈不在核数在 PSRAM 带宽。二、先修仪表原来的探针测的是延迟最初的带宽探针是for(i0;in;i)sumr[i];/* 单链依赖 */sum r[i]每一步都依赖上一步测到的是加法延迟不是读带宽。换成8 路独立累加后数字立刻变了探针结果朴素单链106–107 MB/s8 路独立累加单核120–122 MB/s双核各读 8 MB、同时进行157 MB/score0/core1 各 101.3 ms双核 1.31×不是 2×。这直接决定了后面所有「要不要多核」的判断如果按 2× 估算收益会得出「拆两半就能省一半时间」的错误结论。三、拆法按词表区间分核按 id 升序重放core0: rows [0, V/2) → 本地 top-k core1: rows [V/2, V) → 本地 top-k 合并把 2k 个候选按 id 升序重放用与单核完全相同的「严格 」规则为什么必须按 id 升序重放单核扫描的隐含规则是「先出现者优先」。如果直接比较两边的最大值遇到浮点相等时 Tie-break 会和单核不同top-8 顺序会变——虽然 argmax 通常不变但位级门禁会挂。/* 合并后按 id 升序逐条套用单核规则 */for(inti0;in;i){floatacccv[i];if(accbest){bestacc;best_idci[i];}...}四、门禁哈希路径强制单核if(km_head_dual_enabledout_hashNULLvocab1024){...双核...}out_hash ! NULL说明这次调用要输出「全量 logits 的哈希」用于位级对拍——双核路径只保留 top-k拿不到全量所以这种情况直接走单核。这不是为了正确性top-k 双核本身是对的而是为了让对拍路径保持可比的实现。五、几何探针先量天花板再改代码正式模型不方便反复加载每次开机展开 86 秒所以做了一个不依赖模型文件的几何探针在 PSRAM 里构造 32002 行 × 10 块的真实形状用真实内核扫描。扫描方式时间单核89 ms双核按区间分核79 ms1.13×双核行交替分核79 ms1.13×两种分法一样快说明瓶颈不是负载不均而是共享的 PSRAM 总线。这一步把「双核能拿多少」在上真模型之前就锁死了。六、为什么不做 attentionE-1 判否分桶显示attn只有 3.4 ms占 2%。「单遍 QK」这种改写要动归约顺序按规则必须重新对拍收益上限 3.4 ms——投入产出比不成立直接出局。七、诚实边界1.13× 是几何合成的结果上真模型后是 1.12×一致性很好但两者不能混用。双核路径每次调用要创建/销毁一个任务20 次/token这部分开销已包含在170–173 ms 里若将来 token 更短任务开销占比会上升。收益与上下文长度无关输出头不吃 KV但会随词表增大而线性放大。八、一句话先证明双核只能拿到 1.31× 的带宽再把输出头按词表拆开——预期 2×、实测 1.12×端到端 −5%同时得到一个可复用的结论这台机器上任何「多核并行读 PSRAM」的方案都别指望超过 1.3 倍。对应源码文件关键符号 / 位置支撑本文哪部分main/main.cprobe_psram_dual()/bw_read()带宽仪表修正106 → 121/157main/kmcu.chead_from_hidden()双核分支、km_head_job_body()按区间分核与升序重放main/main.cKMCU_HEADBW_PROBE几何探针89 → 79 ms 的上限测量main/kmcu.ckm_head_dual_enabled运行期逃生舱《Kestrel-MCU 手记》· 全系列 37 篇在 ESP32-P4 上从零训练并部署 64M 参数 MoE 大模型5.8 tok/s源码、权重、训练脚本与全部文章开源可复现。仓库https://gitee.com/pei-xiaoguang/kestrel-llm-mcu · 觉得有用欢迎 Star