人工智能大模型推理引擎本地部署模型优化桌面应用【免费下载链接】turbo-fieldfareGemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook项目地址https://gitcode.com/gh_mirrors/tu/turbo-fieldfare点击查看免费下载本文解读 实验库存即 turbo-fieldfare 项目背后那份设计考古式实验索引它记录了将一个 14.3 GB 的 Gemma 4 26B-A4 MoE 模型塞进 8 GB Mac 内存的过程中哪些优化进了默认运行时、哪些只在特定主机/负载/开关下有效、哪些被测量证伪、哪些后来被更强的验证门槛翻案以及项目刻意从未尝试的方向。读完本文你将掌握该项目每个实验的稳定 ID、关键测量证据与最终处置以及生产 / 条件性 / 拒绝 / 翻案这套处置判定的完整语义并能顺着链接定位到对应的源码与测试。这份台账是什么以及它不是什么实验库存是为 优化之旅 一文的策展索引。它回答的不是怎么复现一次完整优化而是某个具体实验的变体、对照、测量证据、后续翻案与最终去向。原文档明确声明这些条目是设计考古不是独立的复现包——原始日志、trace、工作草稿和项目状态文档都不属于这份策展记录。配套的 实现参考台账 另行记录外部模型实现、论文、kernel 与系统包括影响被拒绝路径的来源。多数读者应从优化之旅一文入手再用这份库存按实验 ID 检索细节。如何阅读每个实验条目每个实验有稳定 ID 和详细摘要摘要固定覆盖六个字段假设hypothesis、测试变体variants、测量证据evidence、改变结论的因素what changed the conclusion、最终处置final disposition与可复用教训lesson。每个领域还有一个当前结果 / 处置速览表可直接回答今天生产里跑的是什么。处置disposition分为七种语义如下处置含义Production生产存在于默认运行时或冻结的 M2 参考配置中。Conditional条件性只在具名的主机、负载、开关或内存预算下有帮助。Rejected拒绝已测量未晋升。Correctness repair正确性修复对有效输出是必需的与速度无关。Reversed rejection翻案的拒绝更强的验证门槛推翻了早期拒绝后来到位的候选被采用。Scope decision范围决定刻意不尝试。Unexecuted hypothesis未执行假设合理想法但没有完成运行时门槛验证。摘要中的术语cb1/cb2是第一、第二个 command buffer 阶段TG是 threadgroupSIMDgroup是 Metal 的锁步执行组GEMV是矩阵-向量乘QMM是量化矩阵乘MPP是 Apple Metal Performance Primitives 张量路径GQA是分组查询注意力SWA是滑动窗口注意力PSO是 pipeline state objectTTFT是首 token 时延RSS是常驻集大小NLL是负对数似然。这些部件如何拼成整体运行时见 系统设计文档。领域级汇总全部 103 项实验按十个领域组织每个领域对应一份摘要文档领域摘要条目数模型安装与专家 I/O远程 repack、pread、文件提示、压缩与投机 I/O10Decode MoE、INT4 与 router持久 MoE、向量化、router 与被拒几何18专家缓存与布局替换策略、容量、预测与磁盘布局9RDADVISE从短期赢到长上下文拒绝的完整弧线7注意力与 KV 缓存分裂注意力、MLX 几何、K4/V4、FP16 环15Prefill分块、MPP、路由 MoE、重叠、注意力与分配实验17融合与编排定向融合、head 变体、队列与同步15采样与输出Gumbel 采样、tokenizer 缓存、detokenization4验证方法论假拒绝、holdout、热状态与基准伪影9合计103全部 103 项实验模型安装与专家 I/OIO-01 IO-10该领域确立了有界的远程安装器和冻结 M2 参考运行时使用的按需读取路径。当前生产结论远程 range repack512 KiB 峰值 payload 与 scratch heap、有界并行 miss 读取路径为生产整池mmap、mlock、压缩、投机读取与 MTLIO 全部被拒。实验关键证据处置IO-01 —mmap对比pread冷专家读取 9.88 ms 对 2.79 ms全模拟 0.50 对 3.97 tok/s。生产有界并行pread。IO-02 — 并行读取与合并两阶段之间约 1.13 → 2.08 → 2.13 tok/s。生产。IO-03 — Darwin 文件提示F_RDAHEAD0与F_NOCACHE中性RDADVISE 探针有希望。拒绝RDADVISE 单独设门槛评估。IO-04 — 专用 I/O 执行器最佳执行器 8.59 ms 对比现有 8.42 ms。拒绝。IO-05 — 自定义 I/O 工作池重复四 worker 组结果互相矛盾。拒绝保留普通并行 miss 读取。IO-06 —mlock恢复 0 ms跳过流式读取恢复 12–14 ms。拒绝瓶颈是竞争而非换出。IO-07 — 专家压缩Zstandard 约 10%LZ4 0.06%。拒绝。IO-08 — 投机读取探针达到 10.63 GB/sdecode 从 4.937 跌到 4.742 tok/s。拒绝。IO-09 — MTLIO热态 13.1–13.3 GB/s但仅 5.4–7.5% 的 miss 完全热。运行时场景拒绝。IO-10 — 远程流式 repack14,952,958,284 字节、229 个 range、524,288 字节 heap 上限。生产。源码中这些生产结论都有落点有界并行 miss 读取由 PreadExpertStreamer 承担其缓存规划与读取行为由 PreadExpertStreamerTests 等测试约束远程安装的 range 传输与断点续传位于 RemoteRangeTransfer.swift 与 RemoteInstallCheckpoint.swiftIO-07 提到的已量化权重复余度太低与 IO-06 提到的F_NOCACHE提示在 WriterCore.swift 中可以直接看到——安装器在有界 scratch 写入后丢弃页。Decode MoE、INT4 与 routerDEC-01 DEC-18当前生产结论持久多 TG 路由 MoE hit-first 执行、四组 INT4 路径与安全ushort打包加载、多 TG router GEMV 配标量末端选择器协作式、成对行、自适应与渐进式变体全部被拒。实验关键证据处置DEC-01 — 每行一个 SIMDgroup捆绑行级 SIMD 与更宽 MoE TG 阶段2.131 → 2.188 tok/s。生产贡献未单独隔离。DEC-02 — 协作 MoE 行cb2 约 230 → 527 ms。拒绝。DEC-03 — 持久多 TG MoEcb2 239 → 60 ms2.188 → 3.313 tok/s。生产。DEC-04 — 初始 16 槽缓存I/O 166 → 88 ms3.313 → 4.261 tok/s。生产16 槽容量。DEC-05 — 共享 MLP/I/O 重叠cb2 62 → 48 ms4.404 → 4.736 tok/s。生产。DEC-06 — MoE INT4 向量化路由 GPU 36.5 → 31.3 ms。生产。DEC-07 — 独立 INT4 向量化不安全uint在真实偏移下出错修正后 head 21.5 → 16 ms。生产修正后的 live-offset 路径。DEC-08 — 多 TG routercb1 约 50 → 44 ms。生产。DEC-09 — 并行 top-k 选择器36.94 微秒对 18.86 微秒。拒绝。DEC-10 — Gate/up 融合5.378 对 5.266 tok/s8 行胜出。生产。DEC-11 — Phase 2 reduce 融合约省 19 微秒移除中间缓冲。生产。DEC-12 — Phase-1 成对行207–212 微秒对 194–196 微秒。拒绝。DEC-13 — Phase-1u16加载5.961 → 5.973 tok/s。生产小幅收益。DEC-14 — Phase-2 d2/d2p/d4端到端结果混合目标仅 5.70 ms/token。拒绝默认不变。DEC-15 — 组求和复用早期 454.05 → 420.53 微秒的结果在 wrapper 中被反转为 309.98 对 348.83。拒绝。DEC-16 — 自适应几何一个合成状态胜出真实行结果混合。拒绝。DEC-17 — 渐进执行修正后 1K/256 从 4.799 跌到 4.648 tok/s。拒绝。DEC-18 — Hit-first 分裂强制相同 ID 下 5.169 对 4.518 tok/s。生产。专家缓存、预测与布局CACHE-01 CACHE-09生产运行时保持每层 16 个专家槽位、LFU 替换。更多内存能提升命中率但基于 trace 训练的分配、预测与磁盘布局策略都在代表性 holdout 上失败。实验关键证据处置CACHE-01 — LRU 改 LFUI/O 72.6 → 64.8 ms5.476 → 5.631 tok/s。生产。CACHE-02 — 窗口化 LFUmiss 略降两条真实 decode 提示词中性或混合。拒绝。CACHE-03 — 24/32 槽回放命中率更高代价约 769 MiB / 1.54 GiB32 槽实跑压垮了 8 GB 主机。条件性额外内存。CACHE-04 — 异构分配精确 DP 在 holdout 上落败。拒绝。CACHE-05 — 跨层预测器Jaccard 0.039复制命中 7%。拒绝运行时前证据。CACHE-06 — Markov 预取持平或为负后期行崩溃且非正确性安全。拒绝。CACHE-07 — 按偏移读序首次胜出无法复现。拒绝。CACHE-08 — 打包布局自然文本 3.61%近 4K decode -16.1% 且 prefill 更差。拒绝。CACHE-09 — APFS 预分配观察到碎片化候选未构建。未执行假设。16 槽容量对应的内存成本拆分在 系统设计文档的 resource split 一节 有展开。RDADVISERAD-01 RAD-07Darwin 的F_RDADVISE告诉内核应用预期读取哪些文件 range。它产生过可复现的短期收益并一度成为默认候选但更长的、调度不同的运行暴露了严重停顿且不存在任何跨上下文都安全的单一策略——生产保持关闭。实验关键证据处置RAD-01 — 初始 miss-only 信号首个真实 decode 改进合理可信。条件性初步信号。RAD-02 — 重复短门槛5.176 → 5.449 tok/sI/O 87.4 → 72.2 ms。条件性曾临时晋升后被移除。RAD-03 — 建议上限建议调用更少但按需 I/O 增多。拒绝。RAD-04 — I/O 路径内建议6.432 → 6.093 tok/s。拒绝。RAD-05 — 长上下文策略无界 2.334有界 4.966 tok/s但有界在 512 处落败。拒绝静态默认策略。RAD-06 — 自适应策略部分状态胜出无稳定规则。拒绝保留 opt-in。RAD-07 — 异步重叠1K/256 上 4.863 → 5.300 tok/s。条件性生产关闭。这一整条短赢 → 长上下文拒绝的弧线在源码里仍然可见RDAdvice.swift 通过fcntl(fd, F_RDADVISE, advice)实现建议下发策略行为由 RDAdvicePolicyTests 与 RDAdviceProbeTests 约束——这也印证了保留 opt-in、默认关闭的处置语义在代码层面是持久的。注意力与 KV 缓存KV-01 KV-15生产使用分组全注意力Gemma 4 默认、split-KV 滑动窗口注意力与 FP16 KV 缓存。K4/V4 打包缓存在 4K 下只省约 82 MiB却在全部 30 个注意力层累积质量损失未过质量门槛被拒绝并移除。实验关键证据处置KV-01 — Split-KV 注意力SWA 约 3.3 倍全注意力 4K 约 4.1 倍隔离。生产。KV-02 — GQA 感知 SWASWA 隔离收益。生产。KV-03 — 全注意力 GQA A31024 处 21.2%4096 处 -54.6%。拒绝。KV-04 — A4 局部变体三个 1024 收益在 4096 变中性/更慢TG 宽度全败。拒绝。KV-05 — MLX 几何 v1隔离收益 65–68%随后强制前缀精确输出门槛失败并移除。拒绝精确分裂保留为生产。KV-06 — MLX 几何 v2隔离 71–74% 且早先路径 1.30–1.59%但指令检查点质量门槛失败。对指令检查点拒绝精确分裂为生产。KV-07 — K4/V4 打包注意力分裂版胜打包单遍但仍慢于 FP16。拒绝并移除。KV-08 — 替代编解码写入更快注意力慢得多。拒绝。KV-09 — K4/V4 质量平均 delta-NLL 0.015197top-1 掉 5.0781 分。拒绝并移除FP16 为生产。KV-10 — FP16 全注意力孤岛小样本看似更好256 行 top-k 门槛失败。拒绝。KV-11 — 打包 chunk 32隔离收益 5.42–6.30%holdout 质量失败。拒绝。KV-12 — FP16 KV 环约省 575–591 MiB速度中性/混合保持 parity。生产。KV-13 — 环 kernel 后续终端 10.9% 隔离中位仅对应约 0.34% 全步机会。拒绝低于行动门槛。KV-14 — Prefill 注意力竞态第三道 barrier 修复一个 bank 但损失 5.1–14.2%双 bank 找回 2.23–6.43%。正确性修复。KV-15 — 分组全注意力110K token 提示后 8.14 → 18.02 tok/s256 个输出 token ID 全部匹配单次 M5 Pro 对比32 个缓存槽。Gemma 4 全注意力默认。测量限制见 长上下文报告。KV-12 的 FP16 环由 KVCacheManager 实现行为由 KVCacheManagerTests 覆盖KV-15 的分组全注意力 kernel 位于 Attention.swift。KV-15 的对比只在 M5 Pro 24 GB 主机上跑了一次、前一轮先跑、OS 缓存状态未受控长上下文报告 明确把这一点列为测量限制——这也是生产处置中条件一面的典型案例。PrefillPF-01 PF-17生产 prefill 使用 128 token 分块、按投影形状选择 GEMV/QMM、有界分段 affine MPP 处理 INT4 投影、批量路由 MoE。实验关键证据处置PF-01 — QMM/GEMV 混合QMM 在 Q 上落败在部分投影族上有效。生产形状策略。PF-02 — 分块 128121 token15.80 → 9.34 s1017 token92.89 → 52.35 s。生产。PF-03 — 更深前瞻527 token26.61 → 33.38 s1017 token52.35 → 73.88 s。拒绝。PF-04 — 路由 SIMD 协作1409.666 → 4618.845 微秒。拒绝。PF-05 — 共享 INT8 QMM中等长度有收益1017 token 在 M2 上 45.59 → 52.01 s。在 M2 上拒绝。PF-06 — 元数据缩减分配次数减少三分之二。生产分配卫生。PF-07 — 参数缓冲复用 v1运行时/生命周期门槛失败。拒绝。PF-08 — 参数缓冲环21,217 次分配降到 2 次M2 长 prefill 反慢约 9%。拒绝。PF-09 — 共享/取数重叠M2短/中有收益长回归。拒绝限 M2。PF-10 — 共享/取数重叠M5527/1017 处稳定约 2.2–2.3%M2 顺序敏感且长 prefill 回归。拒绝并移除。PF-11 — 受信回执单行省 6.741 s 哈希改变信任/缓存状态。条件性显式信任策略。PF-12 — 分段 affine MPPM128 约 73.8%512 prefill 11.421%质量通过。翻案的拒绝生产。PF-13 — 直接 UInt4胜退役路径M128 处败给分段 MPP 20.40%。拒绝。PF-14 — QMM TG 复用各族 3.2–9.7%当前机会仅约 0.41%。拒绝。PF-15 — 批量路由 MoE隔离 30.91%均衡端到端约 2%。翻案的拒绝生产。PF-16 — 长端点门槛delta-NLL 0.002588top-1 16/16RSS 888.3 MiB。生产验证结果。PF-17 — TensorOps 全注意力Apple10隔离 16K 处 11.24 倍、64K 处 11.63 倍32K 端到端 2.404 倍。Apple8 M2隔离 9.027–9.294 倍6,784 token prefill 1.726 倍。管线可构建时为生产Apple8 M2 已验证不可用或不兼容时退回 tiled 回退路径。PF-02 的 128 token 分块在配置层有直接对应PrefillRuntimeConfig 将allowedChunkTokens限定为[32, 64, 128, 256]而生产默认即为chunkTokens: 128第 275–279 行——台账记录的配置扫描解锁的收益最终固化成了白名单中的默认值。PF-12 的分段 affine MPP 与 PF-17 的 TensorOps 路径分别落在 MPPPrefillInt4QMM.swift 与 PrefillAttention.swift 所在的 kernel 目录中。融合、head 与编排ORCH-01 ORCH-15定向融合与依赖感知的 I/O 重叠存活了更大的包装式融合、额外队列、跨 token 事件链与资源复用经常在移除 dispatch 或分配后仍然输掉端到端。实验关键证据处置ORCH-01 — QKV epilogue联合 epiloguetail 回滚约 0.076 tok/s / -2.9 ms。生产贡献未单独隔离。ORCH-02 — 层尾融合parity 保持且成对 dispatch 胜出。生产。ORCH-03 — 单体中段融合1.811 对 2.756 tok/s。拒绝。ORCH-04 — 融合 QKV GEMV初始拒绝被翻案回滚实测 6.215 对 6.110 tok/s。翻案的拒绝生产。ORCH-05 — Fusion D head 家族row head 胜短/长门槛tiled GPU 改善但端到端 5.962 → 5.926。生产仅 row head。ORCH-06 — Shader 扫描十一个家族首跑收益消失。拒绝扫描。ORCH-07 — RoPE 表中性/更慢。拒绝。ORCH-08 — LM-head 宽度/平铺局部小幅移动无全步收益。拒绝。ORCH-09 — 单等待管线回滚 6.416 → 5.545 tok/s。生产。ORCH-10 — 第二 Metal 队列约 5.059 tok/s更慢。拒绝。ORCH-11 — O3 token 链短行偏候选长行偏回滚。拒绝。ORCH-12 — CB1 预编码smoke 1K/256 为 4.613 对 4.801。拒绝。ORCH-13 — Decode 参数缓冲复用4.754 → 3.998 tok/s 加输出发散。拒绝。ORCH-14 — 全命中快路径351 个状态下总同步仅 2.761 ms。拒绝。ORCH-15 — 合并 shared/hit CB提交更少4.013 → 3.707 tok/s。拒绝。这些存活的定向融合在源码树中一一对应FusedQKVEpilogue.swift、FusedLayerTail.swift、FusedQKVGEMV.swift 与 LMHeadChainInt4.swift各自的正确性与边界由 Tests/TurboFieldfare/Core/Kernels/Fusions 下的成对测试含FusedQKVPipelineTests约束。采样、tokenization 与输出OUT-01 OUT-04实验关键证据处置OUT-01 — 单遍采样与 Top-640.377 → 约 5.86–5.89 tok/s后期 Top-64 路径 0.733 ms/样本。生产。OUT-02 — 融合 Gumbel head5.124 对 5.192 tok/s。条件性默认关闭。OUT-03 — Tokenizer 进程缓存套件主体 29.002 → 4.425 s命令墙时 36.54 → 6.67 sRSS 3.86 GB → 397 MB。生产支撑路径。OUT-04 — 有界 detokenizer 尾部ASCII 与字节回退中性混合 Unicode 快 17.51%。生产分配卫生。采样与输出路径对应 Sampler.swift、LogitOutput.swift 与 Detokenizer.swift其数值行为分别由 SampleTopK64Tests、LogitSoftcapSoftmaxReferenceTests 等测试验证。验证与测量方法论METH-01 METH-09最后九条不是优化实验而是关于怎么测的教训直接修正了前面领域的若干结论ID教训后果METH-01重排浮点运算需要分布式质量 oracle。纠正了对 MLX 注意力、分段 MPP、批量 MoE、TensorOps prefill 注意力的假拒绝。METH-02声称无损的改动仍需精确恒等。对缓存、存储与加载宽度变更保留严格门槛。METH-03用生产形状的偏移测试。发现 live 2 字节 INT4 对齐缺陷。METH-04证明同步范围。修复一个复用的 scratch bank按所有权与队列顺序审计其余路径。METH-05Profiler tok/s 只是诊断。用 GPU span 做归因、用干净行做晋升决策。METH-06交错、热平衡的轮次。消除假首跑 shader 收益。METH-07机制计数不是结果。分配与提交减少仍输掉端到端。METH-08Trace 训练的策略需要 holdout。拒绝打包布局与异构缓存分配。METH-09检测贪心重复循环。把表观缓存衰减重新分类为周期 44 的循环抖动。这套方法论在测试树中有结构性对应Tests/TurboFieldfare/Validation 下的Reference目录提供逐算子参考实现注意力、RoPE、MoE、RMSNorm、INT4/INT8 GEMV、embed、softmaxTolerance目录Tolerances.swift、RelError.swift承载 METH-01/METH-02 所说的按候选契约选最严格门槛而 OffByMultiples 这类夹具对应 METH-03 的测试生产形状偏移。重要非实验边界而非失败的性能工作以下边界不是失败的性能尝试原样保留以免被误读ANE / Core ML 卸载被架构与平台范围排除低于 INT4 的权重量化被质量底线取消草稿模型投机解码未达到完整运行时候选生产路由从未以缓存为条件全新 APFS 预分配仍未执行iPhone 移植被推迟所有性能结果均为 Mac 测量。这些摘要如何编写后期的重新验证会覆盖过期的中间结论。摘要在可读性上保留证据与最终处置但不复现每一笔原始抓取。三个真正的翻案集中在 验证与测量教训 中列出MLX 全注意力几何KV-06、分段 affine MPP INT4 prefillPF-12、批量路由 MoE prefillPF-15QKV epilogue 融合则是单独的归因警示——早期行噪声大后期的联合回滚支持了定向融合栈但没有隔离 epilogue 的份额。从源码结构看这套证据 → 处置 → 源码的三角对应关系是项目文档体系的自洽性保障台账每条实验的当前结果速览都能在Sources/TurboFieldfare/与Sources/TurboFieldfareRepack/的生产路径、Tests/下的门槛测试中找到落点。若要从宏观视角回顾这 103 条实验如何串成一条优化叙事建议按 优化之旅 → 基准 → 系统设计 → 实现参考 的顺序阅读。赞分享人工智能大模型推理引擎本地部署模型优化桌面应用【免费下载链接】turbo-fieldfareGemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook项目地址https://gitcode.com/gh_mirrors/tu/turbo-fieldfare点击查看免费下载相关推荐Turbo Fieldfare 中的 CRLF 渲染硬化以 crlf.md 语料验证换行归一化与流式 Markdown 渲染Turbo Fieldfare 中的 CRLF 渲染硬化以 crlf.md 语料验证换行归一化与流式 Markdown 渲染 Turbo Fieldfare人工智能大模型推理引擎本地部署模型优化桌面应用Turbo Fieldfare Prefill 深度解析128-token 分块、staged affine MPP 与批处理路由 MoE 的演进实验Turbo Fieldfare Prefill 深度解析128 token 分块、staged affine MPP 与批处理路由 MoE 的演进实验 导读人工智能大模型推理引擎本地部署模型优化桌面应用10分钟上手Spring Cloud OpenFeign从配置到调用的完整指南10分钟上手Spring Cloud OpenFeign从配置到调用的完整指南 Spring Cloud OpenFeign是Spring Cloud生态中用上一篇MinDoc附件管理终极指南从图片上传到悬空文件清理的完整解决方案下一篇react-router-redux路由状态迁移使用迁移脚本处理重大更新创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/9 4:50:58 · 阅读 1.2k turbo-fieldfare 实验台账：103 项优化实验的处置档案与验证方法论
人工智能大模型推理引擎本地部署模型优化桌面应用【免费下载链接】turbo-fieldfareGemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook项目地址https://gitcode.com/gh_mirrors/tu/turbo-fieldfare点击查看免费下载本文解读 实验库存即 turbo-fieldfare 项目背后那份设计考古式实验索引它记录了将一个 14.3 GB 的 Gemma 4 26B-A4 MoE 模型塞进 8 GB Mac 内存的过程中哪些优化进了默认运行时、哪些只在特定主机/负载/开关下有效、哪些被测量证伪、哪些后来被更强的验证门槛翻案以及项目刻意从未尝试的方向。读完本文你将掌握该项目每个实验的稳定 ID、关键测量证据与最终处置以及生产 / 条件性 / 拒绝 / 翻案这套处置判定的完整语义并能顺着链接定位到对应的源码与测试。这份台账是什么以及它不是什么实验库存是为 优化之旅 一文的策展索引。它回答的不是怎么复现一次完整优化而是某个具体实验的变体、对照、测量证据、后续翻案与最终去向。原文档明确声明这些条目是设计考古不是独立的复现包——原始日志、trace、工作草稿和项目状态文档都不属于这份策展记录。配套的 实现参考台账 另行记录外部模型实现、论文、kernel 与系统包括影响被拒绝路径的来源。多数读者应从优化之旅一文入手再用这份库存按实验 ID 检索细节。如何阅读每个实验条目每个实验有稳定 ID 和详细摘要摘要固定覆盖六个字段假设hypothesis、测试变体variants、测量证据evidence、改变结论的因素what changed the conclusion、最终处置final disposition与可复用教训lesson。每个领域还有一个当前结果 / 处置速览表可直接回答今天生产里跑的是什么。处置disposition分为七种语义如下处置含义Production生产存在于默认运行时或冻结的 M2 参考配置中。Conditional条件性只在具名的主机、负载、开关或内存预算下有帮助。Rejected拒绝已测量未晋升。Correctness repair正确性修复对有效输出是必需的与速度无关。Reversed rejection翻案的拒绝更强的验证门槛推翻了早期拒绝后来到位的候选被采用。Scope decision范围决定刻意不尝试。Unexecuted hypothesis未执行假设合理想法但没有完成运行时门槛验证。摘要中的术语cb1/cb2是第一、第二个 command buffer 阶段TG是 threadgroupSIMDgroup是 Metal 的锁步执行组GEMV是矩阵-向量乘QMM是量化矩阵乘MPP是 Apple Metal Performance Primitives 张量路径GQA是分组查询注意力SWA是滑动窗口注意力PSO是 pipeline state objectTTFT是首 token 时延RSS是常驻集大小NLL是负对数似然。这些部件如何拼成整体运行时见 系统设计文档。领域级汇总全部 103 项实验按十个领域组织每个领域对应一份摘要文档领域摘要条目数模型安装与专家 I/O远程 repack、pread、文件提示、压缩与投机 I/O10Decode MoE、INT4 与 router持久 MoE、向量化、router 与被拒几何18专家缓存与布局替换策略、容量、预测与磁盘布局9RDADVISE从短期赢到长上下文拒绝的完整弧线7注意力与 KV 缓存分裂注意力、MLX 几何、K4/V4、FP16 环15Prefill分块、MPP、路由 MoE、重叠、注意力与分配实验17融合与编排定向融合、head 变体、队列与同步15采样与输出Gumbel 采样、tokenizer 缓存、detokenization4验证方法论假拒绝、holdout、热状态与基准伪影9合计103全部 103 项实验模型安装与专家 I/OIO-01 IO-10该领域确立了有界的远程安装器和冻结 M2 参考运行时使用的按需读取路径。当前生产结论远程 range repack512 KiB 峰值 payload 与 scratch heap、有界并行 miss 读取路径为生产整池mmap、mlock、压缩、投机读取与 MTLIO 全部被拒。实验关键证据处置IO-01 —mmap对比pread冷专家读取 9.88 ms 对 2.79 ms全模拟 0.50 对 3.97 tok/s。生产有界并行pread。IO-02 — 并行读取与合并两阶段之间约 1.13 → 2.08 → 2.13 tok/s。生产。IO-03 — Darwin 文件提示F_RDAHEAD0与F_NOCACHE中性RDADVISE 探针有希望。拒绝RDADVISE 单独设门槛评估。IO-04 — 专用 I/O 执行器最佳执行器 8.59 ms 对比现有 8.42 ms。拒绝。IO-05 — 自定义 I/O 工作池重复四 worker 组结果互相矛盾。拒绝保留普通并行 miss 读取。IO-06 —mlock恢复 0 ms跳过流式读取恢复 12–14 ms。拒绝瓶颈是竞争而非换出。IO-07 — 专家压缩Zstandard 约 10%LZ4 0.06%。拒绝。IO-08 — 投机读取探针达到 10.63 GB/sdecode 从 4.937 跌到 4.742 tok/s。拒绝。IO-09 — MTLIO热态 13.1–13.3 GB/s但仅 5.4–7.5% 的 miss 完全热。运行时场景拒绝。IO-10 — 远程流式 repack14,952,958,284 字节、229 个 range、524,288 字节 heap 上限。生产。源码中这些生产结论都有落点有界并行 miss 读取由 PreadExpertStreamer 承担其缓存规划与读取行为由 PreadExpertStreamerTests 等测试约束远程安装的 range 传输与断点续传位于 RemoteRangeTransfer.swift 与 RemoteInstallCheckpoint.swiftIO-07 提到的已量化权重复余度太低与 IO-06 提到的F_NOCACHE提示在 WriterCore.swift 中可以直接看到——安装器在有界 scratch 写入后丢弃页。Decode MoE、INT4 与 routerDEC-01 DEC-18当前生产结论持久多 TG 路由 MoE hit-first 执行、四组 INT4 路径与安全ushort打包加载、多 TG router GEMV 配标量末端选择器协作式、成对行、自适应与渐进式变体全部被拒。实验关键证据处置DEC-01 — 每行一个 SIMDgroup捆绑行级 SIMD 与更宽 MoE TG 阶段2.131 → 2.188 tok/s。生产贡献未单独隔离。DEC-02 — 协作 MoE 行cb2 约 230 → 527 ms。拒绝。DEC-03 — 持久多 TG MoEcb2 239 → 60 ms2.188 → 3.313 tok/s。生产。DEC-04 — 初始 16 槽缓存I/O 166 → 88 ms3.313 → 4.261 tok/s。生产16 槽容量。DEC-05 — 共享 MLP/I/O 重叠cb2 62 → 48 ms4.404 → 4.736 tok/s。生产。DEC-06 — MoE INT4 向量化路由 GPU 36.5 → 31.3 ms。生产。DEC-07 — 独立 INT4 向量化不安全uint在真实偏移下出错修正后 head 21.5 → 16 ms。生产修正后的 live-offset 路径。DEC-08 — 多 TG routercb1 约 50 → 44 ms。生产。DEC-09 — 并行 top-k 选择器36.94 微秒对 18.86 微秒。拒绝。DEC-10 — Gate/up 融合5.378 对 5.266 tok/s8 行胜出。生产。DEC-11 — Phase 2 reduce 融合约省 19 微秒移除中间缓冲。生产。DEC-12 — Phase-1 成对行207–212 微秒对 194–196 微秒。拒绝。DEC-13 — Phase-1u16加载5.961 → 5.973 tok/s。生产小幅收益。DEC-14 — Phase-2 d2/d2p/d4端到端结果混合目标仅 5.70 ms/token。拒绝默认不变。DEC-15 — 组求和复用早期 454.05 → 420.53 微秒的结果在 wrapper 中被反转为 309.98 对 348.83。拒绝。DEC-16 — 自适应几何一个合成状态胜出真实行结果混合。拒绝。DEC-17 — 渐进执行修正后 1K/256 从 4.799 跌到 4.648 tok/s。拒绝。DEC-18 — Hit-first 分裂强制相同 ID 下 5.169 对 4.518 tok/s。生产。专家缓存、预测与布局CACHE-01 CACHE-09生产运行时保持每层 16 个专家槽位、LFU 替换。更多内存能提升命中率但基于 trace 训练的分配、预测与磁盘布局策略都在代表性 holdout 上失败。实验关键证据处置CACHE-01 — LRU 改 LFUI/O 72.6 → 64.8 ms5.476 → 5.631 tok/s。生产。CACHE-02 — 窗口化 LFUmiss 略降两条真实 decode 提示词中性或混合。拒绝。CACHE-03 — 24/32 槽回放命中率更高代价约 769 MiB / 1.54 GiB32 槽实跑压垮了 8 GB 主机。条件性额外内存。CACHE-04 — 异构分配精确 DP 在 holdout 上落败。拒绝。CACHE-05 — 跨层预测器Jaccard 0.039复制命中 7%。拒绝运行时前证据。CACHE-06 — Markov 预取持平或为负后期行崩溃且非正确性安全。拒绝。CACHE-07 — 按偏移读序首次胜出无法复现。拒绝。CACHE-08 — 打包布局自然文本 3.61%近 4K decode -16.1% 且 prefill 更差。拒绝。CACHE-09 — APFS 预分配观察到碎片化候选未构建。未执行假设。16 槽容量对应的内存成本拆分在 系统设计文档的 resource split 一节 有展开。RDADVISERAD-01 RAD-07Darwin 的F_RDADVISE告诉内核应用预期读取哪些文件 range。它产生过可复现的短期收益并一度成为默认候选但更长的、调度不同的运行暴露了严重停顿且不存在任何跨上下文都安全的单一策略——生产保持关闭。实验关键证据处置RAD-01 — 初始 miss-only 信号首个真实 decode 改进合理可信。条件性初步信号。RAD-02 — 重复短门槛5.176 → 5.449 tok/sI/O 87.4 → 72.2 ms。条件性曾临时晋升后被移除。RAD-03 — 建议上限建议调用更少但按需 I/O 增多。拒绝。RAD-04 — I/O 路径内建议6.432 → 6.093 tok/s。拒绝。RAD-05 — 长上下文策略无界 2.334有界 4.966 tok/s但有界在 512 处落败。拒绝静态默认策略。RAD-06 — 自适应策略部分状态胜出无稳定规则。拒绝保留 opt-in。RAD-07 — 异步重叠1K/256 上 4.863 → 5.300 tok/s。条件性生产关闭。这一整条短赢 → 长上下文拒绝的弧线在源码里仍然可见RDAdvice.swift 通过fcntl(fd, F_RDADVISE, advice)实现建议下发策略行为由 RDAdvicePolicyTests 与 RDAdviceProbeTests 约束——这也印证了保留 opt-in、默认关闭的处置语义在代码层面是持久的。注意力与 KV 缓存KV-01 KV-15生产使用分组全注意力Gemma 4 默认、split-KV 滑动窗口注意力与 FP16 KV 缓存。K4/V4 打包缓存在 4K 下只省约 82 MiB却在全部 30 个注意力层累积质量损失未过质量门槛被拒绝并移除。实验关键证据处置KV-01 — Split-KV 注意力SWA 约 3.3 倍全注意力 4K 约 4.1 倍隔离。生产。KV-02 — GQA 感知 SWASWA 隔离收益。生产。KV-03 — 全注意力 GQA A31024 处 21.2%4096 处 -54.6%。拒绝。KV-04 — A4 局部变体三个 1024 收益在 4096 变中性/更慢TG 宽度全败。拒绝。KV-05 — MLX 几何 v1隔离收益 65–68%随后强制前缀精确输出门槛失败并移除。拒绝精确分裂保留为生产。KV-06 — MLX 几何 v2隔离 71–74% 且早先路径 1.30–1.59%但指令检查点质量门槛失败。对指令检查点拒绝精确分裂为生产。KV-07 — K4/V4 打包注意力分裂版胜打包单遍但仍慢于 FP16。拒绝并移除。KV-08 — 替代编解码写入更快注意力慢得多。拒绝。KV-09 — K4/V4 质量平均 delta-NLL 0.015197top-1 掉 5.0781 分。拒绝并移除FP16 为生产。KV-10 — FP16 全注意力孤岛小样本看似更好256 行 top-k 门槛失败。拒绝。KV-11 — 打包 chunk 32隔离收益 5.42–6.30%holdout 质量失败。拒绝。KV-12 — FP16 KV 环约省 575–591 MiB速度中性/混合保持 parity。生产。KV-13 — 环 kernel 后续终端 10.9% 隔离中位仅对应约 0.34% 全步机会。拒绝低于行动门槛。KV-14 — Prefill 注意力竞态第三道 barrier 修复一个 bank 但损失 5.1–14.2%双 bank 找回 2.23–6.43%。正确性修复。KV-15 — 分组全注意力110K token 提示后 8.14 → 18.02 tok/s256 个输出 token ID 全部匹配单次 M5 Pro 对比32 个缓存槽。Gemma 4 全注意力默认。测量限制见 长上下文报告。KV-12 的 FP16 环由 KVCacheManager 实现行为由 KVCacheManagerTests 覆盖KV-15 的分组全注意力 kernel 位于 Attention.swift。KV-15 的对比只在 M5 Pro 24 GB 主机上跑了一次、前一轮先跑、OS 缓存状态未受控长上下文报告 明确把这一点列为测量限制——这也是生产处置中条件一面的典型案例。PrefillPF-01 PF-17生产 prefill 使用 128 token 分块、按投影形状选择 GEMV/QMM、有界分段 affine MPP 处理 INT4 投影、批量路由 MoE。实验关键证据处置PF-01 — QMM/GEMV 混合QMM 在 Q 上落败在部分投影族上有效。生产形状策略。PF-02 — 分块 128121 token15.80 → 9.34 s1017 token92.89 → 52.35 s。生产。PF-03 — 更深前瞻527 token26.61 → 33.38 s1017 token52.35 → 73.88 s。拒绝。PF-04 — 路由 SIMD 协作1409.666 → 4618.845 微秒。拒绝。PF-05 — 共享 INT8 QMM中等长度有收益1017 token 在 M2 上 45.59 → 52.01 s。在 M2 上拒绝。PF-06 — 元数据缩减分配次数减少三分之二。生产分配卫生。PF-07 — 参数缓冲复用 v1运行时/生命周期门槛失败。拒绝。PF-08 — 参数缓冲环21,217 次分配降到 2 次M2 长 prefill 反慢约 9%。拒绝。PF-09 — 共享/取数重叠M2短/中有收益长回归。拒绝限 M2。PF-10 — 共享/取数重叠M5527/1017 处稳定约 2.2–2.3%M2 顺序敏感且长 prefill 回归。拒绝并移除。PF-11 — 受信回执单行省 6.741 s 哈希改变信任/缓存状态。条件性显式信任策略。PF-12 — 分段 affine MPPM128 约 73.8%512 prefill 11.421%质量通过。翻案的拒绝生产。PF-13 — 直接 UInt4胜退役路径M128 处败给分段 MPP 20.40%。拒绝。PF-14 — QMM TG 复用各族 3.2–9.7%当前机会仅约 0.41%。拒绝。PF-15 — 批量路由 MoE隔离 30.91%均衡端到端约 2%。翻案的拒绝生产。PF-16 — 长端点门槛delta-NLL 0.002588top-1 16/16RSS 888.3 MiB。生产验证结果。PF-17 — TensorOps 全注意力Apple10隔离 16K 处 11.24 倍、64K 处 11.63 倍32K 端到端 2.404 倍。Apple8 M2隔离 9.027–9.294 倍6,784 token prefill 1.726 倍。管线可构建时为生产Apple8 M2 已验证不可用或不兼容时退回 tiled 回退路径。PF-02 的 128 token 分块在配置层有直接对应PrefillRuntimeConfig 将allowedChunkTokens限定为[32, 64, 128, 256]而生产默认即为chunkTokens: 128第 275–279 行——台账记录的配置扫描解锁的收益最终固化成了白名单中的默认值。PF-12 的分段 affine MPP 与 PF-17 的 TensorOps 路径分别落在 MPPPrefillInt4QMM.swift 与 PrefillAttention.swift 所在的 kernel 目录中。融合、head 与编排ORCH-01 ORCH-15定向融合与依赖感知的 I/O 重叠存活了更大的包装式融合、额外队列、跨 token 事件链与资源复用经常在移除 dispatch 或分配后仍然输掉端到端。实验关键证据处置ORCH-01 — QKV epilogue联合 epiloguetail 回滚约 0.076 tok/s / -2.9 ms。生产贡献未单独隔离。ORCH-02 — 层尾融合parity 保持且成对 dispatch 胜出。生产。ORCH-03 — 单体中段融合1.811 对 2.756 tok/s。拒绝。ORCH-04 — 融合 QKV GEMV初始拒绝被翻案回滚实测 6.215 对 6.110 tok/s。翻案的拒绝生产。ORCH-05 — Fusion D head 家族row head 胜短/长门槛tiled GPU 改善但端到端 5.962 → 5.926。生产仅 row head。ORCH-06 — Shader 扫描十一个家族首跑收益消失。拒绝扫描。ORCH-07 — RoPE 表中性/更慢。拒绝。ORCH-08 — LM-head 宽度/平铺局部小幅移动无全步收益。拒绝。ORCH-09 — 单等待管线回滚 6.416 → 5.545 tok/s。生产。ORCH-10 — 第二 Metal 队列约 5.059 tok/s更慢。拒绝。ORCH-11 — O3 token 链短行偏候选长行偏回滚。拒绝。ORCH-12 — CB1 预编码smoke 1K/256 为 4.613 对 4.801。拒绝。ORCH-13 — Decode 参数缓冲复用4.754 → 3.998 tok/s 加输出发散。拒绝。ORCH-14 — 全命中快路径351 个状态下总同步仅 2.761 ms。拒绝。ORCH-15 — 合并 shared/hit CB提交更少4.013 → 3.707 tok/s。拒绝。这些存活的定向融合在源码树中一一对应FusedQKVEpilogue.swift、FusedLayerTail.swift、FusedQKVGEMV.swift 与 LMHeadChainInt4.swift各自的正确性与边界由 Tests/TurboFieldfare/Core/Kernels/Fusions 下的成对测试含FusedQKVPipelineTests约束。采样、tokenization 与输出OUT-01 OUT-04实验关键证据处置OUT-01 — 单遍采样与 Top-640.377 → 约 5.86–5.89 tok/s后期 Top-64 路径 0.733 ms/样本。生产。OUT-02 — 融合 Gumbel head5.124 对 5.192 tok/s。条件性默认关闭。OUT-03 — Tokenizer 进程缓存套件主体 29.002 → 4.425 s命令墙时 36.54 → 6.67 sRSS 3.86 GB → 397 MB。生产支撑路径。OUT-04 — 有界 detokenizer 尾部ASCII 与字节回退中性混合 Unicode 快 17.51%。生产分配卫生。采样与输出路径对应 Sampler.swift、LogitOutput.swift 与 Detokenizer.swift其数值行为分别由 SampleTopK64Tests、LogitSoftcapSoftmaxReferenceTests 等测试验证。验证与测量方法论METH-01 METH-09最后九条不是优化实验而是关于怎么测的教训直接修正了前面领域的若干结论ID教训后果METH-01重排浮点运算需要分布式质量 oracle。纠正了对 MLX 注意力、分段 MPP、批量 MoE、TensorOps prefill 注意力的假拒绝。METH-02声称无损的改动仍需精确恒等。对缓存、存储与加载宽度变更保留严格门槛。METH-03用生产形状的偏移测试。发现 live 2 字节 INT4 对齐缺陷。METH-04证明同步范围。修复一个复用的 scratch bank按所有权与队列顺序审计其余路径。METH-05Profiler tok/s 只是诊断。用 GPU span 做归因、用干净行做晋升决策。METH-06交错、热平衡的轮次。消除假首跑 shader 收益。METH-07机制计数不是结果。分配与提交减少仍输掉端到端。METH-08Trace 训练的策略需要 holdout。拒绝打包布局与异构缓存分配。METH-09检测贪心重复循环。把表观缓存衰减重新分类为周期 44 的循环抖动。这套方法论在测试树中有结构性对应Tests/TurboFieldfare/Validation 下的Reference目录提供逐算子参考实现注意力、RoPE、MoE、RMSNorm、INT4/INT8 GEMV、embed、softmaxTolerance目录Tolerances.swift、RelError.swift承载 METH-01/METH-02 所说的按候选契约选最严格门槛而 OffByMultiples 这类夹具对应 METH-03 的测试生产形状偏移。重要非实验边界而非失败的性能工作以下边界不是失败的性能尝试原样保留以免被误读ANE / Core ML 卸载被架构与平台范围排除低于 INT4 的权重量化被质量底线取消草稿模型投机解码未达到完整运行时候选生产路由从未以缓存为条件全新 APFS 预分配仍未执行iPhone 移植被推迟所有性能结果均为 Mac 测量。这些摘要如何编写后期的重新验证会覆盖过期的中间结论。摘要在可读性上保留证据与最终处置但不复现每一笔原始抓取。三个真正的翻案集中在 验证与测量教训 中列出MLX 全注意力几何KV-06、分段 affine MPP INT4 prefillPF-12、批量路由 MoE prefillPF-15QKV epilogue 融合则是单独的归因警示——早期行噪声大后期的联合回滚支持了定向融合栈但没有隔离 epilogue 的份额。从源码结构看这套证据 → 处置 → 源码的三角对应关系是项目文档体系的自洽性保障台账每条实验的当前结果速览都能在Sources/TurboFieldfare/与Sources/TurboFieldfareRepack/的生产路径、Tests/下的门槛测试中找到落点。若要从宏观视角回顾这 103 条实验如何串成一条优化叙事建议按 优化之旅 → 基准 → 系统设计 → 实现参考 的顺序阅读。赞分享人工智能大模型推理引擎本地部署模型优化桌面应用【免费下载链接】turbo-fieldfareGemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook项目地址https://gitcode.com/gh_mirrors/tu/turbo-fieldfare点击查看免费下载相关推荐Turbo Fieldfare 中的 CRLF 渲染硬化以 crlf.md 语料验证换行归一化与流式 Markdown 渲染Turbo Fieldfare 中的 CRLF 渲染硬化以 crlf.md 语料验证换行归一化与流式 Markdown 渲染 Turbo Fieldfare人工智能大模型推理引擎本地部署模型优化桌面应用Turbo Fieldfare Prefill 深度解析128-token 分块、staged affine MPP 与批处理路由 MoE 的演进实验Turbo Fieldfare Prefill 深度解析128 token 分块、staged affine MPP 与批处理路由 MoE 的演进实验 导读人工智能大模型推理引擎本地部署模型优化桌面应用10分钟上手Spring Cloud OpenFeign从配置到调用的完整指南10分钟上手Spring Cloud OpenFeign从配置到调用的完整指南 Spring Cloud OpenFeign是Spring Cloud生态中用上一篇MinDoc附件管理终极指南从图片上传到悬空文件清理的完整解决方案下一篇react-router-redux路由状态迁移使用迁移脚本处理重大更新创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考