开源引擎，可在任何 M 系列 Mac 上用 2 GB 内存运行 Gemma 4 26B
Show HN: Open-source engine running Gemma 4 26B in 2 GB RAM on any M-series Mac
我们发现了什么
我一直很喜爱设备端 AI。TurboFieldfare 可运行指令微调版 Gemma 4 26B-A4B (https://ai.google.dev/gemma/docs/core/model_card_4)，而无需将整个 14.3 GB 模型加载到内存中。
- 来源：Hacker News（发现于 2026-07-30）
- 证据等级：D · 发现产品或需求信号，暂未获得可核验的商业证据。
- 商业模式：待核验
- 主题：独立产品
- 初筛评分：17.5/100 · 收录 1 次
证据，比故事更重要。
规则清洗与初筛，未经人工商业核验。原文语境、实际客户和付费情况仍需自行验证。
引用与数字披露
来源类型（原作者自述／第三方测算／媒体转引）需采集端标注，本版尚未落字段。
- 作者
- 未标注
- 抓取日期
- 来源类型
- 未标注
- 币种
- 未标注
- 口径
- 未标注
- 披露主体
- 未标注
- 披露日期
- 未标注
中文辅助译文（全文）
嗨 HN，我在任何 M 系列 Mac 上用大约 2 GB 内存构建了一个专门的推理引擎，用于运行 4 位的 Gemma 4 26B-A4B-IT。它叫做 TurboFieldfare，用 Swift 和 Metal 编写。我一直很推崇设备端 AI。在你的 Mac 或 iPhone 上运行一个强大的神经网络，感觉就像魔法。所以我想稍微突破一下极限，运行一个权重无法装入内存的模型。该模型的 4 位量化权重大约占用 14 GB，这使得在 8 GB 甚至 16 GB 的 Mac 上——一旦考虑到操作系统、应用程序和 KV 缓存——几乎不可能用传统的推理工具运行它。诀窍是将模型的共享部分和 KV 缓存保留在内存中，然后只从 SSD 流式传输每个 token 所需的路由专家。SSD 比 RAM 慢得多，所以运行时使用一个小型专家缓存和有界并行的 pread。在这些读取进行的同时，GPU 运行该层的共享部分。我进行了超过 100 次实验。大多数都不行。有少数让我走到今天这一步。实验过程在 GitHub 仓库中有描述。它目前在 8 GB M2 MacBook Air 上生成 5–6 tok/s，在 M5 MacBook Pro 上生成 31–35 tok/s。我还添加了一个实验性的 OpenAI 兼容本地服务器。它支持流式传输和工具调用，并从 KV 缓存中复用一个提示前缀。试试看吧！Mac 应用很容易安装。首次运行时，它会从 Hugging Face 下载 15 GB 的权重。该模型出奇地强大。我非常期待任何形式的反馈！
译文由上游机器翻译生成，可能有误；判断请以英文原文为准。
英文原文（来源本站未改写）
Hi HN, I built a specialized inference engine for running 4-bit Gemma 4 26B-A4B-IT on any M-series Mac using about 2 GB of RAM.It is called TurboFieldfare and is written in Swift and Metal.I have always adored on-device AI.It feels like magic that you can run a powerful NN on your Mac or iPhone.So I wanted to push the limits a bit and run a model whose weights don’t fit in memory.The model’s 4-bit quantized weights occupy roughly 14 GB, which makes running it with conventional inference tools almost impossible on an 8 GB or even 16 GB Mac once the OS, applications, and KV cache are included.
The trick is to keep the shared part of the model and the KV cache in RAM, then stream only the routed experts needed for each token from SSD.An SSD is way slower than RAM, so the runtime uses a small expert cache and bounded parallel pread.While those reads are in flight, the GPU runs the shared part of the layer.I ran more than 100 experiments.Most didn’t work.A few got me here.The experiments are described in the GitHub repo.It currently generates 5–6 tok/s on an 8 GB M2 MacBook Air and 31–35 tok/s on an M5 MacBook Pro.I also added an experimental OpenAI-compatible local server.It supports streaming and tool calls, and reuses one prompt prefix from the KV cache.Try it!
The Mac app is easy to install.On the first run, it will download 15 GB of weights from Hugging Face.The model is surprisingly capable.I would love any kind of feedback!
这条还缺什么证据？
下面每条都由本条已有字段推出（等级、理由、商业模式、来源次数、是否演示）， 本站不生成推测性结论；通用验证方法放在方法论页。
- 可核验的收入或付费证据查官网定价页与付费口径；第三方数据源（如 GetLatka）只作旁证，需标注来源与时点。
- 商业模式未定确认按席位／按用量／授权还是开源托管版收费；开源项目另查 LICENSE 与是否存在付费版。
- 只有单一来源找一手站点或其他渠道是否重复出现同一产品；社区热帖数量不等于商业进展。
通用验证清单（谁有这个问题／谁愿意付费／一个人能交付哪一小步）见我们的筛选方法。