之前，小众软件介绍过 Strata，一款可以让家用普通显卡运行本地 AI 大模型的本地推理工具，此前主要是 125B 大小的 Qwen3.8-Flash-Next，激活参数 6B。@Appinn
最近 Strata 连续更新，不仅开始支持 Apple Silicon Mac，还新增了体积更小的 Qwen3.6-35B-A3B 模型。再次降低了硬件准入门槛。
目录
哪些显卡能用？
目前 Strata 支持 NVIDIA、AMD 显卡，同时也为 Intel Arc 和 Apple Silicon 提供了实验性支持。
官方建议使用至少 12GB 显存的 NVIDIA 或 AMD 显卡。更老的也不是不行，但…很卡那种。
另外，新增的 Qwen3.6-35B-A3B 目前仅支持 NVIDIA 和 AMD，不支持 Intel Arc 和 Mac 上的 Strata。
需要多大内存
Strata 把显卡的门槛降低了，但实际上需求还在，所以需要至少32GB内存才可以运行，青小蛙也是刚刚新增了8GB显存，才用了起来。
Strata 推荐至少使用 12GB 显存、32GB 系统内存。显存越大，能够缓存的模型参数越多，通常运行速度也越快。对于只有 12GB 显存的用户，推荐尝试 35B 模型的低量化版本。
根据 Strata 官方发布说明，两款模型不同量化版本需要的内存及性能对比：
Qwen3.6-35B-A3B 与 Flash-Next 性能对比
两款模型均采用 MoE（混合专家）架构，但参数规模存在较大差异。
尽管 35B 模型规模更小，它仍然具备较强的日常对话、文字处理和编程能力。
而且，Strata 为它提供了 MTP（多 Token 预测）加速。在官方使用 AMD Radeon AI PRO R9700 的测试中：
开启 MTP 2 后，生成速度提高了约 94%。
Strata 现在也支持 Mac 了
从 Strata v0.1.44 版本开始， 加入原生 Metal 后端，支持 Apple Silicon M1～M5 芯片，要求 macOS 15 或更新版本。
目前属于实验性支持，需要在 Mac 上克隆代码后，运行 ./setup.sh，由安装程序从源码编译推理引擎。
现阶段 Mac 版本还有一些限制：只支持单个并发请求、官方仅验证了最高 32K 上下文，Qwen3.6-35B-A3B 暂未适配。
官方提供了两组值得参考的测试数据：
依旧，最低档内存限制是 32GB
存储空间需求
最后，还需要准备不小的硬盘空间，用来存储模型文件本身：
青小蛙运行了 IQ2_XS 量化版本，使用了大概100GB的 SSD 存储空间：
获取 & 安装
- GitHub
Strata 除了降低硬件门槛，也降低了使用门槛，你可以将安装交给 AI：
为我在这台 PC 上设置 Strata：https://github.com/Niko1221/Strata - 关注该存储库中的docs/AI_SETUP.md。
或者直接下载源码，然后运行：
- Windows: 双击 START-HERE.bat
- Linux / macOS: 运行 ./setup.sh
根据页面提示就行了，成功之后，会自动弹出浏览器，可以对话：
还可以把模型拿给其他应用使用：
快去试试吧，有问题可以来留言讨论。
不过，当运行成功之后，系统内存也消耗殆尽了，所以需要买更多的内存。
原文：https://www.appinn.com/strata-macos-35b-model/
相关阅读
- 8GB显存就够，Strata 让普通电脑也能运行千亿参数大模型
- BaseRT：专为 Apple Silicon 优化，让 Mac 本地大模型快 6.4 倍
- 讯飞限免 Qwen3.6 模型，支持 Claude Code、OpenClaw，承诺高并发不限量[截止6月30日]
- 10 个有意思的 GitHub 项目：比亚迪用上 CarPlay、翻译扫描 PDF，还有一本人生指南
- 终端（Terminal）、TTY 和 Shell，还有 SSH，一次搞懂，它们到底是什么？
2021 青小蛙 for
小众软件
加入我们
投稿
订阅指南
3659b075e72a5b7b1b87ea74aa7932ff
点击这里留言、和原作者一起评论
[ 点击前往获取链接 ]
