Strata 是一款让普通家用电脑运行本地 AI 大模型的开源工具，可运行 Qwen3.8-Flash-Next、Qwen3.6-35B-A3B 等大模型，并拥有相当流畅的推理速度。@Appinn
昨日，Strata 0.2.0 测试版发布，再次降低了使用门槛，内存+显存合计最低只需要 27.6GB 即可运行本地大模型。
超大模型入门
IQ2_XS 推荐档
IQ3_XXS 推荐档
32GB
48GB
40GB
64GB
48GB
Gyro-S 新增选择
降低 8GB
降低 16GB
现在还拥有了独立的图形界面，Windows、macOS 和 Linux 用户可以直接下载安装，并有使用向导、模型推荐，无需再通过命令行编译部署。
推理性能再次得到优化：
- NVIDIA RTX 30 系列显卡，文本生成速度最高提升约 13%（官方 RTX 3060 实测提升 10.2%，RTX A4000 提升 13%）。
- AMD RX 9000 系列显卡，部分模型的提示词处理速度接近翻倍。
- Intel Arc 显卡也获得加速，A750 的提示词处理速度提升约 42%。
Strata 0.2.0 更新前后模型推荐对比
Strata 明确是 RAM + VRAM 的内存需求，也就是说，如果你有一块 12GB 显卡，最低只需要 20GB 内存就能跑起来了。
Strata 0.2.0-beta 最明显的变化，是同样的硬件配置有了更好的模型选择：
- 32GB 即可尝试 Flash-Next 的 Gyro-S 量化版
- 40GB 进入 IQ2_XS 推荐档位
- 48GB 则可以选择原本建议 64GB 的 IQ3_XXS
而针对不同模型，性能大概是这样的：
青小蛙也正在升级，因为此前使用的模型是 Strata 推荐的 IQ2_XS，而这次升级之后，官网也将推荐模型提升了一个档次，这次推荐的是 IQ3_XXS 尺寸。
但是也遇到了新的问题：下不动
所以暂时无法体验速度。
其他升级
有中文界面了：
新版 Strata 还在图形界面中集成了 AI 编程 Agent，支持读取、创建和修改文件、联网搜索，以及自动执行任务。
另外，NVIDIA 和 AMD 显卡现在默认支持图片理解，模型下载也进行了优化，支持多连接并发、断点续传和文件完整性校验。
下载速度这一点上，虽然但是啊，该慢还是慢
获取
- GitHub
新安装的同学注意，它会自动安装到 C 盘，不容你修改。不过数据盘可以修改
升级的同学，和重装没什么区别，可以选择原模型，但它升级了性能，你可以更换更好的模型了。
原文：https://www.appinn.com/strata-0-2-beta/
给大模型瘦身：不同量化版本
大模型之所以叫大，就是因为真的大。
于是，给大模型瘦身这件事，被称作量化。
通过降低模型参数的存储精度，可以大幅缩小模型体积，不同的参数，就有了不同的量化版本。IQ2_XS、IQ3_XXS、IQ3_S 都是大模型的量化版本。
它们的区别主要在于压缩程度：
其中，IQ 是 llama.cpp 的一种重要性感知量化格式，数字 2、3 大致代表每个模型权重使用的比特数；XS、XXS、S 则表示不同的量化配置。
可以把它理解为图片压缩：压缩得越狠，文件越小，但也更容易损失细节。
对于普通用户，记住一个原则：选你内存限制内最大的量化版本即可。
相关阅读
- Strata 现已支持 macOS，还能运行更轻量的 Qwen3.6-35B-A3B 大模型了
- 8GB显存就够，Strata 让普通电脑也能运行千亿参数大模型
- Photoshop CS6 beta 免费下载
- 密码管理器 1Password BETA 已支持 Windows Hello 解锁浏览器扩展
- Listary V7 Beta 发布了，新增主动推荐、新预览面板、新主题色、全新引擎等功能。
2021 青小蛙 for
小众软件
加入我们
投稿
订阅指南
3659b075e72a5b7b1b87ea74aa7932ff
点击这里留言、和原作者一起评论
[ 点击前往获取链接 ]
