MLX 推理加速：一行代码释放 Mac 芯片被锁住的 INT8 算力

2026-05-13

MLX 原生只做权重量化，不支持激活量化——这意味着你的 Apple M5 芯片有大量 INT8 算力处于闲置状态。明略科技（Mininglamp）开源的 Cider SDK 补上了这个缺口。它不是独立框架，而是 MLX 的 W8A8 / W4A8 激活量化扩展，通过一行 convert_model() 调用即可将任意 MLX 模型的 prefill 速度提升 1.5×–1.86×，同时把内存占用降低约 40%，且精度几乎无损。 更重要的是，Cider 让端侧推理从“能用”变成“好用”——速度快（prefill 加速最高达 1.86×）、省 token（不调用云端 API，推理成本趋近于零）、隐私可控（所有输入在 Mac 本地完成推理，数据永不离开设备）。基于 custom primitives 构建，与 MLX 的 lazy evaluation 和 graph scheduling 无缝融合。MIT 协议开源，GitHub 地址：github.com/Mininglamp-AI/cider。

你品鉴，它们干活。限额开放，扫码体验明略科技Octo——开源可信的Agent协作网络

2026-05-08

限额开放，扫码体验明略科技Octo——开源可信的Agent协作网络

双料齐发！明略科技正式开源 Cider 端侧推理加速框架与 Mano-P 端侧模型

2026-05-08

近日，明略科技正式开源自研 Cider 推理加速 SDK（软件开发工具包），以及端侧 GUI 智能体模型 Mano-P。继此前开源的 Mano-CUA skill 之后，本次 Mano-P 模型的开源直观展现了端侧模型在真实业务闭环中的巨大潜能。而 Cider 框架则从计算算子与硬件调用机制的底层出发，赋能端侧大模型在 macOS 系统本地算力下以更高效率、更低内存占用流畅运行。