标签

本地大模型

共 1 篇相关文章

405B 稠密模型要在家用设备上跑起来，先要把参数量换算成内存和带宽。文章拆解各精度下的权重占用、两台 192G Mac Studio 集群为什么成立、互联与速度瓶颈，并对比多卡 GPU 服务器、托管 API 与降级模型等做法，给出可执行的检查清单。