近日，開發者Dan Woods在一臺配備M3 Max芯片和48GB統一內存的MacBook Pro上，成功運行了規模達209GB的Qwen3.5-397B人工智能模型。這一突破性成果打破了傳統認知——該模型參數規模通常需要數據中心級硬件支持，而此次在消費級設備上的實現速度超過每秒5.5個Token，為端側AI應用開辟了新可能。
該模型原始文件占用磁盤空間209GB，壓縮后仍需120GB存儲空間。傳統方案需將數百億參數全部加載至內存，遠超普通筆記本電腦的硬件極限。Woods通過創新技術路徑突破物理限制，其核心方法借鑒了蘋果2023年發布的《閃存中的大語言模型》研究論文，采用"閃存-內存協同計算"架構，將模型參數存儲于高速NVMe固態硬盤，通過動態數據塊調度實現按需加載。
蘋果芯片的統一內存架構在此過程中發揮關鍵作用。這種將CPU、GPU與內存深度整合的設計，使得數據傳輸效率較傳統分離式架構提升數倍。Woods特別優化了Qwen模型的混合專家（MoE）架構特性，通過將每次推理激活的專家模塊數量從10個減少至4個，在保持模型核心性能的同時，將內存需求降低60%以上。開發者Simon Willison分析指出，這種策略使活躍權重可直接從閃存讀取，有效平衡了性能與資源消耗。
項目實現過程中，AI工具發揮重要作用。Woods將蘋果技術論文輸入Claude Code智能助手，通過自動化研究模式進行90次迭代實驗，最終生成針對蘋果芯片優化的MLX Objective-C和metal底層代碼。這種人機協作模式顯著提升了開發效率，相關技術細節與測試數據已在GitHub平臺完整開源，包括內存管理策略、數據塊調度算法等核心模塊。
此次突破驗證了消費級設備運行超大規模模型的可行性，為AI應用從云端向終端遷移提供了新思路。雖然當前實現仍需依賴高速固態硬盤，但其展示的技術路徑為后續硬件優化指明了方向。隨著存儲介質性能提升與算法持續改進，未來在普通筆記本電腦上運行千億參數模型或將成為現實。
