京東于 2 月 14 日在 Hugging Face 平臺上正式開源了其最新的大模型 ——JoyAI-LLM-Flash。該模型總參數達到 48 億，其中激活參數為 3 億，經過 20 萬億文本 Token 的預訓練，展現出卓越的前沿知識理解、推理能力和編程技能。
JoyAI-LLM-Flash 采用全新 FiberPO 優化框架，將纖維叢理論引入強化學習，并結合 Muon 優化器及稠密多 Token 預測技術，成功解決了傳統模型規模擴展時的不穩定問題。與非 MTP 版本相比，其吞吐量提升了 1.3 倍至 1.7 倍，極大增強了模型的訓練效率和應用潛力。
這款模型的架構為混合專家模型（MoE），層數達到 40 層，支持 128K 的上下文長度和 129K 的詞表大小，標志著京東在 AI 領域的重要進展。
