上海AI實驗室主導的突破性研究近日引發科學界廣泛關注，研究團隊成功構建了全球首個萬億參數規模的科學多模態基礎模型Intern-S1-Pro。該模型不僅在通用能力上達到業界頂尖水平，更在化學、材料科學、生命科學和地球科學等關鍵領域展現出前所未有的深度理解能力，為人工智能在專業領域的應用開辟了新路徑。

傳統人工智能系統往往專注于單一領域，而科學研究需要跨學科的綜合能力。研究團隊發現，處理多個科學領域的AI模型需要比單一領域模型大90倍的參數量。這一發現促使他們將模型規模擴展至萬億參數級別，使Intern-S1-Pro成為首個達到此規模的科學多模態基礎模型。該系統能夠理解和生成自然語言文本，處理科學圖像，解析時間序列數據，甚至具備自主規劃和執行復雜科學工作流程的能力。

構建如此龐大的模型面臨諸多技術挑戰。研究團隊創新性地采用"分組路由"機制，將專家均勻分配到不同組別，確保每個組都有頂尖專家參與任務處理。這種方法類似于餐廳合理分配廚師資源，既保證了服務質量，又避免了計算資源的浪費。實驗表明，這種設計使模型性能略微超越擴展前基準，而傳統方法則會導致性能下降超過20個百分點。

為解決稀疏模型訓練中未激活專家的學習問題，團隊引入了"直通估計器"技術。這項創新使所有專家都能在訓練過程中獲得反饋信號，確保系統持續改進。模型還采用了原生分辨率圖像處理方式，能夠根據輸入圖像的實際分辨率進行調整，保留高分辨率圖像中的精細信息，這對科學應用尤為重要。

在位置編碼技術方面，Intern-S1-Pro引入了傅里葉位置編碼（FoPE），使AI能夠理解物理世界的連續性。傳統位置編碼如同給每個位置分配固定門牌號，而FoPE則像為每個位置分配完整的頻譜"指紋"。這項創新顯著提高了模型處理不同長度序列的能力，就像學會一首歌的旋律后，即使延長演奏時間也不會走調。

針對科學研究中常見的時間序列數據，團隊開發了專門的處理模塊。該模塊采用自適應子采樣策略，根據信號特征動態確定分塊策略，既保證重要信息不被遺漏，又將數據量控制在可處理范圍內。這一模塊能夠處理從100個到100萬個數據點的序列，覆蓋了絕大多數科學應用場景，并在天文學、神經科學和地球科學等領域展現出強大能力。

高質量訓練數據的獲取是另一個重大挑戰。研究團隊從科學論文PDF文檔中挖掘知識寶藏，開發了一套完整的處理流水線。該系統能夠精確識別文檔中的圖片、表格、公式和正文等元素，去除重復內容，并為科學圖像生成詳細的專業描述。最終，團隊處理了涵蓋多個科學領域的大規模語料庫，產生了約270億token的高質量科學圖文配對數據。

將科學數據與通用數據融合訓練面臨"分布偏移"和"負遷移"等問題。研究團隊通過結構化科學數據轉換、科學數據多樣化和系統提示隔離三大策略解決了這一挑戰。這些方法確保模型能夠同時處理嚴謹的科學問題和靈活的通用任務，就像一個人既能成為優秀的科學家，又能是出色的文學家。

在萬億參數規模下進行強化學習訓練需要解決復雜的內存管理和計算分配問題。團隊采用FP8量化技術，并實施了綜合性的穩定化框架，包括算子級別對比、推理路由重放和定制混合精度策略等。這些創新使FP8混合精度強化學習在實踐中達到與BF16訓練相當的效果，為大規模模型訓練開辟了可行路徑。

性能評估顯示，Intern-S1-Pro在多個科學基準測試中表現優異。在SciReasoner科學推理基準上獲得55.5分，遠超其他模型；在化學領域的SmolInstruct基準上取得74.8分的顯著成績；在材料科學的MatBench基準上獲得72.8分。同時，該模型在通用任務上也保持強勁競爭力，在數學推理等高難度任務上表現出色。

有趣的是，實驗結果表明更大規模的通用模型在專業任務上反而表現更優。與專門的生物學模型對比顯示，Intern-S1-Pro在絕大多數生物學任務上顯著超越專業模型，平均得分高出13.21分。這種現象表明，強大的通用推理能力能夠幫助模型更好地理解和利用專業數據，為AI模型設計提供了新思路。

Intern-S1-Pro的技術創新具有廣泛影響。分組路由機制為大規模模型訓練提供了新的負載均衡解決方案；直通估計器技術解決了稀疏模型訓練的根本性問題；傅里葉位置編碼改進了位置編碼方法；時間序列處理模塊的自適應策略具有廣泛適用性。這些創新不僅提升了當前模型性能，也為未來AI技術發展提供了重要參考。