在上海舉辦的百度文心Moment大會上,文心大模型5.0正式版正式亮相。這一版本擁有高達(dá)2.4萬億的參數(shù)規(guī)模,采用原生全模態(tài)統(tǒng)一建模技術(shù),能夠同時(shí)處理文本、圖像、音頻和視頻等多種類型的信息輸入與輸出,展現(xiàn)出強(qiáng)大的全模態(tài)理解與生成能力。
在權(quán)威基準(zhǔn)的綜合評測中,文心5.0正式版表現(xiàn)卓越。其語言與多模態(tài)理解能力穩(wěn)居國際領(lǐng)先行列,圖像與視頻生成能力則與垂直領(lǐng)域的專業(yè)模型不相上下,整體技術(shù)處于全球前沿水平。這一成績的取得,得益于其獨(dú)特的技術(shù)路線和創(chuàng)新架構(gòu)。
與業(yè)界普遍采用的“后期融合”多模態(tài)方案不同,文心5.0采用了統(tǒng)一的自回歸架構(gòu)進(jìn)行原生全模態(tài)建模。它將文本、圖像、視頻、音頻等多源數(shù)據(jù)在同一模型框架內(nèi)進(jìn)行聯(lián)合訓(xùn)練,使多模態(tài)特征在統(tǒng)一架構(gòu)下深度融合并協(xié)同優(yōu)化,從而實(shí)現(xiàn)了原生的全模態(tài)統(tǒng)一理解與生成。這種技術(shù)路線不僅提升了模型的性能,還為多模態(tài)人工智能的發(fā)展開辟了新的路徑。
文心5.0還引入了超大規(guī)模混合專家結(jié)構(gòu),具備超稀疏激活參數(shù)特性。其激活參數(shù)比低于3%,在保持模型強(qiáng)大能力的同時(shí),顯著提高了推理效率。這一創(chuàng)新設(shè)計(jì)使得文心5.0在處理復(fù)雜任務(wù)時(shí)更加高效,為用戶提供了更流暢的體驗(yàn)。
得益于原生全模態(tài)建模技術(shù),文心5.0在多模理解、代碼生成和創(chuàng)意寫作等領(lǐng)域?qū)崿F(xiàn)了顯著突破。無論是理解復(fù)雜的圖像和視頻內(nèi)容,還是生成高質(zhì)量的代碼和創(chuàng)意文本,文心5.0都展現(xiàn)出了卓越的能力。這些突破不僅提升了模型的應(yīng)用價(jià)值,也為相關(guān)領(lǐng)域的發(fā)展注入了新的活力。
目前,用戶可以通過文心APP和文心一言官網(wǎng)體驗(yàn)文心5.0的強(qiáng)大功能,企業(yè)與開發(fā)者則可通過百度千帆平臺進(jìn)行調(diào)用,滿足多樣化的業(yè)務(wù)需求。











