6月30日,百度正式開源文心大模型4.5系列模型,涵蓋47B、3B激活參數(shù)的混合專家(MoE)模型,以及0.3B參數(shù)的稠密型模型等共10款模型,并實現(xiàn)預訓練權(quán)重和推理代碼的完全開源。目前,文心大模型4.5開源系列已可在飛槳星河社區(qū)、HuggingFace等平臺下載部署使用,同時開源模型API服務也可在百度智能云千帆大模型平臺使用。早在今年2月,百度就已預告了文心大模型4.5系列的推出計劃,并明確將于6月30日起正式開源。
此次百度一次性推出10款文心大模型4.5系列開源模型,在獨立自研模型數(shù)量占比、模型類型數(shù)量、參數(shù)豐富度、開源寬松度與可靠性等關(guān)鍵維度上,均處于行業(yè)領先位置。
據(jù)介紹,文心大模型4.5開源系列針對MoE架構(gòu)提出了一種創(chuàng)新性的多模態(tài)異構(gòu)模型結(jié)構(gòu),適用于從大語言模型向多模態(tài)模型的持續(xù)預訓練范式,在保持甚至提升文本任務性能的基礎上,顯著增強了多模態(tài)理解能力,其優(yōu)越的性能主要得益于多模態(tài)混合專家模型預訓練、高效訓練推理框架和針對模態(tài)的后訓練等關(guān)鍵技術(shù)點。
此外,文心大模型4.5開源系列均使用飛槳深度學習框架進行高效訓練、推理和部署。在大語言模型的預訓練中,模型FLOPs利用率(MFU)達到47%。實驗結(jié)果顯示,該系列模型在多個文本及多模態(tài)基準測試中達到SOTA水平,尤其在指令遵循、世界知識記憶、視覺理解和多模態(tài)推理任務上效果突出。
在文本模型方面,文心大模型4.5開源系列基礎能力強、事實準確性高、指令遵循能力強、推理和編程能力出色,在多個主流基準評測中超越DeepSeek-V3、Qwen3等模型。在多模態(tài)模型方面,文心大模型4.5開源系列擁有卓越的視覺感知能力,同時精通豐富視覺常識,并實現(xiàn)了思考與非思考統(tǒng)一,在視覺常識、多模態(tài)推理、視覺感知等主流的多模態(tài)大模型評測中優(yōu)于閉源的OpenAI o1。此外,在輕量模型上,文心4.5-21B-A3B-Base文本模型效果與同量級的Qwen3相當,文心4.5-VL-28B-A3B多模態(tài)模型也是目前同量級最好的多模態(tài)開源模型,甚至與更大參數(shù)模型Qwen2.5-VL-32B不相上下。
據(jù)了解,文心大模型4.5開源系列權(quán)重按照Apache 2.0協(xié)議開源,支持開展學術(shù)研究和產(chǎn)業(yè)應用。此外,基于飛槳提供開源的產(chǎn)業(yè)級開發(fā)套件,廣泛兼容多種芯片,降低模型的后訓練和部署門檻。
作為國內(nèi)最早投入AI研發(fā)的企業(yè)之一,百度在算力、框架、模型到應用的四層布局構(gòu)建了明顯的AI全棧技術(shù)優(yōu)勢。其中,飛槳是中國首個自主研發(fā)、功能豐富、開源開放的產(chǎn)業(yè)級深度學習平臺,基于多年飛槳開源技術(shù)與生態(tài)系統(tǒng)積累,此次文心大模型4.5開源系列同步升級發(fā)布文心大模型開發(fā)套件ERNIEKit和大模型高效部署套件FastDeploy,為文心大模型4.5系列及開發(fā)者提供開箱即用的工具和全流程支持。
值得關(guān)注的是,此次文心大模型4.5系列開源后,百度實現(xiàn)了框架層與模型層的“雙層開源”,為行業(yè)樹立了新標桿。
友情鏈接: 政府 高新園區(qū)合作媒體
Copyright 1999-2024 中國高新網(wǎng)chinahightech.comAll Rights Reserved.京ICP備14033264號-5
電信與信息服務業(yè)務經(jīng)營許可證060344號主辦單位:《中國高新技術(shù)產(chǎn)業(yè)導報》社有限責任公司