今日,百川智能推出一站式大模型商業(yè)化解決方案,即1+3產品矩陣(全鏈路優(yōu)質通用訓練數據,Baichuan4-Turbo、Baichuan4-Air兩款模型和全鏈路領域增強工具鏈),該方案“工具多、速度快、效果好、成本低”,能夠幫助企業(yè)以最低成本實現效果最佳的私有化部署。并支持企業(yè)將專有數據與百川智能自用的全鏈路優(yōu)質訓練數據混合,對Baichuan4-Turbo、Baichuan4-Air兩款模型進行調優(yōu)和增強,實現了行業(yè)最高的96%多場景可用率。
企業(yè)多元場景可用率高達96%,位居行業(yè)首位
眾所周知,盡管大模型具備良好的泛化能力,但由于每個企業(yè)都有自身獨特的專業(yè)知識和應用場景,直接應用通用模型無法達到理想效果,必須對模型進行定制化優(yōu)化使其適應特定領域和場景需求,而優(yōu)化后模型在多場景下的可用率是評估其價值的關鍵標準。此前行業(yè)的主流做法是將企業(yè)專有數據和通用數據混合定向調優(yōu)、增強通用模型,但受限于諸多因素,企業(yè)很難獲得與原模型高度匹配的通用訓練數據,因此即便經過調優(yōu),模型也有很大概率會失去通用性,變成無法應對多個場景的專用模型。
為解決這一關鍵難題,百川智能將自用的優(yōu)質預訓練數據、SFT微調數據、強化學習中的通用訓練數據,以及自研的超參自動化搜索和調優(yōu)技術、數據動態(tài)自適應配比技術等統(tǒng)一封裝,打造了一套全鏈路優(yōu)質通用訓練數據方案。
由于Baichuan4-Turbo、Baichuan4-Air均為百川智能自研,所以這些優(yōu)質通用訓練數據與兩者的數據分布高度一致,結合超參動態(tài)搜索和自適應配比等算法,與企業(yè)私有數據混合微調,顯著提升了兩個模型多場景下的可用率,在金融、教育、醫(yī)療等場景下的專業(yè)細分任務平均可用率高達 96%,位居行業(yè)首位。
Baichuan4-Turbo部署成本、Baichuan4-Air推理成本均為行業(yè)同梯隊最低
成本是影響企業(yè)應用大模型的另一個重要因素,不同場景階段,企業(yè)對模型性能和成本的要求各不相同。為更好滿足行業(yè)用戶的多樣化需求,百川智能對兩個模型進行了差異化定位。
具體而言,Baichuan4-Turbo的文本生成、知識問答、多語言處理等核心能力相比Baichuan 4均有顯著提升,只需2卡4090的算力即可完成部署,在 GPT—4o同檔位效果的模型中部署成本最低,非常適合企業(yè)探索復雜場景。而Baichuan4-Air則更適用于已經驗證過的較大規(guī)模流量的場景,其效果與Baichuan 4基本持平,但推理成本行業(yè)最低,僅為Baichuan 4的1%,百萬Token只需0.98元。
兩款模型的響應速度也均提升顯著,相比Baichuan 4,Baichuan4-Turbo首Token速度提升51%、Token流速提升73%;Baichuan4-Air的首Token速度提升77%、Token流速提升93%。
作為百川智能的首個MoE(Mixture of Experts)模型,Baichuan 4-Air首創(chuàng)了PRI(Pyramid、Residual、Interval)架構。與標準的MoE架構相比,Baichuan4-Air保持了MLP(多層感知機)和Attention(注意力機制)的內部結構不變,僅對混合專家MLP層的配置方式進行優(yōu)化,通過合理配置專家數量和激活策略,能夠更好地平衡計算負載,減少計算量,提高推理速度。在相同訓練數據下,Baichuan4-Air不僅時效率更高,性能也大幅領先于GPT4-style、Mixtral-style結構的MoE模型。
Baichuan4-Air的時效率對比測試效果圖
全鏈路領域增強工具鏈簡單易用,覆蓋模型部署全流程
企業(yè)在部署模型過程中還面臨著專業(yè)算法人才稀缺,模型調優(yōu)技術門檻高等阻礙。面向這些痛點,百川智能打造了簡單易用的全鏈路領域增強工具鏈。該工具鏈集成了數據抓取、數據清洗、數據增強、模型訓練、模型評測、模型壓縮和模型部署等諸多工具,企業(yè)可以根據自身需求自由選擇相應工具,對模型進行加密部署和訓練。
百川智能還通過大量適配工作解決了不同硬件的適配問題,目前能夠高效適配英偉達4090/A/H系列、華為昇騰、寒武紀、高通、MTK、天數等多種主流芯片。
部分參與內測的客戶,對百川智能的一站式解決方案十分認可并給予了高度評價。新致軟件表示,百川的工具包極大地優(yōu)化了我們的大模型開發(fā)流程,不僅支持處理我們的專有數據,還能將其與百川的高質量通用訓練數據混合在一起訓練。這樣訓練出來的模型,效果提升顯著;信雅達表示,Baichuan4-Turbo僅需2張4090就能運行,大大降低了我們的硬件投入。部署B(yǎng)aichuan4-Turbo以來,我們的客戶滿意度提升了15%,運營效率提高了近30%。
目前百川智能已經服務了數千家客戶, 包括北電數智、完美世界游戲、愛奇藝、360集團、生學教育、愛學堂等各行業(yè)的領軍企業(yè),并且與信雅達、用友、軟通動力、新致軟件、達觀數據、華勝天成等多家行業(yè)生態(tài)伙伴,以及華為、中科曙光等硬件廠商,中國移動、中國電信、中國聯通等運營商達成合作,攜手構建百川大模型生態(tài)。