亚洲精品成人福利网站,无码伊人66久久大杳蕉网站谷歌,亚洲变态另类天堂av手机版,性猛交富婆╳xxx乱大交小说,无码精品国产va在线观看dvd

媒體界 - 推動中國媒體行業(yè)創(chuàng)新,促進業(yè)內人士交流分享!

AI推理成本驟降,免費時代即將到來?姚欣詳解PPIO派歐云實踐

   發(fā)布時間:2024-12-26 06:16 作者:顧雨柔

在科技行業(yè)的矚目下,一場關于人工智能未來的深度探討在北京中關村國家自主創(chuàng)新示范區(qū)展示中心舉行。2024年12月10日至12月11日,“萬千流變,一如既往”甲子引力年終盛典匯聚了70余位科技領域的重量級嘉賓,他們分享了人工智能、機器人、科學智能以及新質生產力等領域的最新進展與獨到見解。

在這場盛會中,PPIO派歐云的聯(lián)合創(chuàng)始人兼CEO、前PPTV創(chuàng)始人姚欣帶來了題為《PPIO派歐云實踐與洞察:從算力過剩到推理制勝》的精彩演講。姚欣指出,盡管大型模型推動了智算中心的建設熱潮,但當前面臨的使用率低下問題不容忽視。同時,從2023年上半年大模型創(chuàng)業(yè)訓練的熱潮到后來的降溫,算力結構正經歷顯著變化。

姚欣強調,AI應用的需求正在發(fā)生深刻變革。大型模型正從面向VC的泡沫炒作階段逐步走向To B落地階段,并有望未來進入To C階段。然而,當前制約AI應用廣泛普及的關鍵因素在于推理成本。一旦成本降低,AI應用將迎來爆發(fā)式增長。企業(yè)可以通過多種途徑進行推理成本優(yōu)化,包括硬件降本(如硬件梯次利用)、算力調度(根據需求波峰波谷合理配置資源)以及推理加速。

姚欣進一步預測,2025至2026年將成為AI的轉折之年。隨著AI推理成本每年近十倍的下降,大量AI應用的收入將足以覆蓋全部推理成本,AI應用有望迎來免費時代。這一預測基于對當前算力市場及AI技術發(fā)展趨勢的深入分析。

姚欣回顧了自己從PPTV創(chuàng)業(yè)到藍馳創(chuàng)投的投資經歷,并指出在新基建推進過程中,大量數(shù)字基礎設施的建設同樣面臨挑戰(zhàn)。他分享了一組數(shù)據,自2015年以來,數(shù)字新基建持續(xù)發(fā)展,互聯(lián)網數(shù)據中心的年增速保持在30%至50%之間,機架上架數(shù)量在300萬至1000萬之間。然而,機房利用率在不同地區(qū)存在顯著差異,全國平均利用率不到50%,出現(xiàn)了“IDC過剩”現(xiàn)象。這一現(xiàn)象在智算中心建設中同樣可能出現(xiàn)。

在需求側方面,姚欣指出,2023年上半年大模型迎來爆發(fā),但進入2024年后,大模型熱度明顯降溫。參與大模型預訓練的企業(yè)數(shù)量顯著下降,部分公司放棄了預訓練方向。同時,新的Scaling Law正在從預訓練轉向后訓練,包括微調和推理環(huán)節(jié)。這一變化使得模型在處理復雜問題時的邏輯性更強,成為當前行業(yè)發(fā)展的顯著趨勢。

姚欣還提到了OpenAI發(fā)布會引發(fā)的關注,特別是音視頻生成領域的進展。他強調,新一代多模態(tài)大模型將帶來更大的推理消耗,對算力需求提出了更高的要求。

姚欣表示,AI應用的發(fā)展將經歷與移動互聯(lián)網類似的過程。在移動互聯(lián)網應用落地的早期,生產力類工具占主導,隨著發(fā)展逐漸轉向更多娛樂、休閑、消費等應用。AI應用也將從生產力工具開始,逐步擴展到更多場景。當前,AI成本正在快速下降,但尚未足夠低廉以覆蓋所有應用場景。只有商業(yè)模式明確的To B應用或具備生產力功能的To C工具才能承受當前成本。

然而,姚欣相信,隨著技術的進一步發(fā)展,AI應用將迎來一個關鍵的交叉點。就像移動互聯(lián)網在2014至2015年間依靠免費廣告模式覆蓋視頻成本,迎來爆發(fā)式增長一樣,AI應用也將迎來類似的時刻。

在探討推理成本優(yōu)化方面,姚欣指出,PPIO派歐云作為一家分布式云計算企業(yè),從最底層的IaaS基礎設施到PaaS平臺服務,再到上面的大模型應用服務,進行了全程觀察。推理成本的下降主要源自硬件降本、算力調度和推理加速三大方面的優(yōu)化。

硬件降本方面,PPIO派歐云通過尋找更便宜的電力資源、充分利用硬件資源以及硬件梯次利用等措施降低成本。算力調度方面,PPIO派歐云通過智能調度和提前部署數(shù)據與計算任務,實現(xiàn)資源高效利用和全局負載平衡。推理加速方面,PPIO派歐云結合產學研最新成果,通過一系列技術手段提升推理效率。

姚欣還分享了PPIO派歐云的具體實踐。PPIO派歐云在全國乃至亞洲范圍內與本地合作伙伴建立合作,整合各類算力資源,加入算力共享平臺。通過優(yōu)化硬件配置、實現(xiàn)硬件成本的最大化利用和攤銷,PPIO派歐云成功降低了推理成本。

以一個典型的8B模型為例,該模型在PPIO平臺上發(fā)布時的百萬token費用為0.1美元,而幾個月后已降至4分錢。姚欣預計,到明年4月,成本還將進一步下降至當時的十分之一。這一降本成果并非通過補貼實現(xiàn),而是通過高效的資源整合和調度、優(yōu)化硬件利用率以及提升模型性能和推理加速來達到的。

PPIO派歐云的成功實踐不僅為客戶提供了更高的性價比,還助推了客戶的發(fā)展。例如,一家知名的小說推文APP采用PPIO派歐云的模型能力替代自有模型架構,推理成本降低了70%,生圖速度提升了5倍,業(yè)務用量和營收在短短一個月內實現(xiàn)了3倍多的增長。同樣,PPIO派歐云也將業(yè)務擴展到海外市場,幫助全球Top10招聘網站通過大語言模型進行簡歷篩選和優(yōu)化,顯著減少了人工需求。

姚欣表示,中國企業(yè)在AI云計算領域取得的技術積累和資源優(yōu)勢,使得我們具備了與全球一流云計算公司和硅谷創(chuàng)新公司競爭的實力。通過合理的成本控制和高效的性能優(yōu)化,PPIO派歐云的技術和服務在全球市場上表現(xiàn)出強大的競爭優(yōu)勢。

 
 
更多>同類內容
全站最新
熱門內容
本欄最新