文 | aiAR研究媛

OpenAI 的神奇在邊際遞減。Sora無(wú)法涌現(xiàn)真實(shí)世界的物理法則，成本和效用沒(méi)法商業(yè)閉環(huán)；o1被推測(cè)的CoT+RL 路線展現(xiàn)了強(qiáng)大的數(shù)學(xué)推理能力，但依舊爭(zhēng)論不停，跟隨者寥寥；GPT-5聽(tīng)不到好消息同時(shí)，壞消息先來(lái)了，OpenAI的高層團(tuán)隊(duì)和核心技術(shù)骨干幾乎全部出走。

AGI 的終極遠(yuǎn)景固然吸引人，在歷史級(jí)的天量資本投入和期待下，OpenAI 似乎都架不住，要從非營(yíng)利性組織向正常企業(yè)「轉(zhuǎn)型」。

大模型從「中樞」走向「邊緣」

今年以來(lái)，有一股明顯的市場(chǎng)力量，驅(qū)動(dòng)大模型向PC、手機(jī)、汽車向這些邊緣端滲透，這些恰好也是人們工作、學(xué)習(xí)、生活、出行，最高頻使用的終端。

一個(gè)普通用戶每天產(chǎn)生的文本數(shù)據(jù)、圖像數(shù)據(jù)、聲音數(shù)據(jù)，散落在各個(gè)終端，如果這些數(shù)據(jù)推送給大模型交互、處理，可以極大地提升我們工作學(xué)習(xí)的效率，帶入更便捷和更高質(zhì)量的生活。

比如AIPC，有了大模型GUI Agent，可以做到用戶指令生成屏幕操作。大模型可以自動(dòng)進(jìn)行工作郵件和會(huì)議快速總結(jié)，讀取經(jīng)營(yíng)統(tǒng)計(jì)數(shù)據(jù)，瞬間轉(zhuǎn)換成markdown表格，長(zhǎng)圖文在正確的提示詞交互下，快速生成指定匯報(bào)主題的PPT。

AI Phone 相比AIPC，多模態(tài)數(shù)據(jù)和應(yīng)用為豐富。智能手機(jī)有10多種不同種類的傳感器，位置GPS、攝像頭cmos、加速度、氣壓計(jì)、麥克風(fēng)陣列，手機(jī)能調(diào)用的App種類和數(shù)量也極為豐富，大模型被封裝成更高權(quán)限層級(jí)的個(gè)人助手，融入手機(jī)OS，能實(shí)現(xiàn)自動(dòng)化智能操作和高效交互。

智能汽車更進(jìn)一步，各類傳感器數(shù)量高達(dá)數(shù)百個(gè)，可以控制的權(quán)限和實(shí)現(xiàn)的更復(fù)雜。智能汽車交互方式多樣，頻次多、粘性強(qiáng)、多模態(tài)數(shù)據(jù)規(guī)模大，大模型在這種復(fù)雜傳感器、多種交互和功能、融入了人際互動(dòng)的移動(dòng)空間，天然能夠重新組織、協(xié)調(diào)、梳理、關(guān)聯(lián)，將其整合成為一個(gè)高度智能的服務(wù)整體。比如通過(guò)語(yǔ)音和汽車交流，智能座艙基于大模型可以自動(dòng)制作、控制、定向生成符合用戶情緒偏好的音樂(lè)、氛圍燈、影視內(nèi)容，創(chuàng)造超級(jí)個(gè)性化的舒適智能空間。

從正常的商業(yè)視角審視，把最高頻的三個(gè)消費(fèi)電子讓大模型接管或重鑄，想象力太太太大了。大模型公司有概率上演，當(dāng)年蘋(píng)果和谷歌替換諾基亞、摩托羅拉，這種生態(tài)位切換的故事。

特斯拉的故事，給了一點(diǎn)啟示

當(dāng)一種新的、截然不同的計(jì)算需求和設(shè)備形態(tài)出現(xiàn)的時(shí)候，同類的終端廠商和上游的芯片廠商不一定能最快反應(yīng)過(guò)來(lái)。

舉個(gè)離我們最近的例子。今天風(fēng)光無(wú)限的 Elon Musk，全民偶像、超級(jí)極客、世界首富，助他真正登上神壇，是其創(chuàng)立的特斯拉改變了百年汽車工業(yè)。Musk掌控下的特斯拉，早在2014年就發(fā)布了HW 1.0，即特斯拉Hardware Platform ，電動(dòng)汽車中用于自動(dòng)駕駛功能的計(jì)算和傳感系統(tǒng)。

特斯拉電動(dòng)汽車的魔力，可能并非大膽采用了一系列眼花繚亂的、汽車巨頭不敢嘗試的“新技術(shù)”。一體化壓鑄、線控底盤(pán)、松下動(dòng)力電池、靈感來(lái)自服務(wù)器分級(jí)管理的BMS電池管理系統(tǒng)，這些都可以被其他廠商快速模仿并掉價(jià)，但從2014年的HW 1.0升級(jí)到2024年的HW 4.0，目標(biāo)直指Full Self-Driving，F(xiàn)SD，它可沒(méi)有容易被模仿和追趕了。

2018 年初，特斯拉深陷產(chǎn)能危機(jī)、面臨生死考驗(yàn)時(shí)，馬斯克堅(jiān)持研發(fā) “基于大規(guī)模神經(jīng)網(wǎng)絡(luò)訓(xùn)練的全自動(dòng)駕駛方案”。

凝視深淵的馬斯克，在2019 年4月發(fā)布了 HW 3.0 硬件，兩顆 FSD 第一代自動(dòng)駕駛AI計(jì)算芯片，紙面算力7倍于當(dāng)時(shí)英偉達(dá)車端智駕芯片 Xavier。

車身分布幾個(gè)分辨率并不高的攝像頭，配合在車端本地運(yùn)行、實(shí)時(shí)數(shù)據(jù)處理的智駕芯片，以及不斷上傳到云端服務(wù)器的駕駛數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，當(dāng)特斯拉發(fā)展到 FSD v12的時(shí)候，迎來(lái)了“端到端”的突破：：一端輸入攝像頭等傳感器捕捉的數(shù)據(jù)，另一端輸出復(fù)雜路況環(huán)境下的自動(dòng)駕駛。

端到端的神經(jīng)網(wǎng)絡(luò)，直接從大量真實(shí)的車輛駕駛、轉(zhuǎn)向、加速減速踩踏板、倒車、泊車等操作車輛的數(shù)據(jù)中學(xué)習(xí)，不是窮盡各種可能的駕駛路況編寫(xiě)固定的規(guī)則和決策鏈路，而是在神經(jīng)網(wǎng)絡(luò)的“黑盒”中直接輸出開(kāi)放式環(huán)境下的駕駛動(dòng)作。FSD v12 中，30 萬(wàn)行規(guī)則代碼被減少到2000 多行，不到原來(lái)的 1%，原有的“固定”規(guī)則不復(fù)存在。端到端方案的本質(zhì)不同在于，攝像頭等傳感器獲得的原始信息沒(méi)有經(jīng)過(guò)一環(huán)一環(huán)預(yù)設(shè)的、不同模塊的過(guò)濾和處理，而是直接傳遞到神經(jīng)網(wǎng)絡(luò)，輸出駕駛“決策”。傳感器信息的無(wú)損傳遞，模型從數(shù)據(jù)學(xué)習(xí)到更多的駕駛關(guān)聯(lián)和隱層信息，各種復(fù)雜場(chǎng)景不需要一一編寫(xiě)規(guī)則，從而提升真實(shí)開(kāi)放環(huán)境下的自動(dòng)駕駛能力。

大模型上端，被忽略的東西

電動(dòng)化、電氣化架構(gòu)容易追趕，特斯拉把電動(dòng)汽車另一個(gè)競(jìng)爭(zhēng)層次，智能化中的自動(dòng)駕駛，帶到了一個(gè)新高度。早在2014年就推出的HW1.0，這種遠(yuǎn)見(jiàn)，從今天的視角來(lái)看，非常罕見(jiàn)。

因?yàn)橄掠稳蝿?wù)和需求的變化，傳導(dǎo)到上游廠商，一般存在一個(gè)時(shí)間差。以上游構(gòu)成智駕系統(tǒng)最關(guān)鍵硬件的算力芯片來(lái)說(shuō)，設(shè)計(jì)專門的微架構(gòu)，推出專用芯片，通常情況下，一定是巨大的市場(chǎng)驅(qū)動(dòng)。在產(chǎn)品還沒(méi)有跑出一個(gè)巨大的市場(chǎng)，沒(méi)有需求驗(yàn)證的情況下，敢重構(gòu)一個(gè)體系，并且積累先發(fā)優(yōu)勢(shì)，直到今天特斯拉無(wú)法復(fù)制、難以撼動(dòng)。

特斯拉的發(fā)展故事，對(duì)于今天的大模型上PC端、手機(jī)端，依然有很強(qiáng)的借鑒意義。

今天AIPC、AI Phone的熱潮，大模型融入最高頻消費(fèi)電子終端，本質(zhì)是改變了什么？又需要提前布局，在什么層面進(jìn)行競(jìng)爭(zhēng)？

大模型運(yùn)行在端側(cè)最大的優(yōu)勢(shì)，有的人說(shuō)，是數(shù)據(jù)本地處理，隱私和數(shù)據(jù)安全。但是云端的能力明顯更強(qiáng)、更全面。隱私安全和能力更強(qiáng)怎么取舍，現(xiàn)實(shí)情況，消費(fèi)者更愿意讓渡隱私換取方便。除非那種對(duì)數(shù)據(jù)安全有極高需求的垂直行業(yè)。

不依賴網(wǎng)絡(luò)和云端算力的真正優(yōu)勢(shì)，可能在于多模態(tài)的感知在終端本體實(shí)時(shí)進(jìn)行、實(shí)時(shí)處理，當(dāng)手機(jī)、AR眼鏡、機(jī)器人需要大模型常駐，服務(wù)即時(shí)響應(yīng)，端側(cè)模型的不可替代價(jià)值就顯現(xiàn)出來(lái)。你不可能等著圖片、長(zhǎng)文本、視頻、聲音上傳云端，推理計(jì)算，再返回結(jié)果，有兩次的網(wǎng)絡(luò)傳輸延遲。

在消費(fèi)者日常高頻請(qǐng)求、高頻度推理的時(shí)候，調(diào)用設(shè)備自身的算力，幾乎沒(méi)有成本。在云端每進(jìn)行一次推理，完成一次任務(wù)，它的消耗卻不能忽略，如果云端模型有天量的用戶，也意味著天量的算力儲(chǔ)備、電力消耗、帶寬需求，用戶量和交互請(qǐng)求的增長(zhǎng)，服務(wù)器集群也要跟著擴(kuò)建。

并不是所有的任務(wù)都需要調(diào)用云端的強(qiáng)大能力。壓縮在端側(cè)的小模型，隨著模型能力發(fā)展，應(yīng)該處理絕大多數(shù)高頻任務(wù)和請(qǐng)求，而且On-device LoRA，幾乎等同于只懂你一人、只服務(wù)你一個(gè)人的大模型。

端側(cè)模型的趨勢(shì)不可阻擋。端側(cè)模型always-on的運(yùn)行需求，已經(jīng)開(kāi)始主導(dǎo)硬件的演進(jìn)。來(lái)自行業(yè)一線的基本判斷是，“大模型在端側(cè)的落地，內(nèi)存大小、帶寬的限制超過(guò)了算力限制?！彼懔梢院艽?，但數(shù)據(jù)會(huì)成為瓶頸，芯片一定要和算法做聯(lián)合優(yōu)化。

端側(cè)模型廠商、芯片廠商、終端公司，最近有一個(gè)明顯的趨勢(shì)，它們?cè)诠餐瑑?yōu)化端側(cè)模型在各種終端的運(yùn)行。

之前，以云端大模型見(jiàn)長(zhǎng)、主走B端的智譜，下半年開(kāi)始瞄準(zhǔn)AI Phone、AI PC，在C端的AI 硬件上動(dòng)作頻頻，官宣與中國(guó)三星合作，開(kāi)啟與多家芯片公司的協(xié)作。同屬清華系今年年初開(kāi)始All in 端側(cè)模型的面壁智能，在完成了跟MediaTek最新一代旗艦移動(dòng)SoC天璣9400的端側(cè)模型聯(lián)合調(diào)校之后，再與英特爾協(xié)作，兩家公司進(jìn)行MiniCPM模型在酷睿Ultra 二代旗艦芯片的部署支持、適配優(yōu)化、計(jì)算加速。榮耀、vivo這些終端品牌接連發(fā)布自研端側(cè)模型和跑在上層的應(yīng)用。

端側(cè)模型和底層算力芯片，模型層和算力層的打通意義在于，終端推理的性能優(yōu)化至關(guān)重要，經(jīng)過(guò)優(yōu)化的推理性能，以及芯片微架構(gòu)的改進(jìn)，可以較未經(jīng)優(yōu)化的原始性能提升數(shù)十倍。一個(gè)案例是，面壁MiniCPM在今年9月份這次和英特爾芯片的適配，相比2月份的“首次”，僅隔半年，提速169%。

現(xiàn)代的主流計(jì)算有三種體系，CPU、GPU 和ASIC思想下專門的NPU。從軟件編寫(xiě)的角度看，CPU在通用性支持復(fù)雜指令和邏輯方面最強(qiáng)，高效率編譯的開(kāi)發(fā)工作量最小。GPU在硬件上比CPU更簡(jiǎn)單，數(shù)千個(gè)針對(duì)單一任務(wù)的并行處理單元，線程最多，但是軟件編寫(xiě)更難，CUDA就是英偉達(dá)的長(zhǎng)期耕耘才鑄造的高效率GPU程序開(kāi)發(fā)壁壘。而AI計(jì)算加速，Transformer原生優(yōu)化的微架構(gòu)，它需要非常大的矩陣乘法器，卻是少得多的線程來(lái)做高負(fù)載的數(shù)學(xué)運(yùn)算，它的編譯難度是最大的。

大模型上端，早早著手硬件架構(gòu)的演化，發(fā)展出在內(nèi)存、數(shù)據(jù)處理帶寬、更高編譯效率的芯片架構(gòu)，不僅僅是模型的壓縮和性能更強(qiáng)，算力芯片和模型的聯(lián)合優(yōu)化，誰(shuí)能提前布局、重視、乃至重構(gòu)出一套體系，誰(shuí)的勝算可能更大。

最后還是舉特斯拉智駕的例子。直到今天，發(fā)展端到端智駕系統(tǒng)各家廠商使出了渾身解數(shù)，打造智能汽車這一的關(guān)鍵能力，但是底層的智駕芯片廠商，針對(duì)端到端還沒(méi)有能拿出高算力、高帶寬、適用專用算法的AI計(jì)算架構(gòu)，主要?jiǎng)幼饕廊皇窃趥鹘y(tǒng)架構(gòu)下，優(yōu)化制程工藝、提升AI算力。

如今國(guó)內(nèi)車企主流使用的智駕芯片NVIDIA DRIVE Orin發(fā)布于2019年，地平線的征程5芯片發(fā)布于2021年。專用架構(gòu)的AI芯片相較于通用芯片幾乎是碾壓式領(lǐng)先，若能基于端到端大模型優(yōu)化和設(shè)計(jì)芯片，緊跟算法和模型的變化，必然能夠推動(dòng)端到端技術(shù)的進(jìn)步和領(lǐng)先。

底層芯片廠商遲遲沒(méi)有推出針對(duì)端到端大模型設(shè)計(jì)的芯片，在于端到端大模型真正爆火，還是特斯拉FSD Beta V12.3版本示范的。這種全新思維和體系的智駕系統(tǒng)，端到端大模型仍處于落地早期階段，對(duì)于行業(yè)上游的底層硬件廠商還沒(méi)有起到深刻影響。

等上游芯片終于推出了高效率的端到端智駕芯片，追趕上FSD，這個(gè)時(shí)間差之內(nèi)，特斯拉新的FSD芯片和積累的大量人類駕駛數(shù)據(jù)訓(xùn)練的模型，恐怕又甩出追趕者一大截了。

很難有人能夠長(zhǎng)期保持技術(shù)領(lǐng)先，洼地終究會(huì)被填平。但是提前構(gòu)建一個(gè)體系，發(fā)展生態(tài)的好處在于，你在這個(gè)體系下積累了先發(fā)優(yōu)勢(shì)，過(guò)去智能手機(jī)時(shí)代是App，大模型上端時(shí)代，是專用Transformer的芯片的計(jì)算加速、模型編譯適配、數(shù)據(jù)和應(yīng)用踩動(dòng)的飛輪，時(shí)間積攢了強(qiáng)大市場(chǎng)推力，誰(shuí)能從洪荒中覺(jué)醒，率先創(chuàng)世，誰(shuí)可能成為新一代的巨頭。