特斯聯(lián)智能體系統(tǒng)HALI賦能BUTTONS CLIP耳機，三項核心技術(shù)打造空間智能交互入口

發(fā)布時間：2025-05-12 17:14 來源：GPLP 作者：GPLP

作者：夏天

特斯聯(lián)打造全新智能體系統(tǒng)——HALI，開創(chuàng)性地引入端到端強化學(xué)習(xí)技術(shù)與高質(zhì)量行業(yè)數(shù)據(jù)相結(jié)合，首次實現(xiàn)去人為編排與定義的工具調(diào)用、子任務(wù)分解，及多智能體協(xié)同，極大提升智能體的自主性、靈活性及泛化能力。

2024年底，特斯聯(lián)曾在Web Summit Lisbon分享了通用智能體所需具備的四重能力——“類人”思考，長期記憶，“團隊”協(xié)作，及高維感知能力。HALI的設(shè)計亦延循此思路。

特斯聯(lián)創(chuàng)始人兼CEO艾渝在里斯本W(wǎng)eb Summit現(xiàn)場發(fā)布智能體Hali

類人思考——攻克智能體的“人為編排”困境

當(dāng)前市場中多數(shù)的智能體產(chǎn)品主要采用傳統(tǒng)工作流（workflow）方法——將復(fù)雜任務(wù)拆分成多個子任務(wù)，每個子任務(wù)分別處理后再匯總成結(jié)果。這類方法需要在系統(tǒng)層面人為提前編排和定義，雖然在一定程度上能取得不錯的效果，但限制了模型的自主性和靈活性，難以有效擴展到更多、更復(fù)雜任務(wù)上，泛化能力和適用性不足。

在此背景下，特斯聯(lián)提出采用端到端強化學(xué)習(xí)（Reinforcement Learning）方法，使用高質(zhì)量數(shù)據(jù)微調(diào)訓(xùn)練出HALI智能體系統(tǒng)，通過獎勵函數(shù)（reward function）而非依賴人工，引導(dǎo)模型在與工具/設(shè)備/環(huán)境的交互中不斷優(yōu)化策略。基于該方法，智能體能夠直接依據(jù)用戶的輸入進行推理、規(guī)劃、執(zhí)行任務(wù)，無需外部人工編排系統(tǒng)、定義流程的執(zhí)行邏輯，將整個任務(wù)交給一個模型來完成；智能體模型在內(nèi)部自行決定外部工具的調(diào)用、子任務(wù)的分解、自我校驗等。

這種方法使智能體系統(tǒng)既獲得了良好的簡潔性，又增強了系統(tǒng)的魯棒性、泛化能力和準(zhǔn)確性。目前大家看到的智能體產(chǎn)品更多聚焦于產(chǎn)品工程能力上的提升，事實上，模型本身仍有極大的提升空間。引入端到端強化學(xué)是特斯聯(lián)針對提升智能體底層模型能力做出的初步嘗試，也是推動機器向類人思考邁出的第一步。

長期記憶——緩解長期記憶帶來的成本及效率壓力

長期記憶是智能體的核心能力之一，智能體產(chǎn)品對實時性和低延遲也有更高要求。為此，特斯聯(lián)采用基于知識圖譜的數(shù)據(jù)壓縮存儲和檢索技術(shù)，使模型能夠既保持超長的記憶，又能快速從歷史數(shù)據(jù)中恢復(fù)記憶。

傳統(tǒng)的長期記憶主要依靠：1）保存用戶的歷史對話數(shù)據(jù)，2）在歷史數(shù)據(jù)中檢索出相關(guān)信息進行綜合處理來實現(xiàn)。這種方法隨時間推移面臨著諸多問題。一方面，伴隨用戶數(shù)據(jù)量的增加，存儲成本直線上升，后續(xù)檢索的上下文長度攀升，導(dǎo)致推理效率下降；另一方面，數(shù)據(jù)量的增加也關(guān)系到檢索結(jié)果的準(zhǔn)確性和實時性，最終影響系統(tǒng)的運行成本及用戶體驗。

HALI引入的高效數(shù)據(jù)壓縮方法，則可從用戶的對話數(shù)據(jù)中提取關(guān)鍵有效信息，過濾掉其中不重要的部分，從而提高存儲數(shù)據(jù)的信息密度，減少數(shù)據(jù)的存儲量。在此基礎(chǔ)之上，HALI通過構(gòu)建用戶的知識圖譜，在檢索階段提高系統(tǒng)對用戶意圖的理解和檢索結(jié)果的準(zhǔn)確性。這種方法得以有效地降低數(shù)據(jù)存儲量，提高檢索結(jié)果的準(zhǔn)確性和速度，降低系統(tǒng)的時延和計算成本，使具備超長記憶能力的陪伴式智能體成為可能。

多智能體協(xié)同——應(yīng)對多智能體協(xié)同的時延挑戰(zhàn)

能夠準(zhǔn)確、實時地調(diào)用不同工具與模型完成用戶需求，是影響智能體產(chǎn)品體驗的另一重要因素，也是多智能體系統(tǒng)實現(xiàn)高效協(xié)同的關(guān)鍵所在。針對這一目標(biāo)，特斯聯(lián)采用并行多模型執(zhí)行技術(shù)，使用微調(diào)的移動端小模型和服務(wù)器端大模型混合方案，同時保證用戶控制指令響應(yīng)的低延遲及控制指令的準(zhǔn)確性。

該方案使用積累的用戶數(shù)據(jù)微調(diào)訓(xùn)練用戶控制指令理解小模型——小模型可以部署在移動設(shè)備端，在端側(cè)對用戶的簡單指令進行直接識別處理，規(guī)避網(wǎng)絡(luò)回傳至服務(wù)器導(dǎo)致的延遲，提高系統(tǒng)響應(yīng)的實時性。同時，對于用戶的復(fù)雜指令，該方案通過部署在服務(wù)器端的高性能大模型來同步理解和執(zhí)行，以確保對復(fù)雜指令的準(zhǔn)確處理。

近年來，伴隨大語言模型能力的不斷突破，作為其能力的延展與補充，智能體正在通過多模態(tài)工具整合、復(fù)雜決策閉環(huán)、動態(tài)環(huán)境交互，彌補大模型在空間智能中的局限性，推動其從“知識提供者”向“自主行動者”角色的進化。在特斯聯(lián)看來，智能體產(chǎn)品體驗的進階有賴于底層模型能力及工程能力的“雙輪驅(qū)動”，這也是特斯聯(lián)推進智能體系列產(chǎn)品研發(fā)的核心策略。盡管當(dāng)前版本HALI對物理世界的高維感知能力尚且有限，但隨著研發(fā)的持續(xù)推進，HALI將打通更多感知終端，及垂域場景，沉淀更高質(zhì)量、更多維度的數(shù)據(jù)，使其有能力理解物理世界更豐富的意涵。