5.17世界電信日之際，高通公司分享終端側AI如何賦能千行百業(yè)發(fā)展新機遇
在國際電信聯(lián)盟成立160周年之際，中國通信學會主辦的“2025世界電信與信息社會日系列活動”于5月16日-17日期間在江西南昌召開。今日，以“AI大模型賦能千行百業(yè)”為主題的系列活動之一，“AI與行業(yè)大模型應用專題研討”召開。此次專題研討聚焦“運營商AI與行業(yè)大模型布局”和“行業(yè)大模型實踐與應用”兩大板塊，匯聚政府機構、科研院所及行業(yè)領軍企業(yè)，共同解讀了全球AI趨勢與治理方向，探討了AI大模型的技術前沿與行業(yè)實踐。
高通技術公司產(chǎn)品管理副總裁姜波在“AI與行業(yè)大模型應用專題研討”上發(fā)表了主題演講。他闡述了高通公司作為終端側AI領導者，如何以行業(yè)領先的終端側AI軟硬件技術、廣泛的邊緣業(yè)務布局和積極開放的生態(tài)合作，把握AI向推理時代邁進的重要行業(yè)變革機遇，推動AI應用在邊緣及終端側繁榮發(fā)展，加速AI技術與產(chǎn)業(yè)深度融合，賦能千行百業(yè)利用AI技術找到新的行業(yè)發(fā)展突破口，加速產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型，為產(chǎn)業(yè)發(fā)展帶來全新動能。
以下是演講內(nèi)容全文：
各位嘉賓大家下午好！我是高通公司姜波。非常榮幸能夠在國際電信聯(lián)盟成立160周年之際，與大家相聚在南昌，共同探討終端側AI推理創(chuàng)新如何推動智能產(chǎn)業(yè)迎來全新發(fā)展機遇，并加速各行業(yè)對AI的規(guī)?；杉坝脩趔w驗的重塑。
今年年初，DeepSeek的推出引發(fā)了對AI模型訓練方式的顛覆變革和重新評估，驗證了AI即將從大規(guī)模訓練向大規(guī)模推理轉(zhuǎn)變的趨勢，這將形成全新的終端側推理計算的創(chuàng)新和升級周期。雖然模型訓練仍將在云端進行，但模型推理將向終端側轉(zhuǎn)移。
AI模型訓練成本的降低與開源合作相結合，使得更多開發(fā)者和組織能夠開發(fā)高質(zhì)量模型，并且小模型正逐漸接近前沿大模型的質(zhì)量。盡管有人認為模型規(guī)?？s小會導致質(zhì)量下降，但實際上，2024年來推出的眾多先進的AI小模型已經(jīng)具有卓越性能，能夠達到甚至超越一年前推出的僅能在云端運行的更大模型。許多主流模型系列，如DeepSeek R1、Meta Llama、IBM Granite和Mistral Ministral，均已推出小模型版本，并在特定任務的性能和基準測試中表現(xiàn)出色。
蒸餾技術是開發(fā)高效小模型的關鍵，它能夠在保持準確性的同時實現(xiàn)知識的轉(zhuǎn)移。這一技術的應用推動了小型基礎模型的激增，其中包括許多針對特定任務優(yōu)化的模型。以DeepSeek為例，在其發(fā)布的一周內(nèi)，就出現(xiàn)了多種新的蒸餾模型，如通義千問和Llama蒸餾模型。經(jīng)過蒸餾的Llama模型性能顯著提升，而DeepSeek的Qwen-7B蒸餾模型的性能已與去年最先進的GPT-4云端模型相當。
根據(jù)Epoch AI的數(shù)據(jù)，2024年發(fā)布的大規(guī)模AI模型中，超過75%的模型參數(shù)在千億規(guī)模以下。量化、壓縮和剪枝等技術有助于縮小模型規(guī)模，量化能降低功耗并在不明顯影響準確性的情況下加速運算，剪枝則消除不必要的參數(shù)。將大型基礎模型縮減為更小、更高效的版本，不僅能實現(xiàn)更快的推理速度、更少的內(nèi)存占用和更低的功耗，同時可以保持較高的性能水平，從而使此類模型適合在智能手機、PC和汽車等終端上部署。
得益于高質(zhì)量小模型數(shù)量的持續(xù)增加，如今，邊緣及終端側AI開發(fā)者在開發(fā)應用和AI智能體方面有著非常多樣化的模型選擇。從全球范圍來看，我們既有Llama、Mistral、Phi這樣的開源模型，還有百川、Gemini Nano、通義千問等閉源模型，這當中有一些模型也正在不斷擁抱開源社區(qū)。此外，不同地區(qū)也在積極發(fā)展各自的AI模型，推出了各具特色的新型模型。與此同時，傳統(tǒng)的計算機視覺和物體檢測等領域所使用的模型，在特定應用場景下依然發(fā)揮著不可替代的作用。
隨著當前模型的發(fā)展，我們觀察到不同設備，包括手機、汽車、PC、XR和工業(yè)物聯(lián)網(wǎng)設備等，在支持的模型參數(shù)規(guī)模方面展現(xiàn)出不同的能力。結合AI模型自身質(zhì)量的不斷提升，終端側AI將具備更豐富的功能，如支持更長的上下文、提供個性化體驗、實現(xiàn)多模態(tài)交互和處理并發(fā)模型等，這些都將極大地推動終端側AI應用的創(chuàng)新與繁榮。
根據(jù)預測，2025年中國新一代AI手機市場出貨量將達到1.18億臺，占整個市場的40.7%。[1]同時， 2025年中國AI PC市場出貨占比預計將從2024年的13%大幅上升至37%。[2]
作為終端側AI的領導者，高通在人工智能領域有著超過15年的投入，擁有行業(yè)領先硬件和軟件解決方案覆蓋廣泛終端，并且擁有跨NPU、CPU和GPU的卓越異構計算能力、領先的軟件優(yōu)化、以及能效。此外，我們還在全球范圍內(nèi)擁有領先的終端側布局和高達數(shù)十億的用戶設備數(shù)量，覆蓋智能手機、PC、汽車、XR、邊緣網(wǎng)絡設備等等。同時，我們也與眾多生態(tài)合作伙伴共同推動AI技術的創(chuàng)新和應用。
2024年，高通與騰訊混元合作，基于驍龍8至尊版移動平臺，共同推動騰訊混元大模型7B和3B版本的終端側部署。這有助于騰訊混元大模型為廣泛的業(yè)務場景提供技術支持，通過利用終端側AI加速產(chǎn)品創(chuàng)新，并有效降低運營成本。
在硬件方面，高通長期致力于開發(fā)定制CPU、NPU、GPU和低功耗子系統(tǒng)，同時擁有封裝技術和熱設計的技術專長，這構成了我們行業(yè)領先的系統(tǒng)級芯片（SoC）產(chǎn)品的基礎。通過異構計算系統(tǒng)，高通幫助開發(fā)者通過上層軟件調(diào)用硬件核心組件進行AI加速，包括CPU、GPU、NPU和高通傳感器中樞。其中，Oryon CPU面向即時性要求高的任務，Adreno GPU擅長圖像和視頻處理，Hexagon NPU適用于持續(xù)和泛在型任務，如計算攝影和大模型應用。而高通傳感器中樞則針對那些對功耗敏感且需要始終保持在線的應用場景。
在軟件工具支持方面，我們推出了高通AI軟件棧，可以讓模型在終端上完成端到端的部署和優(yōu)化工作。高通AI軟件棧支持所有開發(fā)者常用的AI框架、runtime、開發(fā)工具和操作系統(tǒng)。例如，我們支持ONNX、TensorFlow、PyTorch等主流AI框架，以及ONNX Runtime、Direct ML和TFLite等常用runtime，我們也給開發(fā)者提供了高通自己開發(fā)的runtime——高通AI引擎Direct，以供開發(fā)者調(diào)用前面介紹的各種硬件模塊，對AI用例進行加速。此外，為了更好地支持開發(fā)者，我們?nèi)ツ晖瞥隽烁咄ˋI Hub，它能夠幫助開發(fā)者選擇相應平臺和開發(fā)模型、編寫應用，最后在不同類型的移動終端上進行部署。
除了高通AI軟件棧和AI Hub，我們還推出了高通智能體AI規(guī)劃器。高通智能體AI規(guī)劃器作為高通AI軟件棧的重要組成部分，位于應用和AI框架及runtime之間，為終端側所有的AI功能提供所需的協(xié)調(diào)規(guī)劃，是賦能下一代智能體AI體驗的關鍵所在。
簡而言之，這是一個用于意圖理解、意圖分發(fā)和域服務調(diào)動的端到端解決方案，涵蓋了從最初的自然語言理解階段，包括自動語音識別（ASR）和文本到語音轉(zhuǎn)換（TTS）模塊，到通過端側智能體進行的意圖理解和任務編排過程。在任務編排階段，規(guī)劃器能夠調(diào)用端側的各種工具，并利用端側的個性化知識圖譜和本地數(shù)據(jù)，從而讓任務規(guī)劃更為精確和高效。此外，在完成任務規(guī)劃之后，規(guī)劃器還支持多種后續(xù)的域服務，如音樂播放、天氣查詢、導航和訂餐等功能。
隨著AI在終端側無處不在地運行，以應用為中心的體驗正在改變。通過自然語言、圖像、視頻與手勢的交互方式，AI智能體能夠簡化技術使用方法，預測用戶需求，并在終端和應用內(nèi)主動執(zhí)行復雜的工作流程、進行決策和管理任務。也就是說，AI正在成為新的UI（用戶界面），用戶將不再需要打開特定的應用程序， AI智能體將作為新的交互方式服務于用戶的所有計算終端。這不僅將改變單個應用，還將影響零售、餐飲等行業(yè)的客戶體驗邏輯，成為變革商業(yè)版圖的新生力量。
今年，高通公司迎來成立40周年、深耕中國市場30年的重要里程碑。過去30年來，高通一直與中國的移動生態(tài)系統(tǒng)企業(yè)保持緊密合作。目前，我們正在攜手更廣泛的合作伙伴，充分利用端側AI在性能、效率、響應速度和隱私保護方面的優(yōu)勢，共同把握產(chǎn)業(yè)發(fā)展機遇。
在智能手機方面，包括小米、榮耀、OPPO、vivo在內(nèi)的廠商均已發(fā)布了搭載驍龍8至尊版移動平臺的旗艦手機產(chǎn)品，支持豐富的生成式AI用例。在PC方面，預計到2026年將有超過100款搭載驍龍X系列計算平臺的PC發(fā)布或正在開發(fā)中，覆蓋華碩、宏碁、戴爾、HP、聯(lián)想和榮耀等領先廠商。同時，我們持續(xù)與騰訊會議、有道、愛奇藝、字節(jié)跳動等ISV合作伙伴協(xié)作，為開發(fā)者提供工具和支持，把握AI PC的行業(yè)發(fā)展新機遇。在汽車領域，高通過去在多個場合展示了基于驍龍數(shù)字底盤解決方案運行的汽車端大模型和生成式AI用例。如今，理想、小鵬等中國車廠已基于高通第四代驍龍座艙平臺發(fā)布了其車端的大模型功能。
站在新的起點上，高通將持續(xù)加強在可擴展硬件和軟件方面的投入，并通過與模型廠商的緊密合作，賦能開發(fā)者在終端側加速采用AI智能體和應用，讓AI應用更加觸手可及，推動AI技術在千行百業(yè)的應用。
[1] IDC：2025年中國智能手機市場十大洞察
[2] Canalys：預計大中華區(qū)AI PC滲透率2024年達13%，2025年達37%
關注我們
