“十四五”期間，國(guó)家出臺(tái)了針對(duì)人工智能的未來發(fā)展相關(guān)指導(dǎo)方案和激勵(lì)政策，涵蓋“新型基礎(chǔ)設(shè)施”建設(shè)、人工智能標(biāo)準(zhǔn)化與法規(guī)以及AI安全體系建設(shè)等。近幾年，智能汽車行業(yè)目前正處于快速發(fā)展階段，預(yù)計(jì)到2025年產(chǎn)業(yè)規(guī)模將突破5000億元。智能座艙、智能駕駛、智能底盤已經(jīng)發(fā)展到了技術(shù)的高速“涌現(xiàn)”期，同時(shí)也是瓶頸期，有望通過整車智能維度打通三域的感知、硬件、軟件、執(zhí)行隔離，實(shí)現(xiàn)全維度融合智能決策，在有限的物理成本下構(gòu)建最大的最大功能收益。

1. 價(jià)值與趨勢(shì)

1.1 大模型是AI重要的技術(shù)發(fā)展方向

AI成為車輛各域智能化功能實(shí)現(xiàn)飛躍的核心動(dòng)力，大模型的引入為AI提供了泛智能的通用工具，顯著提高了智能深度，從用戶感知維度有了質(zhì)的飛躍，實(shí)現(xiàn)了從“偽智能” 到“真智能” 的發(fā)展，達(dá)到了化繁為簡(jiǎn)、無感交互、善解人意的用戶體驗(yàn)，也是實(shí)現(xiàn)產(chǎn)品科技賦能的低成本、高收益突破點(diǎn)。根據(jù)對(duì)各大主流汽車企業(yè)和新勢(shì)力的調(diào)研分析，前瞻領(lǐng)域重點(diǎn)方向包括：

多模感知與功能融合

高自由度的智能控車

高效準(zhǔn)確的類人交互

1.1 大模型已經(jīng)成為人工智能的主流趨勢(shì)

現(xiàn)在，我們進(jìn)入了人工智能時(shí)代，從過去多個(gè)算法、多個(gè)任務(wù)、很多模型，走向相對(duì)統(tǒng)一的大算法、多模態(tài)，自訓(xùn)練、自監(jiān)督和預(yù)訓(xùn)練的大模型，大模型讓汽車對(duì)于人和環(huán)境的理解更加全面和準(zhǔn)確，對(duì)于場(chǎng)景的解析和任務(wù)功能的構(gòu)建更加完整和高效。大模型在全過程的能力和優(yōu)勢(shì)在于：

語義和意圖解析

環(huán)境變量考慮

基于可調(diào)度的功能智能組合

功能過程中基于人的反饋微調(diào)

1. 應(yīng)用策略

1.2 全局感知是整車智能實(shí)現(xiàn)的基礎(chǔ)

大模型的優(yōu)勢(shì)在于多模感知和協(xié)同決策?；谟脩舻淖匀徽Z言轉(zhuǎn)化成prompt輸入，結(jié)合車輛交通環(huán)境、艙內(nèi)環(huán)境、駕乘人員狀態(tài)、車輛動(dòng)態(tài)等多維度，實(shí)現(xiàn)功能自動(dòng)化、程度自適應(yīng)，給出當(dāng)前最優(yōu)功能調(diào)度。全局感知包括了車輛智駕、底盤域的多類傳感器，各種域的傳感器共同協(xié)同大模型判斷當(dāng)前場(chǎng)景的狀態(tài)，應(yīng)該以什么功能或者性能喚起對(duì)應(yīng)的功能，準(zhǔn)確合理的解決用戶的需求。

智駕域：前視攝像頭、側(cè)方攝像頭、環(huán)視攝像頭、后攝像頭、Radar、Lidar；

底盤域：加速度傳感器、速度傳感器、轉(zhuǎn)向角傳感器、IMU、位置傳感器、踏板傳感器

駕艙類：艙內(nèi)外溫度傳感器、空氣質(zhì)量傳感器、DMS、OMS

1.3 大小混合模型解決全場(chǎng)景問題

模型越大對(duì)物理世界的描述就越準(zhǔn)確，所以大模型可以云端部署，通過V2X實(shí)現(xiàn)車端互聯(lián)；小模型車端部署，實(shí)現(xiàn)無網(wǎng)、弱信號(hào)的功能冗余。在技術(shù)維度，小模型可以幫助大模型快速學(xué)習(xí)，大模型的能力可以傳給小模型，從而實(shí)現(xiàn)兩者聯(lián)動(dòng)和互助，協(xié)同進(jìn)化。

1.4 端云融合解決算力協(xié)同問題

大模型對(duì)于算力的消耗較大，對(duì)于一部分算力儲(chǔ)備不足的車輛采用端云結(jié)合的方式能夠有效實(shí)現(xiàn)功能的梯度化與用戶體驗(yàn)的優(yōu)化。單車小模型保證了基礎(chǔ)功能的實(shí)現(xiàn)（基本智能），云端大模型實(shí)現(xiàn)了高維理解和執(zhí)行（高級(jí)智能），在網(wǎng)聯(lián)通訊好的情況下通過端云連接能夠?qū)崿F(xiàn)秘書級(jí)的全局功能交互，同時(shí)保證不消耗車輛算力?；谠贫瞬渴鸬拇竽Ｐ屯ㄟ^知識(shí)蒸餾轉(zhuǎn)化成保留核心功能的小模型，通過OTA的方式更新迭代車輛單車小模型，實(shí)現(xiàn)單車體驗(yàn)的可升級(jí)。

梯度化高效算力分配、降低單車成本

協(xié)同機(jī)制保證基礎(chǔ)體驗(yàn)和高級(jí)體驗(yàn)

多用戶訪問的大模型能迅速獲取知識(shí)實(shí)現(xiàn)微調(diào)

小模型OTA實(shí)現(xiàn)了單車功能的可升級(jí)

2. 交互和智駕的全新體驗(yàn)

2.1 基于多模態(tài)實(shí)現(xiàn)功能交互，面向整車功能的端到端智能

大模型的應(yīng)用使得自然語音交互不僅能更好的拆解用戶意圖，還能準(zhǔn)確實(shí)現(xiàn)功能調(diào)度，提高了用戶對(duì)于車內(nèi)功能使用的可用性與易用性。交互最難的地方有兩點(diǎn)：一是對(duì)用戶場(chǎng)景的感知和理解，二是該主動(dòng)推送和組合什么功能滿足實(shí)時(shí)性需求。大模型對(duì)于這兩點(diǎn)恰恰是強(qiáng)項(xiàng)，通過車內(nèi)外多模感知的信息采集，實(shí)現(xiàn)全維度的場(chǎng)景綜合理解，構(gòu)建基于當(dāng)前狀態(tài)下的最大概率的功能需求預(yù)測(cè)和量化設(shè)置。

過去功能

2.2 智能駕駛逐步開始試探性應(yīng)用，有望解決復(fù)雜場(chǎng)景感知決策

智能駕駛對(duì)于大模型的應(yīng)用相對(duì)謹(jǐn)慎，但是大模型對(duì)于自動(dòng)駕駛的潛力巨大。對(duì)于城市交互、戶外環(huán)境的復(fù)雜感知環(huán)境的理解和判斷有助于大大提示智駕系統(tǒng)的認(rèn)知能力和綜合決策能力，優(yōu)化長(zhǎng)尾。

（1）更好的環(huán)境理解：大模型能夠準(zhǔn)確識(shí)別車輛周圍的物體，如車輛、行人、道路標(biāo)志等，并自動(dòng)生成語義信息，幫助自動(dòng)駕駛系統(tǒng)更好地理解復(fù)雜的城市交通環(huán)境。尤其是復(fù)雜的城市道路場(chǎng)景中，傳統(tǒng)的CNN、LSTM等算法無法非常好的理解交通參與體的意圖和行為，大模型的可以通過全場(chǎng)景要素綜合理解場(chǎng)景，基于經(jīng)驗(yàn)庫，提高預(yù)測(cè)的可能性和準(zhǔn)確性。

（2）長(zhǎng)尾場(chǎng)景和進(jìn)化：基于人工代碼的規(guī)控模塊，無法考慮到駕駛場(chǎng)景中所有的corner case，且難以做到車輛動(dòng)作的“擬人”決策和駕駛。對(duì)于城市中的復(fù)雜場(chǎng)景，和層出不窮的新場(chǎng)景，其應(yīng)對(duì)能力是一個(gè)很大的考驗(yàn)，需要工程師不停的去優(yōu)化、迭代算法。尤其是遇到未學(xué)習(xí)過的場(chǎng)景，系統(tǒng)會(huì)表現(xiàn)得不夠智能或無法應(yīng)對(duì)，從而出現(xiàn)不好的處理策略。對(duì)于預(yù)測(cè)方面，環(huán)境交通參與體的行為具有很高的隨機(jī)性和無邏輯性，在概率估計(jì)和配置中，難以用現(xiàn)有的算法模型實(shí)現(xiàn)準(zhǔn)確的預(yù)測(cè)，所以需要極為靈活的實(shí)時(shí)應(yīng)對(duì)策略，這對(duì)于專家模型來說代碼量理論上是極大的。比如典型的“cut in”加塞場(chǎng)景，傳統(tǒng)智駕需要對(duì)車道預(yù)插入車輛的橫擺角進(jìn)行實(shí)時(shí)檢測(cè)，結(jié)合其位置和速度預(yù)測(cè)其加塞行為，指標(biāo)單一，而且是純表象直推策略。端到端是通過對(duì)場(chǎng)景的理解進(jìn)行判斷，比如環(huán)境車輛動(dòng)態(tài)、車道線、交通燈、轉(zhuǎn)向燈燈，通過多維度的元素，甚至是人類沒有意識(shí)到的要素進(jìn)行綜合分析，判斷意圖，所以其理解的天花板更高。

2.3 整車智能維度將拔高多個(gè)功能的智能化水平

（1）駕駛安全性：通過大模型分析駕駛行為和行駛環(huán)境，可以實(shí)時(shí)預(yù)警潛在的安全風(fēng)險(xiǎn)，如疲勞駕駛、車道偏離等。同時(shí)，大模型還能對(duì)車輛狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控和預(yù)測(cè)性維護(hù)，提前發(fā)現(xiàn)潛在故障，確保行車安全。對(duì)于人-車-云多模駕駛能夠強(qiáng)化安全性，實(shí)現(xiàn)不同主體駕駛能力的多方位感知、評(píng)估和預(yù)測(cè)，實(shí)現(xiàn)全工況安全駕駛。

（2）網(wǎng)聯(lián)與通訊：大模型還能助力車聯(lián)網(wǎng)服務(wù)的發(fā)展，通過實(shí)時(shí)數(shù)據(jù)處理和分析，提供實(shí)時(shí)交通信息、最優(yōu)路線規(guī)劃等服務(wù)。這方面也促進(jìn)了V2X的方案落地，對(duì)于端云融合的實(shí)時(shí)安全性，超視距信息的可靠性等都有較大的提高。此外，大模型可以幫助車輛更好地與其他設(shè)備和服務(wù)連接，實(shí)現(xiàn)智能家居控制、遠(yuǎn)程車輛監(jiān)控等功能，實(shí)現(xiàn)生態(tài)智能。

（3）個(gè)性化與定制化：車載信息娛樂系統(tǒng)將更加智能化。系統(tǒng)不僅能提供傳統(tǒng)的音樂、視頻播放功能，還能根據(jù)用戶的興趣和歷史行為推薦個(gè)性化內(nèi)容，甚至能與用戶進(jìn)行深入的對(duì)話和互動(dòng)，極大地豐富了車內(nèi)娛樂體驗(yàn)。

（4）客戶服務(wù)領(lǐng)域：如通過智能客服機(jī)器人提供在線咨詢服務(wù)，解答用戶的各種疑問，提高服務(wù)效率和用戶滿意度。包括：車輛功能介紹與使用、車輛故障咨詢、車輛功能障礙提示分析與維修推薦、緊急救援。

（5）能源管理的優(yōu)化：對(duì)于電動(dòng)車而言，大模型可以通過分析駕駛模式和能耗數(shù)據(jù)，優(yōu)化能源使用效率，提供更加精準(zhǔn)的續(xù)航預(yù)測(cè)和充電建議，幫助用戶更好地管理車輛能源，比如考慮溫度、天氣、行駛道路的海報(bào)等因素，使能耗預(yù)估根據(jù)準(zhǔn)確可靠。另一方面，也可以更加合理的規(guī)劃行程中的充電。

4. 優(yōu)劣勢(shì)分析

4.1 系統(tǒng)設(shè)計(jì)難度低，硬件成本有望降低

從算法架構(gòu)設(shè)計(jì)的角度，其具有高度的整合度和一體化，省去了多個(gè)模塊的獨(dú)立架構(gòu)設(shè)計(jì)和算法開發(fā)，降低代碼量和運(yùn)行所調(diào)度的模塊數(shù)量。另一方面，由于模型直接從原始數(shù)據(jù)中學(xué)習(xí)，而不需要依賴于人工設(shè)計(jì)的特征或規(guī)則，所以刪去了枯燥的標(biāo)注工作。最重要的還有一點(diǎn)就是省去了后期無窮盡的規(guī)則補(bǔ)充和場(chǎng)景補(bǔ)充，減少了人工維護(hù)和升級(jí)的成本。

4.2 有望實(shí)現(xiàn)真正意義上的類人交互

傳統(tǒng)的交互基本是采用專家模型+人工代碼實(shí)現(xiàn)的基礎(chǔ)智能體驗(yàn)，面向真正靈活的“智能體”或者“秘書級(jí)”的交互體驗(yàn)，目前大模型是最好的技術(shù)策略。由于其對(duì)語義和場(chǎng)景的理解要遠(yuǎn)好于當(dāng)前的傳統(tǒng)AI交互功能，所以對(duì)于座艙的體驗(yàn)和面向下一代人車關(guān)系至關(guān)重要，在足夠大數(shù)據(jù)量后有望能成為秘書級(jí)別的交互能力，包括：

基于艙內(nèi)外環(huán)境和人員的多模態(tài)感知；

場(chǎng)景復(fù)雜工況的綜合理解和預(yù)測(cè)；

多變量因素綜合分析下的最佳決策。

4.2 功能達(dá)到高度智能化需要較大的訓(xùn)練資源

缺點(diǎn)也是顯而易見的，端到端架構(gòu)將所有模塊串在一起統(tǒng)一訓(xùn)練，更利于追求“全局最優(yōu)解”，但數(shù)據(jù)的針對(duì)性更弱、模型訓(xùn)練的信號(hào)更弱，意味著提升性能所需的數(shù)據(jù)量和算力規(guī)模更大。從下邊圖可以看到，端到端的優(yōu)勢(shì)在數(shù)據(jù)量達(dá)到一定程度后性能顯著提高，但是缺點(diǎn)是數(shù)據(jù)量較小時(shí)候性能上升緩慢，遠(yuǎn)低于解耦的傳統(tǒng)基于專家模型的策略。

圖片來源：2023年CVPR

5. 總結(jié)

綜上所述，大模型在汽車的應(yīng)用具有跨時(shí)代的意義，也是通過海量數(shù)據(jù)的訓(xùn)練使得功能形成了真正意義上具有綜合分析能力的智能體。無論是智能駕駛還是智能交互，其都能通過擅長(zhǎng)的多模態(tài)感知、綜合分析、科學(xué)決策實(shí)現(xiàn)接近人腦思考方式的功能執(zhí)行鏈，滿足多變的場(chǎng)景的無數(shù)的需求。

相關(guān)知識(shí)

《大健康數(shù)據(jù)智能分析關(guān)鍵方法研究》
人工智能大模型在醫(yī)療健康領(lǐng)域的深度應(yīng)用
大數(shù)據(jù)分析在疾病與健康研究方面的應(yīng)用
覆蓋10大醫(yī)療應(yīng)用場(chǎng)景！國(guó)產(chǎn)AI大模型應(yīng)用典型案例盤點(diǎn)
2023醫(yī)療健康A(chǔ)I大模型行業(yè)研究報(bào)告
大模型實(shí)戰(zhàn)深度剖析用戶反饋
基于大數(shù)據(jù)老年多重慢性病風(fēng)險(xiǎn)預(yù)測(cè)模型構(gòu)建探究
智能問診大模型的構(gòu)筑：編織健康智慧的經(jīng)緯
基于情緒智力新員工培訓(xùn)系統(tǒng)模型初探.doc
汽車黑科技研究：車載健康的五個(gè)發(fā)展階段

網(wǎng)址: 整車智能大模型應(yīng)用研究探析 http://www.u1s5d6.cn/newsview561922.html