隨著人工智能技術(shù)在醫(yī)療領(lǐng)域的廣泛應(yīng)用，如何全面、有效地評(píng)估這些AI大模型的實(shí)際表現(xiàn)成了行業(yè)的一大挑戰(zhàn)。12月10日，北京大學(xué)人民醫(yī)院、螞蟻健康聯(lián)合推出醫(yī)療大語(yǔ)言模型GAPS評(píng)測(cè)框架，用于評(píng)估大模型在?？茖２☆I(lǐng)域的臨床表現(xiàn)，并首先在非小細(xì)胞肺癌（NSCLC）上開(kāi)啟應(yīng)用。本次NSCLC-GAPS評(píng)測(cè)集發(fā)布，在全球范圍內(nèi)首次實(shí)現(xiàn)對(duì)肺癌專病領(lǐng)域AI深度能力的評(píng)測(cè)，標(biāo)志著大模型在嚴(yán)肅臨床場(chǎng)景的驗(yàn)證取得突破進(jìn)展。

GAPS首創(chuàng)肺癌專病大模型評(píng)測(cè)框架，尤其注重安全性

長(zhǎng)期以來(lái)，肺癌是全球死亡率第一的癌癥。然而，由于缺乏針對(duì)專科專病深度評(píng)估的工具，即使是專業(yè)醫(yī)療人員，也難以對(duì)市場(chǎng)上眾多醫(yī)療大模型進(jìn)行客觀、細(xì)粒度的評(píng)價(jià)。在此背景下，螞蟻健康攜手北京大學(xué)人民醫(yī)院，基于前沿的人工智能技術(shù)與豐富的臨床實(shí)踐經(jīng)驗(yàn)，共同提出了全球首個(gè)基于循證醫(yī)學(xué)的專病?？圃u(píng)測(cè)框架GAPS，并在肺癌專病領(lǐng)域首先應(yīng)用，成功填補(bǔ)這一行業(yè)空白，提供了全新的、更加精確的大模型評(píng)估標(biāo)準(zhǔn)。

據(jù)了解，GAPS從四個(gè)關(guān)鍵維度出發(fā)，即認(rèn)知深度（G）、答案完整性（A）、魯棒性（P）和安全性（S），對(duì)大模型在非小細(xì)胞肺癌診療上的表現(xiàn)進(jìn)行全方位評(píng)估。相比傳統(tǒng)評(píng)測(cè)基準(zhǔn)僅關(guān)注事實(shí)記憶，GAPS覆蓋從基礎(chǔ)概念理解到標(biāo)準(zhǔn)化診療方案，再到復(fù)雜診療決策的全鏈條能力，能全面檢驗(yàn)?zāi)Ｐ驮谡鎸?shí)臨床場(chǎng)景中的綜合表現(xiàn)。GAPS尤其注重安全性考量，避免模型給出看似合理但實(shí)際可能帶來(lái)風(fēng)險(xiǎn)的建議，如推薦禁忌藥物或療法。

GAPS評(píng)測(cè)集已開(kāi)源共享，可擴(kuò)展至更多疾病領(lǐng)域

GAPS評(píng)測(cè)集核心包含證據(jù)等級(jí)、臨床推薦強(qiáng)度及推理要點(diǎn)三大要素，系統(tǒng)回答了“依據(jù)什么證據(jù)”“推薦是否可靠”“推理是否嚴(yán)謹(jǐn)”等關(guān)鍵問(wèn)題，有效評(píng)估醫(yī)療大模型在臨床決策中的可靠性與循證一致性。

目前，GAPS評(píng)測(cè)基準(zhǔn)已經(jīng)在GitHub等平臺(tái)開(kāi)源，鼓勵(lì)全球范圍內(nèi)的研究者和技術(shù)開(kāi)發(fā)者進(jìn)行更廣泛的應(yīng)用和探索。通過(guò)這種方式，GAPS不僅能夠快速?gòu)?fù)制并應(yīng)用于其他病種和科室，也為指導(dǎo)AI大模型在臨床中更深度應(yīng)用與融合，提供了有力支持。此外，開(kāi)源模式有助于促進(jìn)跨機(jī)構(gòu)合作和技術(shù)創(chuàng)新，共同提升醫(yī)療服務(wù)的質(zhì)量與效率。

此次螞蟻健康與北京大學(xué)人民醫(yī)院的合作探索，不僅是對(duì)現(xiàn)有醫(yī)療AI評(píng)測(cè)體系的重要補(bǔ)充，也為構(gòu)建更智能化、精準(zhǔn)化的醫(yī)療服務(wù)體系做出積極貢獻(xiàn)。未來(lái)，雙方將繼續(xù)深化合作，致力于將GAPS評(píng)測(cè)集擴(kuò)展至更多疾病領(lǐng)域，助力全球醫(yī)療健康事業(yè)的發(fā)展進(jìn)步。

相關(guān)知識(shí)

全球首次！GAPS評(píng)測(cè)集上線：肺癌專病領(lǐng)域AI診療能力有了科學(xué)評(píng)估框架
AI 在醫(yī)療領(lǐng)域：多維度效果評(píng)估與全方位安全性考量的深度剖析
入選 ICML 2025！哈佛醫(yī)學(xué)院等推出全球首個(gè) HIE 領(lǐng)域臨床思維圖譜模型，神經(jīng)認(rèn)知結(jié)果預(yù)測(cè)任務(wù)上性能提升 15%
健康醫(yī)療數(shù)據(jù)管理能力成熟度評(píng)估（DCMM
醫(yī)療AI輔助診斷與風(fēng)險(xiǎn)評(píng)估.pptx
北京亦莊企業(yè)“AI+醫(yī)療”項(xiàng)目助力健康檢測(cè)和評(píng)估
人工智能賦能肺癌早期精準(zhǔn)診療：基于CT圖像的AI技術(shù)在肺癌診治中的應(yīng)用？如何輔助病理類型分類、指導(dǎo)治療決策？
人工智能與生命科學(xué):AI在醫(yī)療健康十大領(lǐng)域應(yīng)用前景
循證AI賦能基層醫(yī)療，盤(pán)點(diǎn)百度在數(shù)字健康領(lǐng)域的布局大事件
胡安易：智能人體運(yùn)動(dòng)能力評(píng)估系統(tǒng)——醫(yī)療健康領(lǐng)域的新突破

網(wǎng)址: 全球首次！GAPS評(píng)測(cè)集上線：肺癌專病領(lǐng)域AI診療能力有了科學(xué)評(píng)估框架 http://www.u1s5d6.cn/newsview1868091.html