隨著技術(shù)的快速進(jìn)步，人工智能（AI）在醫(yī)療領(lǐng)域的應(yīng)用越來越廣泛，它不僅有助于提高診療效率，還能幫助提升醫(yī)療服務(wù)質(zhì)量。RAG檢索增強(qiáng)系統(tǒng)（Retrieval-Augmented Generation），作為一種先進(jìn)的AI外部模型，其結(jié)合了信息檢索和文本生成的能力，為勻醫(yī)療服務(wù)場景中準(zhǔn)確的數(shù)據(jù)處理和及時(shí)的知識更新提供了全新的解決方案。

本次分享三個(gè)方面內(nèi)容：
1. Transformer模型的核心原理和優(yōu)勢

2. "涌現(xiàn)"和"幻覺"現(xiàn)象分析

3. Embedding技術(shù)和其在RAG中的應(yīng)用

1. Transformer模型的核心原理和優(yōu)勢

Transformer模型自2017年由Vaswani等人提出以來，已經(jīng)在自然語言處理（NLP）領(lǐng)域引起了革命性的變化。區(qū)別于以往的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和長短期記憶網(wǎng)絡(luò)（LSTM），Transformer完全基于自注意力機(jī)制（Self-Attention Mechanism），能夠捕捉輸入序列之間的全局依賴關(guān)系，且不受序列距離的影響，顯著提高了處理長距離依賴問題的能力。在自注意力機(jī)制中，模型計(jì)算每一個(gè)輸入序列的元素對所有其他元素的注意力分?jǐn)?shù)，通過這種權(quán)重分配，模型不僅能夠關(guān)注到序列中局部的重要信息，也可以捕捉全局的語義信息。

Transformer模型的另一個(gè)顯著優(yōu)點(diǎn)是并行計(jì)算的能力。與RNN系列模型相比，Transformer模型在訓(xùn)練過程中，不需要像RNN那樣按時(shí)間順序逐步運(yùn)算，而是能夠在一次計(jì)算中處理整個(gè)序列，從而在大規(guī)模數(shù)據(jù)集上顯著提高了訓(xùn)練速度。

此外，Transformer模型引入的多頭注意力機(jī)制（Multi-Head Attention）進(jìn)一步增強(qiáng)了模型的表示能力。通過將注意力分配到不同的表示子空間，多頭注意力能夠讓模型在同一時(shí)間內(nèi)從多個(gè)角度分析輸入的信息，這使得Transformer在處理復(fù)雜的NLP任務(wù)時(shí)表現(xiàn)出更好的性能。

Transformer模型的這些優(yōu)勢為后續(xù)的模型演進(jìn)提供了堅(jiān)實(shí)基礎(chǔ)。BERT、GPT及其后續(xù)版本正是基于Transformer的架構(gòu)，它們在一系列NLP任務(wù)上創(chuàng)造出了新的性能記錄，改寫了NLP領(lǐng)域的研究和應(yīng)用景觀。

通過深入探討Transformer模型的核心原理和技術(shù)優(yōu)勢，我們能夠理解其在NLP領(lǐng)域成功的原因，并為進(jìn)一步的研究提供了理論基礎(chǔ)。在接下來的部分，我們將分析大語言模型在實(shí)際應(yīng)用中的某些局限，即“涌現(xiàn)”和“幻覺”現(xiàn)象，以及對相關(guān)技術(shù)的持續(xù)改進(jìn)，特別是在RAG模型中Embedding技術(shù)的應(yīng)用以提升問題回答的精確性。

2. "涌現(xiàn)"和"幻覺"現(xiàn)象分析

接下來我們聚焦于大型預(yù)訓(xùn)練語言模型在使用過程中所面臨的兩類典型問題：“涌現(xiàn)”現(xiàn)象和“幻覺”現(xiàn)象。

“涌現(xiàn)”現(xiàn)象通常指的是，在對新的或未見過的任務(wù)進(jìn)行處理時(shí)，模型表現(xiàn)出意料之外的行為或能力。這一現(xiàn)象多半在數(shù)據(jù)量巨大、模型規(guī)模龐大的語言模型中出現(xiàn)。這種能力的“涌現(xiàn)”可能源于深層網(wǎng)絡(luò)學(xué)到的高度抽象和復(fù)雜的表示能力，它揭示了模型在大規(guī)模數(shù)據(jù)上學(xué)習(xí)到的潛在知識結(jié)構(gòu)；但同時(shí)，這種復(fù)雜性也可能引起模型在處理某些問題時(shí)出現(xiàn)不可預(yù)知的結(jié)果，特別是在其訓(xùn)練數(shù)據(jù)中未充分覆蓋到的領(lǐng)域。

“幻覺”現(xiàn)象則指的是模型在生成文本時(shí)，基于錯(cuò)誤的上下文信息或者無準(zhǔn)確依據(jù)的情況下，創(chuàng)造出虛假信息或答案。模型的“幻覺”往往是由于其訓(xùn)練數(shù)據(jù)的局限性，導(dǎo)致模型無法正確把握事實(shí)與虛構(gòu)之間的界限。例如，在進(jìn)行事實(shí)核查時(shí)，它可能會生成似是而非的信息，使得用戶在無法辨認(rèn)信息真?zhèn)螘r(shí)陷入誤解。

此外，“幻覺”現(xiàn)象還可能與模型的過度自信有關(guān)，即有時(shí)即便模型對于某一問題不夠確定，它仍然會生成一個(gè)表達(dá)上聽起來非常確信的回答。對于涉及準(zhǔn)確性要求極高的應(yīng)用場合，如醫(yī)療、法律等領(lǐng)域，這種現(xiàn)象尤其不可忽視。

針對上述問題，深入研究和改進(jìn)語言模型的訓(xùn)練過程，增強(qiáng)模型對事實(shí)的敏感度和魯棒性尤為重要。其中一種有效方法是引入結(jié)構(gòu)化知識的引導(dǎo)，或者通過外部知識庫的檢索來增強(qiáng)模型的判斷力。這種方法在RAG模型中得到了有效地應(yīng)用，接下來我們將詳細(xì)探討Embedding技術(shù)在RAG模型中的重要作用以及它是如何應(yīng)用來增強(qiáng)搜索技術(shù)，從而提高特定應(yīng)用場景下問題回答的準(zhǔn)確性。

3. Embedding技術(shù)和其在RAG中的應(yīng)用

Embedding技術(shù)是在自然語言處理（NLP）中將詞匯映射到高維空間向量的常見方法，其核心目的是將自然語言中的離散文本單元（如詞匯或短語）轉(zhuǎn)換成連續(xù)的、密集的實(shí)數(shù)值向量。這一技術(shù)使計(jì)算機(jī)能夠以數(shù)理統(tǒng)計(jì)的方法捕捉并處理單詞之間的復(fù)雜語義關(guān)系和語法模式。諸如Word2Vec、GloVe及BERT內(nèi)置的位置編碼等，都是Embedding技術(shù)流行的實(shí)踐形式。

在現(xiàn)代復(fù)雜的NLP任務(wù)中，詞嵌入技術(shù)有助于提升語言模型對詞義多樣性和上下文敏感度的處理能力。然而，即使在經(jīng)過了精心設(shè)計(jì)的Embedding層之后，純粹的生成式語言模型依然可能在實(shí)際生成響應(yīng)時(shí)偏離事實(shí)或出現(xiàn)一定程度的“幻覺”。

Retrieval-Augmented Generation（RAG）模型的提出，在一定程度上解決了上述問題。RAG模型是一種將檢索機(jī)制與生成模型結(jié)合的框架：在生成回答之前，它會首先檢索一個(gè)外部知識庫。這一過程依賴于Embedding技術(shù)，以便對知識庫中的內(nèi)容進(jìn)行高效的語義檢索；模型通過比較輸入問題和知識庫中文檔的向量表示，來確定最相關(guān)的內(nèi)容。

一旦確定了相關(guān)的文檔，RAG將這些檢索到的信息與原始問題一起，作為語言生成模型的上下文。生成模型隨后在生成答案時(shí)，會在這個(gè)結(jié)合了外部知識的上下文基礎(chǔ)上進(jìn)行。這種機(jī)制顯著提高了生成答案的準(zhǔn)確性與可靠性，因?yàn)樗鼘?shí)質(zhì)上擴(kuò)展了模型對現(xiàn)實(shí)世界知識的認(rèn)知，從而減少了“涌現(xiàn)”和“幻覺”的問題。

進(jìn)一步地，我們將探討RAG模型如何運(yùn)作以及其在實(shí)際場景下的效能表現(xiàn)，這包括模型如何解析和處理輸入，檢索相關(guān)信息，以及最終如何生成響應(yīng)，并對其在特定應(yīng)用場景的準(zhǔn)確度進(jìn)行批判性評估。

案例：深圳市第三人民醫(yī)院，骨一科姜悎力主任，參與測試

（圖一、耐心解答，并及時(shí)提出反問，充實(shí)上下文回答內(nèi)容，提高準(zhǔn)確度）

（圖二、個(gè)性化信息訓(xùn)練后，準(zhǔn)確回答患者。）

（圖三、醫(yī)院不具備卻又是患者迫切需要的康復(fù)手段，直接解決患者困擾）

效果評估：

1）省時(shí)提效、

在深圳市第三人民醫(yī)院骨一科的試用進(jìn)行比較順利，項(xiàng)目運(yùn)行數(shù)月，自動回復(fù)患者問題約3000次，按每個(gè)問題節(jié)省醫(yī)生2分鐘計(jì)算，可節(jié)約醫(yī)生73小時(shí)。姜主任測試期間每周門診時(shí)間一天，提問多發(fā)生在門診日前后，如果門診時(shí)間更長的大夫，節(jié)省時(shí)間、提高效率會更加明顯。

2）患者滿意度、

我們經(jīng)過對幾千條對話記錄的分析，有97%的患者在與人工智能的交談中得到了滿意的回答。

有3%的患者提問沒有得到充分的滿足，例如本地區(qū)社保局電話，我的報(bào)銷比例是多少之類。這些內(nèi)容，在目前階段并沒有訓(xùn)練進(jìn)人工智能，它的回答給出了一個(gè)尋找這些信息的辦法。

3）化解潛在矛盾、

測試期間沒有因?yàn)槿斯ぶ悄芑卮甬a(chǎn)生一例投訴，相反，還化解了潛在的醫(yī)患矛盾，人工智能總是笑臉相迎，極大的緩解了由于繁重的工作壓力給醫(yī)患溝通帶來的負(fù)面情緒。

未來趨勢

在未來，我們預(yù)期會有若干發(fā)展趨勢改變現(xiàn)有的NLP技術(shù)格局。首先是知識庫動態(tài)化和個(gè)性化。動態(tài)更新的知識庫可以確保模型輸出的信息保持實(shí)時(shí)的相關(guān)性，而針對不同用戶或不同場景定制的個(gè)性化知識庫則能夠提供更加精準(zhǔn)的信息服務(wù)。

本文由“健康號”用戶上傳、授權(quán)發(fā)布，以上內(nèi)容（含文字、圖片、視頻）不代表健康界立場?！敖】堤枴毕敌畔l(fā)布平臺，僅提供信息存儲服務(wù)，如有轉(zhuǎn)載、侵權(quán)等任何問題，請聯(lián)系健康界（jkh@hmkx.cn）處理。

相關(guān)知識

AI + 醫(yī)療服務(wù)50個(gè)應(yīng)用場景：重塑醫(yī)療健康新生態(tài)
醫(yī)療健康服務(wù)平臺的AI應(yīng)用與前景展望
美年健康：AI醫(yī)療最佳應(yīng)用場景跑出加速度
大模型如何服務(wù)醫(yī)療？上海市首個(gè)衛(wèi)生健康語料庫發(fā)布，首批醫(yī)療應(yīng)用場景MaaS平臺亮相
深圳推進(jìn)醫(yī)衛(wèi)領(lǐng)域AI全場景應(yīng)用
覆蓋10大醫(yī)療應(yīng)用場景！國產(chǎn)AI大模型應(yīng)用典型案例盤點(diǎn)
循證醫(yī)學(xué)知識庫的智能預(yù)問診系統(tǒng)探究
Gitee AI助力醫(yī)療科研：醫(yī)用耗材使用分析研究
生成式AI賦能醫(yī)療數(shù)智化應(yīng)用 “AI+醫(yī)療”服務(wù)模式還面臨哪些挑戰(zhàn)？
AI在醫(yī)院有哪些應(yīng)用場景？這家醫(yī)院現(xiàn)身說法

網(wǎng)址: AI+RAG知識庫系統(tǒng)在醫(yī)療服務(wù)場景中的應(yīng)用 http://www.u1s5d6.cn/newsview1265048.html