人類監(jiān)督已成為人工智能治理的關(guān)鍵機(jī)制。通常認(rèn)為，人類監(jiān)督者可以提高人工智能系統(tǒng)的準(zhǔn)確性、安全性，維護(hù)人類價(jià)值觀，促進(jìn)公眾對(duì)該技術(shù)的信任。但實(shí)證研究表明，人類履行監(jiān)督任務(wù)并不可靠，可能缺乏勝任能力或受到有害激勵(lì)，這對(duì)人類監(jiān)督的有效性構(gòu)成挑戰(zhàn)。對(duì)此，一是考察新興的監(jiān)督法律，尤其是歐盟《人工智能法案》。該法案雖關(guān)注人類監(jiān)督者的勝任能力，但沒有提供如何實(shí)現(xiàn)有效監(jiān)督的指導(dǎo)，也未明確定義人工智能開發(fā)者的監(jiān)督義務(wù)。二是提出一種新的分類方法，根據(jù)人類干預(yù)是構(gòu)成抑或糾正人工智能決策，對(duì)人類監(jiān)督的角色進(jìn)行劃分。該分類有助于針對(duì)相應(yīng)監(jiān)督類型形成提升其有效性的建議。三是借鑒民主理論研究，提出六項(xiàng)規(guī)范原則，使對(duì)人類監(jiān)督的不信任上升為制度。不信任的制度化在民主治理中具有悠久的實(shí)踐歷史。這些原則首次應(yīng)用于人工智能治理，預(yù)見了人類監(jiān)督者的易犯錯(cuò)性，并試圖在制度設(shè)計(jì)層面減輕這些錯(cuò)誤，旨在直接提高人類監(jiān)督的可信度，間接激發(fā)對(duì)人工智能治理的適當(dāng)信任。

一、問題的提出

人類監(jiān)督已成為人工智能治理的關(guān)鍵機(jī)制。歐盟委員會(huì)《人工智能法案》提案（以下簡(jiǎn)稱aia）第14條要求人工智能系統(tǒng)的設(shè)計(jì)和開發(fā)應(yīng)使其能夠“受到自然人的有效監(jiān)督”。根據(jù)人類是參與系統(tǒng)的每一個(gè)決策，還是監(jiān)控系統(tǒng)的整體運(yùn)作，人類可能被置于人工智能系統(tǒng)“回路”的內(nèi)部或外部。實(shí)施人類監(jiān)督有多條理由。首先，人們通常認(rèn)為人類可以提高人工智能系統(tǒng)的性能和安全性。其次，人類監(jiān)督捍衛(wèi)了合法性、問責(zé)制、尊嚴(yán)以及人類自主性和能動(dòng)性等價(jià)值。根據(jù)aia第14條第2款，保持人類參與旨在“預(yù)防或最小化健康、安全或基本權(quán)利的風(fēng)險(xiǎn)”，從而兼顧安全與價(jià)值考量。此外，aia還增加了第三個(gè)理由：其總體目標(biāo)是建立歐盟公民對(duì)人工智能的信任。雖然從經(jīng)驗(yàn)上看，人們的信任可能與人工智能的安全性和對(duì)價(jià)值的影響相關(guān)，但從監(jiān)管的角度來看，信任本身就是一個(gè)目標(biāo)：如果人們信任一項(xiàng)技術(shù)，就更可能使用它，從而釋放其經(jīng)濟(jì)和社會(huì)潛力。實(shí)證研究表明，如果告知公眾有人類在“人機(jī)回路”當(dāng)中，那么他們?cè)谝婚_始就會(huì)更加信任人工智能系統(tǒng)。然而，如果此人的監(jiān)督不夠有效，那么人們對(duì)人工智能系統(tǒng)的信任就并不妥當(dāng)了，甚至可能有害其利益和福祉。

如何有效實(shí)現(xiàn)對(duì)人工智能的人類監(jiān)督，是當(dāng)前監(jiān)管領(lǐng)域的重大問題之一。最近一項(xiàng)對(duì)人類監(jiān)督政策的調(diào)查實(shí)證研究得出結(jié)論，人類大多無法履行指定的監(jiān)督職能。研究表明，人類一方面過度依賴（“自動(dòng)化偏見”），另一方面又過于低估算法建議（“算法厭惡”），并且在判斷算法預(yù)測(cè)的準(zhǔn)確性方面表現(xiàn)不佳。此類偏差的實(shí)證記錄仍有待討論。然而，在計(jì)算機(jī)系統(tǒng)設(shè)計(jì)中，通常要考慮何時(shí)最好將人類置于“回路之外”。在航空領(lǐng)域，出于安全考慮，人工操作已越來越受到限制，并逐漸被自動(dòng)化取代。因此，通過法律命令人類監(jiān)督并非化解人工智能風(fēng)險(xiǎn)的萬靈藥。若要使其有效，仍需仔細(xì)調(diào)校。

有觀點(diǎn)認(rèn)為，最好在制度設(shè)計(jì)層面解決人類監(jiān)督的有效性挑戰(zhàn)。筆者遵循這一思路，并為其增添了新的分析工具和設(shè)計(jì)原則，結(jié)合歐盟新興的人工智能監(jiān)管秩序展現(xiàn)其實(shí)踐影響。在此過程中，本文旨在為人工智能治理的新興研究作出三方面貢獻(xiàn)。第一個(gè)貢獻(xiàn)是分析性的。本文考察了歐盟新興的人類監(jiān)督法律，尤其是aia。aia是第一部全面處理人工智能風(fēng)險(xiǎn)的法律，可能會(huì)成為全球標(biāo)準(zhǔn)。筆者將其視為不斷演變的監(jiān)管格局的風(fēng)向標(biāo)，但不將其主張與aia的特定規(guī)范捆綁在一起。下文將表明，aia要求監(jiān)督有效，但沒有指出如何實(shí)現(xiàn)這種有效性，也沒有明確定義人工智能開發(fā)者的監(jiān)督義務(wù)。筆者在撰寫本文時(shí)，歐盟理事會(huì)和歐洲議會(huì)都提出了對(duì)委員會(huì)提案的修正案。下文中，aia指的是委員會(huì)的提案，“歐盟理事會(huì)版aia”和“歐洲議會(huì)版aia”則是指相應(yīng)的修正案。

本文的第二個(gè)貢獻(xiàn)也是分析性的。筆者提出了一種新的人類監(jiān)督角色分類法，根據(jù)對(duì)人工智能系統(tǒng)決策輸出的兩種影響類型，區(qū)分為一級(jí)監(jiān)督和二級(jí)監(jiān)督。一級(jí)監(jiān)督者對(duì)人工智能作出或支持的決策具有反事實(shí)影響。所謂反事實(shí)影響，即人工智能系統(tǒng)的初始輸出可能因人類參與而有所不同。一級(jí)監(jiān)督者通常是受到人工智能預(yù)測(cè)或建議支持的本地決策者。二級(jí)監(jiān)督者距離相應(yīng)的本地決策更遠(yuǎn)一步，履行復(fù)核或?qū)徲?jì)職責(zé)。他們對(duì)初始決策輸出沒有反事實(shí)影響，而是對(duì)其進(jìn)行糾正。簡(jiǎn)言之，一級(jí)監(jiān)督者通常會(huì)參與人工智能支持的決策過程中，二級(jí)監(jiān)督者則在事后采取行動(dòng)，例如檢查系統(tǒng)日志。這兩類監(jiān)督者都面臨能力不足和錯(cuò)誤激勵(lì)的挑戰(zhàn)。兩種類型的監(jiān)督和兩個(gè)挑戰(zhàn)創(chuàng)造了一個(gè)包含四個(gè)不同關(guān)注領(lǐng)域的二乘二矩陣。該分類法使得針對(duì)相應(yīng)監(jiān)督類型提出量身定制的解決方案成為可能，以解決有效性問題。

本文的第三個(gè)貢獻(xiàn)是理論性的。筆者提出了一個(gè)新建議，即利用“制度化不信任”來處理上述四個(gè)關(guān)注領(lǐng)域。民主理論研究提出“在民主架構(gòu)中制度化不信任”可以提供一種治理秩序，讓公眾得以建立適當(dāng)信任。什托姆普卡稱之為“民主的悖論”：正是由于民主的基本原則意味著某種程度的制度化不信任，才讓政府語境下的信任得以生成。將其應(yīng)用于人工智能治理，意味著應(yīng)當(dāng)基于對(duì)人類監(jiān)督者能力和動(dòng)機(jī)的不信任來針對(duì)其角色進(jìn)行相應(yīng)制度設(shè)計(jì)。這將有利于培養(yǎng)對(duì)人工智能系統(tǒng)的適當(dāng)信任（而非天真的信任）。本文提出了六項(xiàng)原則，以此使對(duì)人類監(jiān)督的不信任上升為制度：正當(dāng)性、定期輪換、集體決策、機(jī)構(gòu)權(quán)力有限性、可訴性和問責(zé)制、透明度。本文提出的原則首先適用于公共機(jī)構(gòu)，但仍與私營(yíng)部門的人工智能治理密切相關(guān)。當(dāng)然，人類監(jiān)督的制度化不信任并不能保證無風(fēng)險(xiǎn)的人工智能系統(tǒng)。相反，它著眼于提供一個(gè)總體框架，讓實(shí)施可信人類監(jiān)督得以可能。

最后要說明的是，“人工智能”一詞在本文中并非特定的技術(shù)理解，而是遵循歐洲議會(huì)版aia第3條的定義，即“旨在以不同程度自主性運(yùn)行的機(jī)器系統(tǒng)，能夠生成預(yù)測(cè)、建議或決策等輸出，從而影響物理或虛擬環(huán)境”。

二、正在興起的監(jiān)督法律

aia第14條第1款明確要求在高風(fēng)險(xiǎn)人工智能系統(tǒng)投放市場(chǎng)之前，對(duì)其進(jìn)行有效的人類監(jiān)督。aia第29條規(guī)定，實(shí)施人類監(jiān)督措施是高風(fēng)險(xiǎn)人工智能用戶的義務(wù)。這實(shí)質(zhì)上不僅僅是名義上的人類參與，而且提高了歐盟數(shù)據(jù)保護(hù)法的現(xiàn)有標(biāo)準(zhǔn)?！锻ㄓ脭?shù)據(jù)保護(hù)條例》（以下簡(jiǎn)稱gdpr）第22條第1款賦予數(shù)據(jù)主體在未經(jīng)同意的情況下不受“完全”自動(dòng)化決策約束的權(quán)利。對(duì)“完全”自動(dòng)化決策的狹隘關(guān)注已招致一些中肯的批評(píng)。首先，在沒有任何人類參與的情況下作出決策的人工智能系統(tǒng)可能仍是罕見情況，由此大大縮小了gdpr第22條的適用范圍。通常，人工智能通過提供預(yù)測(cè)信息來協(xié)助人類，增強(qiáng)后者的決策能力。例如，如果錄取決定最終是人類作出，那么在學(xué)生錄取中使用的人工智能推薦系統(tǒng)將被排除在gdpr第22條范圍之外。其次，倘若即便是名義上的人類參與也足以將人工智能系統(tǒng)排除在gdpr第22條范圍之外，那么就存在人類僅僅“橡皮圖章式”確認(rèn)人工智能決定而沒有任何實(shí)質(zhì)性監(jiān)督的風(fēng)險(xiǎn)。因此，“第29條數(shù)據(jù)保護(hù)工作組”強(qiáng)調(diào)，數(shù)據(jù)控制者“必須確保對(duì)決策的任何監(jiān)督都是有意義的，而不僅僅是一種象征性的姿態(tài)”。

相比之下，aia第14條的包容性更強(qiáng)，其適用范圍不區(qū)分人類參與的程度，因此也涵蓋了推薦系統(tǒng)。然而，aia第14條僅在人工智能系統(tǒng)被認(rèn)定為“高風(fēng)險(xiǎn)”時(shí)方得適用（根據(jù)aia第6條和aia附件iii）。此外，歐盟委員會(huì)的aia提案并未明確何時(shí)以及如何要求人類監(jiān)督。直覺上，可能會(huì)有觀點(diǎn)主張監(jiān)督是與系統(tǒng)的實(shí)際運(yùn)行相關(guān)，而不涉及開發(fā)階段。

定義人類監(jiān)督的范圍對(duì)于劃分人工智能提供者和用戶／部署者之間的義務(wù)至關(guān)重要。通常，人類可能在人工智能系統(tǒng)的整個(gè)生命周期中影響其決策輸出，即在人工智能系統(tǒng)投入使用之前、期間或事后。aia第14條第1款規(guī)定，自然人必須在“人工智能系統(tǒng)使用期間”對(duì)高風(fēng)險(xiǎn)人工智能系統(tǒng)進(jìn)行監(jiān)督。歐洲議會(huì)版aia第14條第1款補(bǔ)充道，“事故發(fā)生后必須進(jìn)行徹底調(diào)查”。這表明，人類監(jiān)督的時(shí)間范圍始于人工智能系統(tǒng)投入使用時(shí)，并可能在事故已發(fā)生、系統(tǒng)關(guān)閉后進(jìn)行追溯。然而，aia第14條第3款規(guī)定，人類監(jiān)督措施應(yīng)在高風(fēng)險(xiǎn)人工智能系統(tǒng)投放市場(chǎng)或投入使用之前由提供者（即開發(fā)者）“識(shí)別”并（如果可能）“內(nèi)置”到人工智能系統(tǒng)中。aia第29條第2款提到用戶“實(shí)施”提供者“指明”的監(jiān)督措施。這確立了開發(fā)者（提供可監(jiān)督的人工智能）和用戶／部署者（執(zhí)行監(jiān)督）之間的共同責(zé)任。此外，人工智能系統(tǒng)在使用過程中通常會(huì)繼續(xù)迭代演化。它們可能使用不同的數(shù)據(jù)重新訓(xùn)練，或者整合吸納用戶反饋。這又可能意味著從人工智能部署階段回到了開發(fā)階段。在不斷學(xué)習(xí)和變化的人工智能系統(tǒng)中，其開發(fā)者和用戶之間的區(qū)別變得模糊。這項(xiàng)技術(shù)是動(dòng)態(tài)交付的，而不是靜態(tài)產(chǎn)品或“一次性服務(wù)”。這表明，aia第14條的時(shí)間范圍原則上應(yīng)保持開放，以涵蓋人工智能生命周期的所有主要階段，包括設(shè)計(jì)和開發(fā)階段。監(jiān)督責(zé)任應(yīng)根據(jù)具體情況落在人工智能開發(fā)者身上，在需要填補(bǔ)監(jiān)督空白時(shí)予以實(shí)施。

此外，aia第14條沒有提供太多關(guān)于如何使人類監(jiān)督有效或有意義的信息。aia第14條第3款和第4款概述了一些旨在使人類監(jiān)督者能夠監(jiān)控和干預(yù)人工智能決策的系統(tǒng)設(shè)計(jì)措施。負(fù)責(zé)監(jiān)督的人員必須能夠“理解人工智能系統(tǒng)的能力和局限性”，持續(xù)對(duì)“自動(dòng)化偏見”進(jìn)行識(shí)別，能夠“正確解釋”人工智能系統(tǒng)的輸出，能夠決定不使用人工智能系統(tǒng)或“忽略、推翻或撤銷”其決策，并“中斷”系統(tǒng)的運(yùn)行（aia第14條第4款）。歐洲議會(huì)版aia第14條第4款第e項(xiàng)補(bǔ)充道，如果“增加風(fēng)險(xiǎn)或?qū)π阅墚a(chǎn)生負(fù)面影響”，人類不應(yīng)干預(yù)人工智能系統(tǒng)。aia前言第48條補(bǔ)充道，人類監(jiān)督者必須“具備履行該角色所需的勝任能力、培訓(xùn)經(jīng)歷和權(quán)限”。歐盟理事會(huì)版aia第29條第1款第a項(xiàng)幾乎逐字重復(fù)了aia前言第48條中的觀點(diǎn)。歐洲議會(huì)版aia第14條第1款補(bǔ)充道，人類監(jiān)督者應(yīng)具有“足夠的人工智能素養(yǎng)”和“必要的支持和權(quán)限”?！叭斯ぶ悄芩仞B(yǎng)”一詞已被議會(huì)在新的第4b條中添加。其定義模糊，被解讀為對(duì)“人工智能系統(tǒng)及其功能的基本概念和技能的理解，包括不同類型的產(chǎn)品、用途、風(fēng)險(xiǎn)和益處”（歐洲議會(huì)版aia第14b條第3款）。歐洲議會(huì)版aia第29條第1a款第ii項(xiàng)規(guī)定，人類監(jiān)督者必須“勝任、具備資格和訓(xùn)練有素，并擁有必要的資源，以確保對(duì)人工智能系統(tǒng)的有效監(jiān)督”。總之，aia要求人類監(jiān)督者具備足夠的能力和權(quán)限來干預(yù)人工智能系統(tǒng)。它沒有明確規(guī)定那些負(fù)責(zé)執(zhí)行aia第14條職能的個(gè)人必須具備哪些確切資格（更不用說認(rèn)證）。對(duì)于像《人工智能法案》這樣的橫向法律，在缺乏現(xiàn)有的有效監(jiān)督標(biāo)準(zhǔn)的情況下，這可能已經(jīng)是目前力所能及之處了。

aia中的要求沒有進(jìn)一步明確人類監(jiān)督是否可以由人工智能增強(qiáng)，以及如果可以，能增強(qiáng)到何種程度?？紤]到在審核復(fù)雜的人工智能系統(tǒng)時(shí)人類能力面臨的可預(yù)見挑戰(zhàn)，某種形式的混合智能可能對(duì)實(shí)現(xiàn)有效人工智能監(jiān)督而言是必要的。若僅考慮為解釋人工智能模型而開發(fā)的眾多方法，其中一些方法本身就可能屬于“人工智能”的監(jiān)管定義。至少對(duì)于高風(fēng)險(xiǎn)系統(tǒng)而言，aia第14條第4款第d項(xiàng)和第e項(xiàng)表明，為了使人類監(jiān)督“有效”，人類（而非機(jī)器）必須對(duì)結(jié)果擁有最終權(quán)威，并能夠推翻人工智能的決定或建議。

是否允許人工推翻自動(dòng)化決策，很難在抽象層面上確定。即使在具體領(lǐng)域內(nèi)，選擇也并非總是明確。以航空為例，一些航空制造商實(shí)施了“硬自動(dòng)化”，其自動(dòng)飛行系統(tǒng)可以覆蓋人工輸入以防止人為錯(cuò)誤。其他制造商則選擇“軟自動(dòng)化”，允許人工操作員推翻自動(dòng)化建議或決策。與軟自動(dòng)化相比，根據(jù)aia第14條第4款，硬自動(dòng)化乍一看更難與“有效”的人類監(jiān)督相協(xié)調(diào)。然而，由于aia中的人類監(jiān)督理由承認(rèn)了安全考慮，在復(fù)雜人工智能系統(tǒng)的決策鏈中，某些步驟采用硬自動(dòng)化可能與aia第14條第4款相容，尤其是如果議會(huì)修正案最終成為法律的話。

最后，技術(shù)標(biāo)準(zhǔn)將在定義人類監(jiān)督的功能和方法方面發(fā)揮作用。2023年5月，歐盟委員會(huì)向歐洲標(biāo)準(zhǔn)化委員會(huì)（cen）和歐洲電工標(biāo)準(zhǔn)化委員會(huì)（cenelec）提交了標(biāo)準(zhǔn)化請(qǐng)求，其中包括“規(guī)定人類監(jiān)督的措施和程序”的標(biāo)準(zhǔn)。與此同時(shí)，國(guó)際標(biāo)準(zhǔn)化機(jī)構(gòu)已經(jīng)開始制定人工智能標(biāo)準(zhǔn)。截至2023年8月，國(guó)際標(biāo)準(zhǔn)化組織第42分委員會(huì)已發(fā)布20項(xiàng)人工智能標(biāo)準(zhǔn)，包括技術(shù)報(bào)告和技術(shù)規(guī)范。到目前為止，已發(fā)布的標(biāo)準(zhǔn)沒有提供關(guān)于如何實(shí)施有效人工智能人類監(jiān)督的進(jìn)一步信息。（“人工智能可信度概述”）iso／iectr24028僅強(qiáng)調(diào)了擁有能力和自主權(quán)干預(yù)最終決策過程的人類決策者的重要性。（“道德和社會(huì)問題概述”）iso／iectr24368要求高風(fēng)險(xiǎn)人工智能系統(tǒng)“有一名具備合格資質(zhì)的人員參與其中，以授權(quán)自動(dòng)化決策”。

總之，迄今為止，新興的人類監(jiān)督監(jiān)管體系要求人類監(jiān)督者有能力并被授權(quán)干預(yù)乃至推翻人工智能系統(tǒng)，但沒有進(jìn)一步指導(dǎo)需要哪些能力（除了對(duì)人工智能素養(yǎng)的模糊描述）。未來的技術(shù)標(biāo)準(zhǔn)有望提供最佳實(shí)踐、措施和程序。因此，人工智能系統(tǒng)的開發(fā)者和用戶在決定如何制度化實(shí)施其人類監(jiān)督義務(wù)時(shí)，將擁有廣泛的自由裁量空間。雖然許多制度設(shè)計(jì)選擇將取決于人工智能系統(tǒng)的本地特征，但本文討論了與大多數(shù)人工智能監(jiān)督系統(tǒng)相關(guān)的制度設(shè)計(jì)問題。作為這種橫向方法的第一步，下文將介紹一種新的人類監(jiān)督角色分類方法。

三、一級(jí)人類監(jiān)督與二級(jí)人類監(jiān)督

筆者根據(jù)人類監(jiān)督者是否對(duì)人工智能系統(tǒng)的決策結(jié)果具有反事實(shí)影響，對(duì)他們的角色進(jìn)行類型劃分。所謂反事實(shí)影響，即由于人類的參與，人工智能系統(tǒng)的初始輸出可能會(huì)有所不同。若沒有反事實(shí)影響，人類只能在初始輸出產(chǎn)生后介入糾正和逆轉(zhuǎn)其決策。

廣義而言，人工智能系統(tǒng)可以是完全自動(dòng)化或部分自動(dòng)化的。在部分自動(dòng)化系統(tǒng)中，人工智能通常會(huì)為專業(yè)人員提供決策支持。例如，在醫(yī)療保健領(lǐng)域，人工智能可以提供診斷預(yù)測(cè)和治療建議。在刑事程序中，法官可能會(huì)運(yùn)用算法對(duì)被告人進(jìn)行風(fēng)險(xiǎn)評(píng)估。至少在形式上，最終決定權(quán)仍然掌握在醫(yī)療或司法專業(yè)人士手中。根據(jù)阿格拉瓦爾等人的區(qū)分，在這種系統(tǒng)中，人工智能提供預(yù)測(cè)，而人類負(fù)責(zé)判斷，即決定人工智能預(yù)測(cè)結(jié)果的重要性或價(jià)值。拋開有效性問題不談，在提供決策支持的部分自動(dòng)化人工智能系統(tǒng)中，由于人類仍然參與最終決策，因而構(gòu)成人類監(jiān)督。此外，部分自動(dòng)化系統(tǒng)中的人類通常會(huì)有反事實(shí)影響：決策輸出將取決于他們對(duì)人工智能預(yù)測(cè)的判斷。由此，人類監(jiān)督構(gòu)成了結(jié)果的組成部分。我們將這種情況稱為“一級(jí)人類監(jiān)督”。

一級(jí)監(jiān)督者可以是醫(yī)生和法官等專家，也可以是接受過輕度到中度培訓(xùn)的專業(yè)人員。例如，在meta，對(duì)違反內(nèi)容政策的帖子進(jìn)行刪除的操作似乎在很大程度上是自動(dòng)化的，只有少數(shù)帖子會(huì)交由人工內(nèi)容審核員進(jìn)行審核——在這種情形中，自動(dòng)化內(nèi)容審核遺漏了本應(yīng)該標(biāo)記和刪除的內(nèi)容，需要人工介入。4將內(nèi)容標(biāo)記以供進(jìn)一步的人工審核是機(jī)器學(xué)習(xí)的一個(gè)主要用例：由于人工內(nèi)容審核無法輕易擴(kuò)展以滿足內(nèi)容托管公司的需求，機(jī)器學(xué)習(xí)系統(tǒng)會(huì)預(yù)先選擇一小部分內(nèi)容供人工審核。只要內(nèi)容審核員的判斷對(duì)刪除（或保留）帖子的初始決定起到構(gòu)成作用，他們的參與就可以認(rèn)定為一級(jí)監(jiān)督。

即使在完全自動(dòng)化人工智能系統(tǒng)中，人類仍然會(huì)影響決策輸出。構(gòu)建人工智能模型并為其預(yù)測(cè)或分類制定基準(zhǔn)的行為，對(duì)人工智能輸出具有反事實(shí)影響。想象一下人工智能開發(fā)人員設(shè)置閾值分?jǐn)?shù)，例如無人駕駛汽車應(yīng)該何時(shí)剎車，或者信用卡支付應(yīng)該何時(shí)被拒絕。信用卡支付因盜刷被拒絕的概率閾值將決定會(huì)有多少交易被取消。一旦設(shè)置好閾值的完全自動(dòng)化系統(tǒng)投入使用，就不再需要人工判斷，任何超過閾值的交易都會(huì)自動(dòng)被取消。但是，這些取消的基準(zhǔn)是人類關(guān)于閾值分?jǐn)?shù)的判斷。除了金融業(yè)，在線廣告是另一個(gè)已經(jīng)廣泛實(shí)施完全自動(dòng)化的領(lǐng)域。

對(duì)于完全自動(dòng)化系統(tǒng)，在邏輯上只有兩個(gè)時(shí)間點(diǎn)可以執(zhí)行人類監(jiān)督：在人工智能系統(tǒng)實(shí)施之前和它作出決定之后。然而，如果在決定作出后介入，人類對(duì)人工智能的初始決策輸出就沒有反事實(shí)影響。我們可以將這些情況稱為“二級(jí)人類監(jiān)督”。二級(jí)監(jiān)督不是構(gòu)成性的，而是對(duì)人工智能決策輸出的糾正。對(duì)于完全自動(dòng)化系統(tǒng)，gdpr第22條第3款提到了這種二級(jí)監(jiān)督，涉及數(shù)據(jù)主體的異議權(quán)和獲得人工干預(yù)的權(quán)利。二級(jí)監(jiān)督并不僅限于完全自動(dòng)化系統(tǒng)。人工復(fù)核權(quán)也可能與部分自動(dòng)化系統(tǒng)相關(guān)。aia適用于完全自動(dòng)化和部分自動(dòng)化系統(tǒng)，并設(shè)想可以通過第三方審計(jì)來評(píng)估其合規(guī)性。此外，歐洲議會(huì)版aia第14(1)條要求，高風(fēng)險(xiǎn)人工智能系統(tǒng)的設(shè)計(jì)必須至少允許事后的“徹底調(diào)查”。復(fù)核和審計(jì)是二級(jí)監(jiān)督的形式，因?yàn)槿祟惐O(jiān)督者不直接參與人工智能或由人工智能支持的決策過程。他們與該流程相差一步，對(duì)系統(tǒng)的初始輸出沒有反事實(shí)影響。

meta的二級(jí)監(jiān)督可能還具有分層結(jié)構(gòu)。在meta，上述通過人工內(nèi)容審核員進(jìn)行的一級(jí)監(jiān)督本身就由所謂的監(jiān)督委員會(huì)監(jiān)督。監(jiān)督委員會(huì)為meta旗下的facebook和instagram上作出的內(nèi)容審核決定提供申訴流程。例如，2022年，監(jiān)督委員會(huì)決定恢復(fù)一個(gè)之前被該公司部分自動(dòng)化內(nèi)容刪除系統(tǒng)刪除的帖子。

一級(jí)監(jiān)督和二級(jí)監(jiān)督之間的區(qū)別為“有意義”監(jiān)督的規(guī)范性要求增添了分析深度。之前已有觀點(diǎn)指出，有意義的監(jiān)督要求某人有“改變決定的權(quán)威和能力”或有“推翻人工智能決定或建議的能力”。然而，改變或推翻人工智能輸出可能會(huì)產(chǎn)生不同的規(guī)范性后果，這取決于它對(duì)決定是構(gòu)成性的抑或糾正性的。這可能在確定誰對(duì)損害負(fù)責(zé)方面具有重要影響。

從新興的監(jiān)督法來看，上述分類方法引出了兩個(gè)問題。首先，人工智能開發(fā)者是否有資格成為一級(jí)監(jiān)督者？根據(jù)分析，開發(fā)者通常會(huì)對(duì)系統(tǒng)的輸出產(chǎn)生反事實(shí)影響，例如確定分類閾值或工作流程。對(duì)于部分自動(dòng)化系統(tǒng)，這個(gè)問題可能不如完全自動(dòng)化系統(tǒng)那么具有決定性，因?yàn)樵谕耆詣?dòng)化系統(tǒng)中，開發(fā)者的判斷構(gòu)成了決策中大部分（或全部）人工輸入。從法律上講，aia第14條設(shè)想在開發(fā)者和用戶／部署者之間分擔(dān)責(zé)任，開發(fā)者使人工智能可被監(jiān)督，而用戶／部署者執(zhí)行監(jiān)督。對(duì)于完全自動(dòng)化系統(tǒng)，用戶執(zhí)行人類監(jiān)督可能僅限于中斷系統(tǒng)（即按下“停止按鈕”）以避免危害。如果這足以滿足aia第14條的要求，那么人類監(jiān)督將只是一個(gè)非常薄弱的要求。根據(jù)本文提出的反事實(shí)影響標(biāo)準(zhǔn)，如果人工智能模型的動(dòng)態(tài)演變使得用戶監(jiān)督在很大程度上失去實(shí)效，那么一部分監(jiān)督義務(wù)就應(yīng)由人工智能開發(fā)者承擔(dān)。

其次，二級(jí)監(jiān)督是否屬于aia第14條的范圍？目前必須保持開放態(tài)度。如果歐洲議會(huì)提出的修正案獲得通過，在高風(fēng)險(xiǎn)人工智能系統(tǒng)投放市場(chǎng)之前，必須確保事后調(diào)查的可行性。除了aia，gdpr第22條的復(fù)核權(quán)保證了對(duì)完全自動(dòng)化人工智能決策的二級(jí)監(jiān)督。表1呈現(xiàn)了兩種人類監(jiān)督的二維矩陣，其中人工智能開發(fā)由星號(hào)標(biāo)記，表示需要根據(jù)具體情況決定是否將其納入其中。

表1  一級(jí)監(jiān)督與二級(jí)監(jiān)督

四、人類監(jiān)督面臨的兩大挑戰(zhàn)

與所有人一樣，監(jiān)督者也可能犯錯(cuò)誤。如果人類在監(jiān)督人工智能方面系統(tǒng)性地失敗，人類監(jiān)督作為一種治理機(jī)制就可能帶來虛假的安全感。目前還沒有對(duì)人類監(jiān)督者可靠性的總體評(píng)估或預(yù)測(cè)。以“自動(dòng)化偏見”和“算法厭惡”為例，這是人類表現(xiàn)出的兩種對(duì)人工智能相反的反應(yīng)。

當(dāng)人們偏好人類預(yù)測(cè)而不是算法預(yù)測(cè)時(shí)，即使算法被證明更準(zhǔn)確，也會(huì)出現(xiàn)算法厭惡。這種厭惡不僅出現(xiàn)在普通人身上，也出現(xiàn)在專家身上。自動(dòng)化偏見則可能導(dǎo)致人們高估人工智能在性能方面的準(zhǔn)確性和一致性。研究表明，當(dāng)外行人士認(rèn)為建議是來自算法而非人類時(shí)，他們更容易接受建議。當(dāng)人們必須在算法的建議和他們自己的判斷之間作出選擇，以及當(dāng)他們?cè)谠擃I(lǐng)域具備專業(yè)知識(shí)時(shí)，這種偏向算法的效應(yīng)就會(huì)減弱。應(yīng)用于人類監(jiān)督，這表明相較于專家型監(jiān)督者，未經(jīng)訓(xùn)練的監(jiān)督者可能更容易受到自動(dòng)化偏見的影響，聽從算法的預(yù)測(cè)。如果必須在人工智能的預(yù)測(cè)和（一級(jí)）人類的預(yù)測(cè)之間作出選擇，未經(jīng)訓(xùn)練的二級(jí)監(jiān)督者可能比未經(jīng)訓(xùn)練的一級(jí)監(jiān)督者受到更大影響。專家型人類監(jiān)督者可能會(huì)因過度依賴自己的判斷而不是算法的建議而損害他們的準(zhǔn)確性。

關(guān)鍵在于，即使有了簡(jiǎn)化的監(jiān)督角色分類法，就這些偏見如何影響一級(jí)或二級(jí)監(jiān)督者而言，我們也可以調(diào)整相應(yīng)預(yù)期。在這個(gè)抽象層次上，這可能已經(jīng)是最好的結(jié)果了。在廣泛的應(yīng)用范圍內(nèi)對(duì)人工智能技術(shù)的概括性評(píng)估很可能無法實(shí)現(xiàn)。因此，有必要對(duì)局部用例進(jìn)行調(diào)查，并測(cè)試上述提到的認(rèn)知偏見及其對(duì)特定人工智能系統(tǒng)人類監(jiān)督的影響。

人類監(jiān)督者還可能缺乏理解人工智能系統(tǒng)運(yùn)作所需的適當(dāng)訓(xùn)練。一般而言，引入一種新的人工智能系統(tǒng)通常是因?yàn)槿斯ぶ悄茉谀稠?xiàng)任務(wù)上優(yōu)于人類。加上前述關(guān)于自動(dòng)化偏見的實(shí)證研究，有人認(rèn)為監(jiān)督自動(dòng)化系統(tǒng)對(duì)人類來說是不可能完成的任務(wù)。這至少提高了人類干預(yù)人工智能系統(tǒng)以提高其可靠性的認(rèn)知門檻。同樣，有學(xué)者懷疑，額外的培訓(xùn)是否真的能緩解人類與人工智能在預(yù)期平均決策質(zhì)量方面的差距，至少在某些參數(shù)上是如此。我們稱之為能力不足的挑戰(zhàn)：人類可能缺乏有效監(jiān)督人工智能系統(tǒng)的技能和認(rèn)知上的完備性。

另一個(gè)挑戰(zhàn)源于激勵(lì)結(jié)構(gòu)。人類監(jiān)督者可能缺乏時(shí)間去作出一個(gè)不完全基于人工智能預(yù)測(cè)的判斷。有些人可能只是因?yàn)槿蝿?wù)感到疲倦和無聊。財(cái)務(wù)或商業(yè)激勵(lì)以及自身利益同樣可能導(dǎo)致質(zhì)量低下的結(jié)果。隨著大型科技公司主導(dǎo)人工智能的發(fā)展，審計(jì)人員為了重復(fù)獲得審計(jì)委托，存在被行業(yè)利益俘獲的風(fēng)險(xiǎn)。制度設(shè)計(jì)的目標(biāo)是消除對(duì)有意義的人類監(jiān)督的障礙，并防止權(quán)力濫用。因此，必須考慮人類監(jiān)督者的動(dòng)機(jī)（激勵(lì)）并限制他們?cè)斐蓳p害的能力。一級(jí)和二級(jí)監(jiān)督者可能面臨結(jié)構(gòu)上不同的激勵(lì)環(huán)境，尤其是考慮到他們?cè)诮M織內(nèi)外的不同地位。因此，我們可以對(duì)之前的二維矩陣進(jìn)行如下調(diào)整，其中字母a至d表示下一章中解決需關(guān)注的領(lǐng)域：

表2  一級(jí)和二級(jí)人類監(jiān)督面臨的挑戰(zhàn)

五、在人工智能監(jiān)督中將不信任制度化

為使其可信，人類對(duì)人工智能的監(jiān)督必須解決上述缺乏能力和錯(cuò)誤激勵(lì)的挑戰(zhàn)。本文建議通過明確構(gòu)建人工智能監(jiān)督的民主治理架構(gòu)，將對(duì)人類監(jiān)督的不信任上升為制度，以解決上述兩個(gè)問題。民主理論的一個(gè)悠久傳統(tǒng)是優(yōu)化制度設(shè)計(jì)，以防止公共決策者的能力和動(dòng)機(jī)偏離正軌。理論家們反復(fù)強(qiáng)調(diào)，不信任有利于民主及其制度的設(shè)計(jì)。這并不意味著公民對(duì)民主制度的實(shí)際不信任是有利的。相反，不信任的視角可以幫助我們創(chuàng)造值得信任的制度，反過來又激發(fā)公眾對(duì)民主的信任。

本章旨在表明，基于不信任的視角推導(dǎo)出人類監(jiān)督制度設(shè)計(jì)原則，可以為人工智能治理作出積極貢獻(xiàn)。下文概述的原則主要是針對(duì)公共部門的人工智能系統(tǒng)，但也可能與私營(yíng)部門的人工智能應(yīng)用產(chǎn)生共鳴。

（一）

民主理論中的制度化不信任

什托姆普卡描述了民主如何有助于產(chǎn)生“信任文化”——“正是由于不信任在民主架構(gòu)中的制度化”。民主原則為“那些愿意冒險(xiǎn)托付信任的人提供了后備支撐或者保險(xiǎn)”。雖然什托姆普卡談的是整個(gè)治理體系的信任，但在人工智能監(jiān)督中制度化不信任是在一個(gè)更為具體的領(lǐng)域內(nèi)展開的。人類監(jiān)督是人工智能治理的眾多機(jī)制之一。同時(shí)，人工智能治理和監(jiān)督可以影響更廣泛的制度環(huán)境。當(dāng)一個(gè)公共機(jī)構(gòu)使用一個(gè)新的人工智能系統(tǒng)時(shí)，這可以改變其感知到的可信度，以及其使公民對(duì)其行動(dòng)產(chǎn)生信任的過程。

什托姆普卡考慮的是一種特定形式的信任。他的“信任文化”是人類群體的一種經(jīng)驗(yàn)特征，既不是個(gè)人的心理傾向，也不是對(duì)受托者值得信任程度的理性計(jì)算?？偟膩碚f，信任研究很難在學(xué)科之間甚至在同一學(xué)科內(nèi)進(jìn)行比較，因?yàn)樾湃蔚母拍畈町惡艽蟆Ｒ虼?，將什托姆普卡關(guān)于制度化不信任的概念應(yīng)用到人工智能治理需要進(jìn)行一些調(diào)整。首先，我們可以區(qū)分可信程度的規(guī)范性解釋和公眾信任的經(jīng)驗(yàn)性衡量。對(duì)規(guī)范上不太值得信賴的事物給予過多信任是不合理的，并且可能是天真的。其次，實(shí)證研究表明，對(duì)制度的信任通常是解釋對(duì)ai等技術(shù)產(chǎn)生信任的一個(gè)重要變量。aia提出了一個(gè)發(fā)展“可信人工智能”的監(jiān)管框架。由于（實(shí)然的）信任不能通過命令憑空創(chuàng)造，因此表明（應(yīng)然的）可信度是最具前景的選項(xiàng)，以實(shí)現(xiàn)在歐盟廣泛采用人工智能所需信任水平的既定目標(biāo)。因此，實(shí)現(xiàn)對(duì)不信任的制度化意味著提高治理體系的可信度，正如什托姆普卡所言，為建立實(shí)際而正當(dāng)?shù)男湃蝿?chuàng)造機(jī)會(huì)。因此，對(duì)不信任的制度化在人工智能監(jiān)督中旨在提高人工智能治理的可信度，并支持公眾對(duì)人工智能系統(tǒng)產(chǎn)生正當(dāng)?shù)男湃巍?/p>

那么，哪些民主原則體現(xiàn)了對(duì)不信任的制度化呢？什托姆普卡認(rèn)為至少有12項(xiàng)：正當(dāng)性、換屆選舉、少數(shù)服從多數(shù)和集體決策、權(quán)力制衡和機(jī)構(gòu)權(quán)力有限性、法治、立憲主義和司法審查、訴訟、正當(dāng)程序、公民權(quán)利、法律實(shí)施、普遍主義和公平、開放溝通。對(duì)于人工智能人類監(jiān)督這一具體領(lǐng)域，這些原則可以進(jìn)一步濃縮為下文所闡釋的內(nèi)容。

（二）

人類監(jiān)督的六項(xiàng)設(shè)計(jì)原則

借鑒什托姆普卡的工作，本文提出六項(xiàng)原則，用于解決表2中a—d所對(duì)應(yīng)的人類監(jiān)督挑戰(zhàn)。

1.正當(dāng)性（a、b、c、d）

公共權(quán)力需要正當(dāng)性來支撐其合法性。大多數(shù)理論家認(rèn)為，投票和公共審議等民主程序可以將合法權(quán)力授予公職人員。除了回答誰應(yīng)擁有權(quán)力這一道德問題外，正當(dāng)性還有制度之維。依據(jù)分配給公共機(jī)構(gòu)及其官員的不同職責(zé)，（專業(yè)）能力是闡明公眾期望的一種方式。因此，人工智能人類監(jiān)督者能力的缺失會(huì)對(duì)制度層面的正當(dāng)性產(chǎn)生影響。正當(dāng)性原則直接適用于公共機(jī)構(gòu)的人工智能監(jiān)督和公共服務(wù)的供給。然而，算法問責(zé)制的研究認(rèn)為，正當(dāng)性的需求也擴(kuò)展至私人機(jī)構(gòu)，因?yàn)樽詣?dòng)決策系統(tǒng)的設(shè)計(jì)、操作和結(jié)果必須面向所有決策所涉對(duì)象進(jìn)行正當(dāng)化。

有學(xué)者最近建議，應(yīng)要求公共機(jī)構(gòu)報(bào)告說明實(shí)施算法決策系統(tǒng)的理由。此外，無論提出何種形式的人類監(jiān)督，其功能都需要有經(jīng)驗(yàn)證據(jù)的支持。如果缺乏這種證據(jù)，則應(yīng)通過“人機(jī)協(xié)作的實(shí)驗(yàn)性評(píng)估”來獲取。換句話說，其主張要求提供人類監(jiān)督能力的證明，以證實(shí)在政府中使用人工智能是正當(dāng)?shù)摹?/p>

這種方法在很大程度上值得肯定，至少在有可行基準(zhǔn)的情況下是如此。雖然避免死亡和傷害應(yīng)當(dāng)是無可爭(zhēng)議的安全基準(zhǔn)，但要證明人類監(jiān)督者在保護(hù)基本權(quán)利方面達(dá)到令人滿意的程度，可能仍存在不確定性。這需要就什么是良好的規(guī)范性結(jié)果達(dá)成一致，例如算法決策的公平性。因此，對(duì)人工智能使用及其監(jiān)督的書面證明方法必須謹(jǐn)慎，以免造成規(guī)范確定性的錯(cuò)覺。

新興的監(jiān)督法律確證了正當(dāng)性的制度之維。如前所示，aia要求人類監(jiān)督者具備勝任能力（或“人工智能素養(yǎng)”）、訓(xùn)練有素，并有足夠的權(quán)限干預(yù)人工智能系統(tǒng)。然而，將實(shí)證測(cè)試人類監(jiān)督有效性的做法解釋為aia提案的要求，可能過于激進(jìn)。當(dāng)然，這并不意味著這種測(cè)試不利于滿足正當(dāng)性原則。

就表2而言，正當(dāng)性在制度層面直接涉及a、b領(lǐng)域。無論一級(jí)和二級(jí)監(jiān)督者在特定人工智能系統(tǒng)中的績(jī)效標(biāo)準(zhǔn)如何，他們都必須可靠地執(zhí)行自己的任務(wù)。需要注意的是，一級(jí)和二級(jí)監(jiān)督者可能需要不同的專業(yè)能力。一名與人工智能系統(tǒng)合作為患者尋找最佳治療方案的醫(yī)生，顯然既要具備醫(yī)療能力，也要具備與醫(yī)療人工智能互動(dòng)的能力。一名醫(yī)院人工智能系統(tǒng)的審計(jì)人員卻不一定需要完整的醫(yī)學(xué)教育背景，而是需要經(jīng)歷高級(jí)統(tǒng)計(jì)學(xué)培訓(xùn)，以檢測(cè)治療建議中的偏差。

錯(cuò)誤的激勵(lì)同樣會(huì)妨礙人類監(jiān)督的有效性，因而關(guān)系到正當(dāng)性的制度之維（c和d領(lǐng)域）。例如，外部激勵(lì)結(jié)構(gòu)或內(nèi)在動(dòng)機(jī)如何影響人類監(jiān)督者的表現(xiàn)，仍待進(jìn)一步研究。因此，正當(dāng)性原則的啟發(fā)是對(duì)人類監(jiān)督的行為因素進(jìn)行實(shí)證測(cè)試。

2.定期輪換（d）

aia要求人工智能系統(tǒng)提供商通過內(nèi)部控制或第三方審計(jì)（“第三方指定機(jī)構(gòu)”）來評(píng)估合規(guī)性。人工智能開發(fā)商將能夠選擇自己的審計(jì)師，實(shí)施審計(jì)師輪換制度可以保護(hù)審計(jì)師免受開發(fā)商利益影響，從而提升其公正性。在一個(gè)由特別強(qiáng)大的市場(chǎng)參與者主導(dǎo)的人工智能經(jīng)濟(jì)中，外部審計(jì)師（即二級(jí)人類監(jiān)督者）可能會(huì)為了獲得重復(fù)委托而迎合客戶的需求。

但與此同時(shí)，定期輪換可能會(huì)削弱審計(jì)師的能力，因?yàn)樗麄冃枰@得診查人工智能系統(tǒng)的技能和經(jīng)驗(yàn)。因此，制度設(shè)計(jì)必須在原則之間權(quán)衡取舍。正當(dāng)性原則要求勝任能力，但定期輪換原則可能削弱之。這要求人工智能治理在兩者之間尋求平衡，例如引入一定的輪換，同時(shí)要求一定的最低能力門檻。因此，定期輪換原則主要是解決d領(lǐng)域的問題，但可能對(duì)b領(lǐng)域產(chǎn)生不利影響。

3.集體決策（a*、b*、c、d）

集體決策原則假定某些決策者可能存在有害動(dòng)機(jī)。正如布萊斯維特所言：“當(dāng)我們以12名公民而不是1名公民作為陪審團(tuán)時(shí)，我們就通過人數(shù)來將對(duì)某些陪審員可能受賄的不信任進(jìn)行了制度化?！盿ia第14條第5款規(guī)定，對(duì)于附件iii第1條第a項(xiàng)提及的高風(fēng)險(xiǎn)人工智能系統(tǒng)，行動(dòng)決定需要“由至少2名自然人核實(shí)和確認(rèn)”。這里涉及的人工智能系統(tǒng)是用于自然人遠(yuǎn)程生物識(shí)別的。關(guān)于其理由和范圍，該條款留下了許多懸而未決的問題，因?yàn)樗鼪]有說明為什么對(duì)于生物識(shí)別，2名人類監(jiān)督者比1名更好。我們可以將其重構(gòu)為一種制度設(shè)計(jì)選擇，以防止錯(cuò)誤激勵(lì)妨礙對(duì)生物識(shí)別系統(tǒng)的有效監(jiān)督。

從積極角度來看，集體可能改善決策。群體可以通過多樣性提高其認(rèn)知能力。如果我們匯總成員的判斷，個(gè)人偏見可能會(huì)相互抵消。通過增加具有不同生活經(jīng)歷和解決問題認(rèn)知技能的成員，給定有利條件，三個(gè)臭皮匠也可能賽過諸葛亮。例如，在內(nèi)容審查中，有通過眾包來利用多樣性的嘗試。meta的監(jiān)督委員會(huì)“包括來自不同文化和專業(yè)背景的成員”，從而增加了其五人小組在審查和裁決案件時(shí)的認(rèn)知多樣性。如果aia第14條第5款旨在通過集體決策來提高監(jiān)督能力，它應(yīng)該增加第3名成員，因?yàn)閮扇诵〗M幾乎總是太小，無法綜合其成員的判斷以獲得認(rèn)知收益。

集體決策需要借助社會(huì)選擇理論。群體決策可能會(huì)出現(xiàn)級(jí)聯(lián)或循環(huán)。群體可能會(huì)兩極化或放大成員的個(gè)人錯(cuò)誤，而非糾正它們。因此，集體決策需要精心設(shè)計(jì)的決策規(guī)則，例如究竟是多數(shù)決還是一致決，是匯總意見綜合判斷還是就結(jié)果進(jìn)行辯論協(xié)商。因此，通過集體決策提高能力并非必然結(jié)果，這就是筆者對(duì)a和b領(lǐng)域標(biāo)記了星號(hào)的原因。

4.機(jī)構(gòu)權(quán)力有限性（b*、d）

正如什托姆普卡寫道，限制機(jī)構(gòu)的權(quán)限“意味著對(duì)機(jī)構(gòu)將傾向于擴(kuò)張、壟斷決策、濫用權(quán)力的懷疑”。權(quán)力的分置是將不信任制度化的最古老原則之一。

在分層的人類監(jiān)督結(jié)構(gòu)中，二級(jí)監(jiān)督者對(duì)一級(jí)監(jiān)督者進(jìn)行制衡。國(guó)家主管部門（aia第59條）和第三方指定機(jī)構(gòu)（aia第33條）可能試圖擴(kuò)大其在aia下的權(quán)力。在人工智能治理中，一個(gè)機(jī)構(gòu)擴(kuò)張權(quán)限的能力很可能取決于其技術(shù)能力和對(duì)人工智能技術(shù)的理解。一個(gè)監(jiān)督機(jī)構(gòu)越能夠展現(xiàn)出其技術(shù)能力，越能夠滿足其受眾的利益，其他機(jī)構(gòu)就越可能傾向于遵從其決定。aia第37條為質(zhì)疑第三方指定機(jī)構(gòu)資格提供了一個(gè)結(jié)構(gòu)化程序。然而，這一程序?qū)崿F(xiàn)的是正當(dāng)性原則：合法權(quán)威要求專業(yè)勝任能力，而限制有能力的機(jī)構(gòu)的權(quán)力并將決策權(quán)重新分配給勝任能力較低的機(jī)構(gòu)，面臨著正當(dāng)性障礙。

因此，人工智能治理將受益于建立具有相對(duì)技術(shù)能力水平的二級(jí)監(jiān)督機(jī)構(gòu)，允許在二級(jí)監(jiān)督者之間進(jìn)行垂直控制。允許監(jiān)督提供者之間進(jìn)行競(jìng)爭(zhēng)的基于市場(chǎng)的解決方案可能會(huì)奏效。再次借鑒航空領(lǐng)域，軟自動(dòng)化與硬自動(dòng)化的不同設(shè)計(jì)方法是由兩個(gè)市場(chǎng)競(jìng)爭(zhēng)對(duì)手開發(fā)的：空客（硬自動(dòng)化）和波音（軟自動(dòng)化）在開發(fā)最佳方法上相互競(jìng)爭(zhēng)。鑒于此，限制機(jī)構(gòu)的權(quán)限主要解決d領(lǐng)域的問題。如果監(jiān)督提供者之間的競(jìng)爭(zhēng)是基于能力進(jìn)行的，則可能對(duì)b領(lǐng)域產(chǎn)生積極影響（因而用星號(hào)標(biāo)記）。

5.可訴性和問責(zé)制（a、b、c、d）

在民主國(guó)家，個(gè)人權(quán)利使公民能夠?qū)⑺饺撕凸矙C(jī)構(gòu)（以及其他公民）告上法庭，以主張其正當(dāng)訴求。aia提案因未包括個(gè)人質(zhì)疑自動(dòng)化決定并尋求補(bǔ)救的程序性權(quán)利而受到批評(píng)。因此，歐盟理事會(huì)和歐洲議會(huì)都提議納入個(gè)人向國(guó)家監(jiān)管機(jī)構(gòu)提出申訴的權(quán)利（歐盟理事會(huì)版aia第63條第11款；歐洲議會(huì)版aia第68a條）。根據(jù)aia的最終措辭，受人工智能系統(tǒng)不利影響的個(gè)人可能會(huì)要求無效的人類監(jiān)督者承擔(dān)責(zé)任。

通過二級(jí)監(jiān)督提起申訴是另一條問責(zé)途徑。aia第45條要求成員國(guó)“確保對(duì)第三方指定機(jī)構(gòu)的決定提供申訴程序，供該決定涉及的合法利益相關(guān)方使用”。界定“合法利益”的范圍可能成為一個(gè)爭(zhēng)議問題。但申訴作為一種制度措施仍是人工智能治理結(jié)構(gòu)中的寶貴補(bǔ)充。如前所述，meta已在其私人機(jī)構(gòu)中設(shè)置了一個(gè)申訴機(jī)構(gòu)——監(jiān)督委員會(huì)。

我們還可以考慮是否應(yīng)引入針對(duì)人類監(jiān)督者的責(zé)任索賠制度，這在現(xiàn)有的行業(yè)法規(guī)中尚不存在。醫(yī)生等一級(jí)監(jiān)督者已經(jīng)受到過失和不端行為制度的約束。申訴程序和責(zé)任制度可以在一級(jí)或二級(jí)人類監(jiān)督因故意或過失而失效時(shí)進(jìn)行干預(yù)。在這方面，歐盟委員會(huì)2022年新提出的《人工智能責(zé)任指令》（aild）和修訂的《產(chǎn)品責(zé)任指令》（pld）具有重要意義。然而，在其當(dāng)前的草案版本中，aild提案似乎不適用于人類監(jiān)督者在人工智能輸出和損害之間進(jìn)行干預(yù)的情況。

雖然對(duì)一級(jí)監(jiān)督?jīng)Q定的申訴自然涉及a和c領(lǐng)域，但責(zé)任制度可以針對(duì)二級(jí)和一級(jí)監(jiān)督者，從而涵蓋從a到d的所有關(guān)注領(lǐng)域。為使其有效，決策所涉對(duì)象通常需要獲得人類監(jiān)督設(shè)計(jì)和運(yùn)作的理由和解釋。否則，他們將缺乏關(guān)于人類監(jiān)督者何時(shí)、為何以及如何未能完成任務(wù)的信息。因此，可訴性和問責(zé)制原則依賴于正當(dāng)性原則的實(shí)施，以及根據(jù)下面介紹的透明度原則所披露的信息。

6.透明度（a、b、c、d）

透明度制度能激發(fā)信任。o1i3自動(dòng)化決策系統(tǒng)長(zhǎng)期以來一直與不透明和“黑箱”決策聯(lián)系在一起。目前，可解釋的人工智能和算法透明度已成為人工智能治理的關(guān)鍵機(jī)制，得到政策制定者和學(xué)界的擁護(hù)。人工智能的代碼、數(shù)據(jù)和開發(fā)過程的透明度是人類有效監(jiān)督的必要條件。但就本文而言，問題在于，人類監(jiān)督本身應(yīng)該有多透明？

首先，需要明確人類參與是真實(shí)的還是僅僅是表面上的。人工智能部署者有動(dòng)機(jī)創(chuàng)造“人機(jī)回路”的假象，以避免流失某些用戶。例如，聊天機(jī)器人可能模仿人類交談的方式，包括停頓和習(xí)慣動(dòng)作，以避免給人完全自動(dòng)化的印象。因此，利用模仿人類的人工智能來操縱人類信任的風(fēng)險(xiǎn)是客觀存在的。如前所述，如果告知有人類參與人機(jī)循環(huán)之中，人們會(huì)更加信任該人工智能系統(tǒng)。自動(dòng)化輔助設(shè)備如果給人以人性化的印象，人們會(huì)認(rèn)為其更值得信賴。

其次，如果人類監(jiān)督本身在某種程度上依賴于人工智能，那么這一事實(shí)也應(yīng)該被披露。此外，用于人工智能輔助監(jiān)督的方法和數(shù)據(jù)也應(yīng)該透明化。同樣，正當(dāng)性原則所建議的人類監(jiān)督者績(jī)效實(shí)證測(cè)試結(jié)果，也應(yīng)公開共享，特別是涉及公共部門使用人工智能時(shí)。人類監(jiān)督實(shí)踐的設(shè)計(jì)和運(yùn)作也應(yīng)公之于眾。

最后，透明度需要的不僅僅是提供信息。如果公眾應(yīng)當(dāng)信任人類監(jiān)督，那么關(guān)于其程序和績(jī)效的透明信息就需要讓普通公民易于理解。由此，透明度原則有助于緩解一級(jí)和二級(jí)人類監(jiān)督者的能力挑戰(zhàn)和激勵(lì)問題。

（三）

小結(jié)

綜上所述，制度化不信任的六項(xiàng)原則處理了本文確定的所有關(guān)注領(lǐng)域。這些原則相互關(guān)聯(lián)。它們可以相互強(qiáng)化，如透明度原則和正當(dāng)性原則；也可能相互沖突，如定期輪換可以幫助防止監(jiān)督者追求有害目標(biāo)，但也可能阻礙正當(dāng)性原則所要求的能力。因此，在實(shí)現(xiàn)所有原則時(shí)，必須進(jìn)行權(quán)衡和進(jìn)一步的規(guī)范性抉擇。此外，還有一個(gè)基準(zhǔn)問題，即監(jiān)督角色的制度設(shè)計(jì)應(yīng)實(shí)現(xiàn)何種目標(biāo)。究竟是根據(jù)其“阻止預(yù)防”良好結(jié)果的能力來從負(fù)面評(píng)估人類監(jiān)督，如通過消除決策中的偏見等扭曲因素；還是根據(jù)其產(chǎn)生良好結(jié)果的能力（如通過集體決策增強(qiáng)能力）來積極評(píng)估它？積極方法需要知道或決定何為好結(jié)果。對(duì)于安全這一理由而言，可接受的基準(zhǔn)可能更容易達(dá)成共識(shí)，而就公平性等價(jià)值判斷達(dá)成一致則較為困難。

表3  六項(xiàng)原則的預(yù)期效應(yīng)

表3概述了每項(xiàng)原則對(duì)每個(gè)關(guān)注領(lǐng)域的預(yù)期效應(yīng)。雖然所有適用的原則都積極解決了c和d（一級(jí)和二級(jí)監(jiān)督者的錯(cuò)誤激勵(lì)），但它們對(duì)a和b領(lǐng)域（一級(jí)和二級(jí)監(jiān)督者缺乏能力）的影響似乎不太確定。在最壞的情況下，引入定期輪換制可能會(huì)對(duì)能力產(chǎn)生負(fù)面影響。此外，這六項(xiàng)原則對(duì)一級(jí)和二級(jí)監(jiān)督者的影響沒有差別。考慮到本文的一般性，這也在意料之中。在特定人工智能系統(tǒng)的本地層面，這兩類監(jiān)督者的影響可能會(huì)有所不同。定期輪換原則和機(jī)構(gòu)權(quán)力有限原則僅適用于二級(jí)監(jiān)督。

結(jié)論

利用不信任來設(shè)計(jì)制度在民主理論中有著悠久的傳統(tǒng)，將其應(yīng)用于對(duì)人工智能的人類監(jiān)督，可以使人工智能治理更值得信賴。并且，根據(jù)什托姆普卡的民主悖論，這將激發(fā)人們對(duì)人工智能的適當(dāng)信任。本文提出的原則為在局部人工智能系統(tǒng)中實(shí)施可信人類監(jiān)督提供了框架。aia第14條等橫向規(guī)定通常只能提供一般性要求，例如監(jiān)督必須有效。正當(dāng)性原則已經(jīng)表明，明顯無效的監(jiān)督是不值得信任的。aia下的標(biāo)準(zhǔn)化應(yīng)強(qiáng)制披露人類監(jiān)督者績(jī)效的信息。其他五項(xiàng)原則通常會(huì)通過提高勝任能力或限制錯(cuò)誤激勵(lì)的影響來提高監(jiān)督的有效性。

此外，本文對(duì)aia的分析表明，人類監(jiān)督是人工智能開發(fā)者和用戶共同的責(zé)任。執(zhí)行監(jiān)督的義務(wù)主要落在用戶身上，但對(duì)于持續(xù)學(xué)習(xí)的人工智能系統(tǒng)，還應(yīng)根據(jù)具體情況決定是否包含開發(fā)者。本文提出的監(jiān)督角色分類，有助于針對(duì)不同類型的監(jiān)督提出改進(jìn)有效性的建議。具體規(guī)范可以根據(jù)監(jiān)督是否構(gòu)成或糾正人工智能的輸出來進(jìn)行調(diào)整。到目前為止，新興的監(jiān)督法律還沒有徹底區(qū)分這些監(jiān)督的類型。

最后，人工智能系統(tǒng)似乎日益將人類自由裁量權(quán)置于審查之下，迫使人們?yōu)樽约旱谋憩F(xiàn)辯護(hù)，以與自動(dòng)化決策的度量結(jié)果相抗衡。本文提出的制度化不信任原則旨在推動(dòng)一種基于績(jī)效的人機(jī)比較體系。但人類監(jiān)督的本質(zhì)在于維持人類對(duì)技術(shù)的控制權(quán)。因此，將人類監(jiān)督者能力和動(dòng)機(jī)的不信任制度化，其目的僅在于防止最壞后果并提升監(jiān)督者的績(jī)效，而非為消除人類控制提供論據(jù)。

往期精彩回顧

牛英豪｜區(qū)域環(huán)境橫向立法統(tǒng)一的邏輯研究

王雨彬｜監(jiān)察法中適用證據(jù)困境及解決路徑

目錄｜《上海法學(xué)研究》2024總第12卷

迪克·施陶登邁爾 鮑伊帆 譯｜人工智能責(zé)任——?dú)W洲私法對(duì)數(shù)字化的侵權(quán)法適應(yīng)

迪米特里奧斯·利納達(dá)托斯 趙詩文 譯｜在民法案例研究中的人工智能

約納森·阿貝爾等｜生成式解釋

上海市法學(xué)會(huì)官網(wǎng)

http://www.sls.org.cn

上觀號(hào)作者：上海市法學(xué)會(huì)

特別聲明：本文經(jīng)上觀新聞客戶端的“上觀號(hào)”入駐單位授權(quán)發(fā)布，僅代表該入駐單位觀點(diǎn)，“上觀新聞”僅為信息發(fā)布平臺(tái)，如您認(rèn)為發(fā)布內(nèi)容侵犯您的相關(guān)權(quán)益，請(qǐng)聯(lián)系刪除!