走出去智庫（CGGT）觀察

由走出去智庫（CGGT）提供學(xué)術(shù)資源支持的《深圳法治評論》2025年第二期《專論》欄目聚焦“創(chuàng)新自動駕駛汽車管理制度體系”，約請法律專家建言獻(xiàn)策。

西南政法大學(xué)民商法學(xué)院鄭志峰教授的文章《自動駕駛汽車如何應(yīng)對“電車難題”》，闡述了自動駕駛汽車如何應(yīng)對“電車難題”，分析了“機器人三法則”在自動駕駛汽車運行管理中具有局限性后， 提出了應(yīng)當(dāng)為自動駕駛汽車設(shè)置“機器人碰撞三法則”，并肯定了深圳自動駕駛汽車前沿立法探索破解“電車難題”的做法。

《深圳法治評論》由中共深圳市委全面依法治市委員會辦公室、深圳市司法局主辦，定位于高端領(lǐng)導(dǎo)決策讀物，聚焦深圳法治建設(shè)，刊發(fā)高水平、可實操的應(yīng)用性政策研究，輔助市領(lǐng)導(dǎo)及本市黨政機關(guān)領(lǐng)導(dǎo)干部法治建設(shè)方面決策，為支持深圳建設(shè)中國特色社會主義法治先行示范城市建言獻(xiàn)策?！渡钲诜ㄖ卧u論》在2020-2024年連續(xù)五年榮膺深圳內(nèi)刊傳媒獎之“優(yōu)秀城市內(nèi)刊獎”。自2020年創(chuàng)刊起，走出去智庫（CGGT）即為該高端決策讀物提供學(xué)術(shù)資源支持。

今天，走出去智庫（CGGT）微信公眾號刊發(fā)西南政法大學(xué)民商法學(xué)院鄭志峰教授的文章《自動駕駛汽車如何應(yīng)對“電車難題”》，供關(guān)注自動駕駛汽車法規(guī)的讀者參考。

要點

1、“電車難題”對自動駕駛技術(shù)具有重要的規(guī)范價值，直接關(guān)系到產(chǎn)品準(zhǔn)入、責(zé)任分配等法律制度設(shè)計，絕非空洞的智力游戲，而是關(guān)乎人機法律秩序是否以人為本的根本問題。

2、機器人三法則完全以人類利益為中心，并不必然體現(xiàn)真正的“善”。第二法則要求機器人無條件服從人類命令，只要不違反第一法則。這將賦予每個人類對機器人極大的支配權(quán)，即便出于無理甚至惡意的目的，人類仍可命令機器人傷害自己或自毀。

3、《深圳經(jīng)濟(jì)特區(qū)智能網(wǎng)聯(lián)汽車管理條例》高度重視安全管理，明確實行產(chǎn)品準(zhǔn)入制度，從源頭減少“電車難題”的發(fā)生。

正文

文/鄭志峰

西南政法大學(xué)民商法學(xué)院教授、博士生導(dǎo)師，科技法學(xué)研究院副院長

想象一下，在未來某個遙遠(yuǎn)的時刻，您的自動駕駛汽車遇到一個可怕的兩難選擇：它必須向左轉(zhuǎn)，撞向一個八歲的小女孩，或者向右轉(zhuǎn)，撞向一位八十歲的祖母。根據(jù)汽車的速度，無論選擇哪一方，受害者都將喪生。這是“電車難題”在自動駕駛時代新版本的體現(xiàn)。既然自動駕駛汽車將取代人類駕駛員，就必須遵循人類的倫理準(zhǔn)則。然而，讓機器具備倫理判斷能力極具挑戰(zhàn)性。歷史上，阿西莫夫提出“機器人三定律”，試圖規(guī)范機器人行為，但其在兩難困境中的效用仍存爭議。如何應(yīng)對倫理困境，不僅是技術(shù)問題，更可能影響自動駕駛汽車的準(zhǔn)入標(biāo)準(zhǔn)與責(zé)任認(rèn)定，值得深思。

“電車難題”的法律意義

“電車難題”自提出以來爭議不斷，至今仍無定論。在此背景下，探討其對自動駕駛汽車是否具有現(xiàn)實意義？筆者認(rèn)為，“電車難題”對自動駕駛技術(shù)具有重要的規(guī)范價值，直接關(guān)系到產(chǎn)品準(zhǔn)入、責(zé)任分配等法律制度設(shè)計，絕非空洞的智力游戲，而是關(guān)乎人機法律秩序是否以人為本的根本問題。

自動駕駛汽車面臨“電車難題”的可能性客觀存在

首先，作為新興技術(shù)，其安全性只能是相對的，即便系統(tǒng)完善，也無法完全避免碰撞事故。其次，自動駕駛技術(shù)尚處于發(fā)展階段，在可預(yù)見的很長一段時間內(nèi)仍將與傳統(tǒng)車輛并存，“電車難題”短期內(nèi)無法回避。最后，“電車難題”的成因多樣，既可能源于自動駕駛汽車本身的剎車故障或系統(tǒng)缺陷，也可能由其他交通參與者的違規(guī)行為引發(fā)，或因惡劣天氣與復(fù)雜路況等意外因素導(dǎo)致。因此，僅憑技術(shù)進(jìn)步尚不足以徹底避免“電車難題”的發(fā)生。

“電車難題”也會影響著自動駕駛汽車相關(guān)法律制度的設(shè)計

當(dāng)面臨“電車難題”時，自動駕駛汽車不可避免地會對一方造成損害，從而引發(fā)生產(chǎn)者、使用者、保險公司之間的責(zé)任分擔(dān)問題。而生產(chǎn)者是否設(shè)計出合理應(yīng)對該問題的算法系統(tǒng)，還將直接影響產(chǎn)品的市場準(zhǔn)入。

在域外，德國早在 2017 年發(fā)布了《自動和網(wǎng)聯(lián)車輛交通倫理準(zhǔn)則》，2021 年通過的《自動駕駛法案》，第 1e 條第 2 款第 2 項要求自動駕駛系統(tǒng)在不可避免的事故中權(quán)衡法益，優(yōu)先保護(hù)人的生命，并不得依據(jù)個體特征設(shè)定差別權(quán)重，直面“電車難題”。在國內(nèi)，2022 年制定的《上海市浦東新區(qū)促進(jìn)無駕駛?cè)酥悄芫W(wǎng)聯(lián)汽車創(chuàng)新應(yīng)用規(guī)定》第 32 條規(guī)定，若自動駕駛汽車違反倫理要求或存在重大風(fēng)險，應(yīng)終止其應(yīng)用。2023年工信部等四部委制定的《關(guān)于開展智能網(wǎng)聯(lián)汽車準(zhǔn)入和上路通行試點工作的通知》明確指出，系統(tǒng)應(yīng)避免對駕乘人員和其他交通參與者造成不合理風(fēng)險，事故不可避免時應(yīng)采取合理控制策略。2024 年 AI 善治學(xué)術(shù)小組提出的《人工智能法（學(xué)者建議稿）》亦在第 75 條第 2 款中要求，不得對交通參與者進(jìn)行不合理差別對待。因此，討論“電車難題”具有現(xiàn)實意義，會影響自動駕駛汽車乃至人工智能的法律設(shè)計。

“機器人三法則”的局限

阿西莫夫被讀者譽為“神一樣的人”，其在1942 年短篇小說《環(huán)舞》中提出了著名的“機器人三法則”。

“機器人三法則”的內(nèi)容

一是不得傷害人類或坐視人類受傷（不傷害法則）；

二是須服從人類命令，除非與第一法則沖突（服從法則）；

三是在不違反前兩法則下保護(hù)自己（保護(hù)法則）。

1986 年，他在長篇小說《機器人與帝國》中又提出“零號法則”：機器人不得傷害人類，或因不作為致其受害。只不過零號法則提出較晚，不如機器人三法則名氣大，在科幻小說和法學(xué)界，人們習(xí)慣上仍稱之為機器人三法則。

機器人三法則備受推崇，被稱為“當(dāng)代機器人學(xué)的基本法則”“現(xiàn)代機器人學(xué)的基石”。即使是放在當(dāng)前的人工智能環(huán)境中，該法則也是非常具有啟發(fā)意義的倫理指引。2016 年歐盟制定的《機器人技術(shù)民事法律規(guī)則》就明確指出，“阿西莫夫機器人三法則應(yīng)當(dāng)可以直接適用于具有自主性和自我學(xué)習(xí)能力的機器人的設(shè)計者、生產(chǎn)者和操作者，盡管這些法則并不能被轉(zhuǎn)換成機器代碼”。

“機器人三法則”的困境

那么，機器人三法則是否可以解決兩難困境呢？筆者認(rèn)為，答案是否定的。

首先，機器人三法則存在內(nèi)

在沖突阿西莫夫在小說《環(huán)舞》中便展現(xiàn)了這一矛盾：兩名宇航員在水星執(zhí)行任務(wù)時，一名宇航員命令機器人斯皮迪采集硒礦。但斯皮迪在硒礦湖附近徘徊不前——靠近硒礦湖會觸發(fā)第三法則（自我保護(hù)），遠(yuǎn)離后又觸發(fā)第二法則（服從命令）。

兩個法則不斷拉扯，使機器人陷入循環(huán)。這源于斯皮迪造價昂貴，程序上加強了自我保護(hù)機制，使第三法則權(quán)重上升，最終與第二法則產(chǎn)生沖突。由此可見，機器人三法則本身正是建立在邏輯張力之上，若其完全協(xié)調(diào)，許多科幻作品便不會有如此豐富的戲劇沖突。

其次，機器人三法則并不完全符合倫理

機器人三法則完全以人類利益為中心，并不必然體現(xiàn)真正的“善”。第二法則要求機器人無條件服從人類命令，只要不違反第一法則。這將賦予每個人類對機器人極大的支配權(quán)，即便出于無理甚至惡意的目的，人類仍可命令機器人傷害自己或自毀。由于服從法則優(yōu)先于保護(hù)法則，機器人對自身無法有效防護(hù)。這種權(quán)力結(jié)構(gòu)并不構(gòu)成人機和諧的倫理基礎(chǔ)。理想的機器人倫理，不僅應(yīng)規(guī)范機器人行為，也應(yīng)反向促進(jìn)人類的道德自律。

最后，機器人三法則無法解決兩難困境

機器人三法則的邏輯預(yù)設(shè)機器人總能找到不傷害人類的“好”選擇，然而現(xiàn)實中常有道德兩難：自動駕駛汽車面對小女孩和祖母，轉(zhuǎn)向或直行都會造成傷害。此時，機器人無論如何抉擇，都將違背第一法則，陷入倫理困境。更復(fù)雜的是，機器人三法則未明確“傷害”的程度區(qū)分，在生命與健康、重傷與輕傷之間缺乏判斷標(biāo)準(zhǔn)。例如，撞擊小女孩可能致命，而撞擊祖母僅造成輕傷，但機器人三法則對此無能為力。

“機器人碰撞三法則”的提出

為破解“電車難題”的道德困境，應(yīng)立足于提升全體交通參與者安全的目標(biāo)，為自動駕駛汽車構(gòu)建“機器人碰撞三法則”。

第一法則：生命利益優(yōu)先法則

生命利益應(yīng)優(yōu)先于財產(chǎn)與動物利益，這在德國《自動和網(wǎng)聯(lián)車輛交通倫理準(zhǔn)則》第 7 條中已有體現(xiàn)。無論車內(nèi)外人員，生命利益都應(yīng)被優(yōu)先保障。與此同時，生命利益有條件地優(yōu)于健康利益，如自動駕駛汽車直行會導(dǎo)致甲死亡，左轉(zhuǎn)僅會使乙受傷，此時可選擇左轉(zhuǎn)。但這種“優(yōu)先”并非無條件：若為挽救一人生命而導(dǎo)致多人重傷，則道德上難以正當(dāng)化。因此，僅當(dāng)健康損害輕微且能換取較大生命利益時，生命利益才可優(yōu)先。

第二法則：遵守交通法規(guī)優(yōu)先法則

交通法規(guī)維護(hù)多數(shù)人安全，應(yīng)被自動駕駛系統(tǒng)優(yōu)先遵循。當(dāng)兩難困境源于一方違法，自動駕駛汽車應(yīng)優(yōu)先保護(hù)守法一方。例如，逆行騎手與正常過路人構(gòu)成沖突，應(yīng)由違法者承擔(dān)后果，車輛應(yīng)直行，不應(yīng)轉(zhuǎn)向以犧牲他人安全。即使違法者人數(shù)更多，如五人騎手逆行，也不應(yīng)轉(zhuǎn)向撞向守法個體或犧牲車內(nèi)乘客。唯有堅守這一底線，才能真正維護(hù)規(guī)則的權(quán)威，促使公眾普遍遵守法律。

第三法則：不改變路線兜底法則

前兩種法則無法涵蓋所有情形，如兩人都違反交通規(guī)則，或都遵守交通規(guī)則時，該如何抉擇？此時，“不改變路線”可作為兜底機制。例如，自動駕駛汽車直行撞到甲、左轉(zhuǎn)撞到乙、右轉(zhuǎn)犧牲乘客，甲乙均違法，生命利益也相等，此時應(yīng)維持既定路線，選擇直行。同理，在雙方都守法的情況下，也應(yīng)適用該法則，避免人為選擇決定生死。

深圳對“電車難題”的前沿探索

作為我國自動駕駛汽車發(fā)展的先行城市，深圳不斷探索解決相關(guān)法律問題，推動產(chǎn)業(yè)加速發(fā)展。2022 年，深圳出臺全國首部規(guī)范智能網(wǎng)聯(lián)汽車管理的法規(guī)——《深圳經(jīng)濟(jì)特區(qū)智能網(wǎng)聯(lián)汽車管理條例》（以下簡稱《條例》），為自動駕駛汽車的準(zhǔn)入、管理與責(zé)任劃分提供了制度保障。

2023 年，深圳發(fā)布十項地方標(biāo)準(zhǔn)，構(gòu)建起地方技術(shù)準(zhǔn)入體系，成為全國首個制定智能網(wǎng)聯(lián)汽車標(biāo)準(zhǔn)的城市。在應(yīng)對“電車難題”方面，深圳也展開了諸多前沿探索。

堅持產(chǎn)品準(zhǔn)入

《條例》高度重視安全管理，明確實行產(chǎn)品準(zhǔn)入制度，從源頭減少“電車難題”的發(fā)生。一方面，生產(chǎn)者與銷售者須對產(chǎn)品質(zhì)量安全負(fù)責(zé)，建立可追溯機制；另一方面，需完善售后服務(wù)體系，若發(fā)生重大故障，應(yīng)及時提供技術(shù)支持與救援服務(wù)。此外，生產(chǎn)者若發(fā)現(xiàn)產(chǎn)品存在缺陷，應(yīng)立即調(diào)查并向監(jiān)管部門報告，確認(rèn)為缺陷產(chǎn)品的，必須停止相關(guān)活動并實施召回，經(jīng)營者也須配合處理。

堅持全生命周期安全

除功能安全與預(yù)期功能安全外，《條例》還強調(diào)網(wǎng)絡(luò)安全與數(shù)據(jù)安全，防止黑客入侵引發(fā)風(fēng)險。企業(yè)應(yīng)依法取得安全認(rèn)證，建立應(yīng)急預(yù)案與數(shù)據(jù)管理制度，確保信息安全。在產(chǎn)品使用中，要求車輛配置自動駕駛模式外部指示燈，運行時需開啟，提醒他人注意；駕駛?cè)藙t須按規(guī)定掌握并規(guī)范使用自動駕駛功能，履行相應(yīng)義務(wù)。

堅持以人為本

《條例》注重落實倫理困境下的“人在環(huán)內(nèi)”原則，保障人在“電車難題”中的參與權(quán)。具言之，有條件和高度自動駕駛汽車必須具備人工駕駛模式，配備駕駛?cè)?，駕駛?cè)诵柙隈{駛座監(jiān)控車輛狀態(tài)，隨時準(zhǔn)備接管。完全自動駕駛汽車應(yīng)具備故障或危險情形下自動采取避險措施的能力，如減速、遠(yuǎn)程接管等。由于完全自動駕駛短期難以全面落地，故可以認(rèn)為深圳強調(diào)的是人的決策參與，一旦發(fā)生“電車難題”，駕駛?cè)诵枰槿脒x擇。

（原文《自動駕駛汽車“電車難題”的倫理困境與立法因應(yīng)》發(fā)表于《法學(xué)》2024 年第 11 期，經(jīng)作者修改后在《深圳法治評論》刊發(fā)。）

免責(zé)聲明

本文僅代表原作者觀點，不代表走出去智庫立場。

延展閱讀

▌地緣政治風(fēng)險:

▌出口管制與制裁:

▌跨境數(shù)據(jù)監(jiān)管:

▌全球科技競爭:

▌品牌聲譽管理:

走出去智庫（CGGT）為《深圳法治評論》提供學(xué)術(shù)資源支持。