人工智能當(dāng)前在許多人看來仍然不過是實(shí)驗(yàn)室里的玩具，這是對人工智能當(dāng)前技術(shù)水平和實(shí)用效果一種極其嚴(yán)重的低估。

當(dāng)前圍繞人工智能，比擔(dān)憂《機(jī)械戰(zhàn)警》中的人工智能體的集體反叛更加急迫和現(xiàn)實(shí)的問題，是做出一個倫理決策：是否支持或反對發(fā)展致命性自主武器系統(tǒng)（lethal autonomous weapons systems，簡稱LAWS）。

自主武器系統(tǒng)的黎明

由韓國三星公司制造的SGR-A1是一個哨兵機(jī)器人，可以探測入侵者并主動發(fā)動攻擊。美國洛克希德·馬丁公司的AGM-158C是一種遠(yuǎn)程反艦導(dǎo)彈，它利用車載傳感器的輸入，能夠自發(fā)定位并打擊海上目標(biāo)。已經(jīng)部署的以色列鐵穹防御系統(tǒng)，可以自動探測導(dǎo)彈攻擊并發(fā)射防御導(dǎo)彈。所有這些武器系統(tǒng)都有一個共同的特點(diǎn)：能夠自發(fā)識別并打擊目標(biāo)。

根據(jù)美國國防部定義，自主武器系統(tǒng)是“一種武器系統(tǒng)，一旦被激活，無需人工干預(yù)就可以選擇并達(dá)成目標(biāo)”。這種系統(tǒng)由人類創(chuàng)造者授權(quán)調(diào)查周圍環(huán)境，在復(fù)雜算法的基礎(chǔ)上識別潛在的敵方目標(biāo)，獨(dú)立選擇并攻擊這些目標(biāo)。它需要集成幾個核心要素：移動作戰(zhàn)平臺，如無人駕駛飛機(jī)、船舶或地面車輛；各種類型的傳感器，用于檢查平臺的周圍環(huán)境；處理系統(tǒng)對傳感器發(fā)現(xiàn)的物體進(jìn)行分類；以及在檢測到被允許的目標(biāo)時，指示平臺發(fā)起攻擊的算法。而致命性自主武器系統(tǒng)則指，能夠殺傷人類的自主武器系統(tǒng)。

大規(guī)模開發(fā)LAWS代表了戰(zhàn)爭結(jié)構(gòu)轉(zhuǎn)型的潛在趨勢?，F(xiàn)有人工智能和機(jī)器人組件已經(jīng)可以提供可用的物理平臺、感知、運(yùn)動控制、導(dǎo)航、映射、戰(zhàn)術(shù)決策和長期規(guī)劃。目前的工作是把它們與武器系統(tǒng)進(jìn)一步有效組合起來。例如，汽車自動駕駛技術(shù)，與根據(jù)DeepMind的學(xué)習(xí)系統(tǒng)演化的戰(zhàn)術(shù)控制結(jié)合，可以支持戰(zhàn)場搜索和摧毀任務(wù)。

自主是一個程度問題，目前的戰(zhàn)場武器大都只是輔助性的，但顯然正在開發(fā)和測試的武器方向，是盡量降低人類的控制程度，最終使其能夠不需要人類的授權(quán)就可以主動發(fā)起攻擊。比如美國陸軍發(fā)布的一項LAWS的長期戰(zhàn)略指出，要采用漸進(jìn)式方法，從輔助系統(tǒng)開始，演化到無線遙控、遠(yuǎn)程操作、半自動功能，然后是完全自治系統(tǒng)。

從純技術(shù)角度來說，LAWS的戰(zhàn)斗表現(xiàn)具有不可否認(rèn)的軍事優(yōu)勢。LAWS也被稱為“戰(zhàn)斗機(jī)器人”，相對于人類士兵的招募、訓(xùn)練和維持費(fèi)用來說，可謂低廉；能克服人類士兵的一切生理限制——不僅能夠不知疲倦地工作，而且能克服傷亡帶來的嚴(yán)重?fù)p失；不存在人類士兵的心理問題，比如忠誠和勇敢……對于戰(zhàn)機(jī)和艦艇這樣的大型武器系統(tǒng)來說，LAWS的反應(yīng)比人工操作更靈敏、迅速、穩(wěn)定，活動范圍也更加廣闊。這種轉(zhuǎn)變與以前的軍事技術(shù)創(chuàng)新有著質(zhì)的不同，因此有人將它稱為繼火藥和核武器之后的第三次武器革命。

正因?yàn)橛锌赡軓母旧细淖儜?zhàn)爭的性質(zhì)，LAWS讓許多社會人士憂心重重。從敘利亞到韓國，從北約到美國本土，抗議開發(fā)并使用LAWS的呼聲此起彼伏。反對者認(rèn)為它不僅是一種更有效率的殺人武器，更重要的是，它的現(xiàn)實(shí)應(yīng)用將“跨越道德門檻”，威脅人類尊嚴(yán)并導(dǎo)致道德淪喪。

對暴力擴(kuò)大化的擔(dān)憂

對反對者來說，LAWS所具有的不可比擬的技術(shù)優(yōu)勢，正是它令人擔(dān)憂的原因。一方面，LAWS的研發(fā)和應(yīng)用很可能會導(dǎo)致全球新一輪軍備競賽，偏離人類和平與發(fā)展的時代主題。絕對的技術(shù)優(yōu)勢是現(xiàn)代戰(zhàn)爭堅定不移的追求目標(biāo)，占領(lǐng)這一技術(shù)的制高點(diǎn)就成為各大國或明或暗爭奪的核心。2014年，美國前國防部長查克·哈格爾提出了“第三抵消戰(zhàn)略”，即人工智能的快速發(fā)展將決定下一代戰(zhàn)爭。與此同時，美國國防部對人工智能、大數(shù)據(jù)和云計算的投資提高了25%。今年7月，俄羅斯政府的主要國防承包商卡拉什尼科夫宣布，它正在開發(fā)一種利用神經(jīng)網(wǎng)絡(luò)做出自主開槍的武器。日本、英國、以色列也在積極支持LAWS研究。新一輪軍備競賽不僅會耗費(fèi)大量的社會財富，導(dǎo)致經(jīng)濟(jì)結(jié)構(gòu)的畸形變化，而且嚴(yán)重威脅到和平與安全的社會氛圍，加劇國際社會的沖突和動蕩。

另一方面，LAWS進(jìn)一步增加了戰(zhàn)場上人類在生理和心理上的距離，使暴力的使用更容易或更不受控制。當(dāng)軍人不再親臨戰(zhàn)場，而是通過攝像機(jī)的引導(dǎo)在遙遠(yuǎn)的后方操縱軍事行動時，與敵人視覺接觸就消失了。因?yàn)椴荒苡H身經(jīng)歷戰(zhàn)場的殘酷與野蠻，也就不能激起他的同情和厭惡，一切看起來和他坐在家里打虛擬游戲的方式?jīng)]有太大不同。而且因?yàn)樗麤]有親自上戰(zhàn)場扣動扳機(jī)，所以戰(zhàn)場上的一切罪惡看起來都同他無關(guān)。他不必再有任何道德負(fù)擔(dān)和心理負(fù)擔(dān)，這就使他更加傾向于不受控制使用暴力。很多人相信，普遍的人性是阻止戰(zhàn)爭暴力的最后防線，而LAWS的使用弱化了人性的這種作用。

還有人質(zhì)疑LAWS的準(zhǔn)確率。原則上對LAWS最大的挑戰(zhàn)是識別，這要求不光要在復(fù)雜的戰(zhàn)場形勢下分清楚敵友，還要在敵方區(qū)域中分清楚戰(zhàn)斗人員和非戰(zhàn)斗人員。LAWS通常使用基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法。但是迄今為止，從技術(shù)原理上來講，這套算法體系是貪婪的、脆弱的、不透明的和淺的。“貪婪”是指，它的成功運(yùn)用需要調(diào)整數(shù)億的參數(shù)。“脆弱”是指，它在特定應(yīng)用的上下文中的適合性將取決于調(diào)諧它們的人的能力，任何參數(shù)的輕微擾動都會使結(jié)果出現(xiàn)逆轉(zhuǎn)。“不透明”是指，神經(jīng)網(wǎng)絡(luò)有幾十層上億個節(jié)點(diǎn)，整個訓(xùn)練過程是無監(jiān)督自動完成的，運(yùn)算過程可以看做是“黑箱”操作。“淺”是指，它對數(shù)據(jù)敏感，受到文化數(shù)據(jù)偏見的影響。一些研究者展示了人類視覺和當(dāng)前深度神經(jīng)網(wǎng)絡(luò)之間有趣的差異，引發(fā)了對基于深度學(xué)習(xí)的識別算法的一般性的質(zhì)疑。他們表明，很容易產(chǎn)生人類無法識別的圖像，但最先進(jìn)的深度學(xué)習(xí)算法相信是可識別的對象（或人類），并且具有99.99％的置信度。這些算法錯誤，也是LAWS的目標(biāo)系統(tǒng)可能出現(xiàn)的錯誤。算法系統(tǒng)可以提供“好的答案”，但也可以提供毫無意義的答案。

更人道的武器

一些人士則認(rèn)為、絕不應(yīng)該全面禁止LAWS。在他們看來，LAWS不僅是技術(shù)發(fā)展的必然趨勢，而且是戰(zhàn)爭人道主義的必然要求。支持者首先問：人類能夠避免戰(zhàn)爭嗎？恐怕沒有人能夠給出肯定答案。既然戰(zhàn)爭不能避免，那么選擇更加人道的武器將是符合道德的。

首先，LAWS可能比人類直接控制的武器系統(tǒng)更精確和可靠，使國際法和人類倫理價值得到更好的尊重。比如，在戰(zhàn)斗中，無人機(jī)操作員瞇著眼睛盯著屏幕看得頭暈眼花，也可能很難分辨出地面上的人是使用AK-47的叛亂分子，還是拿著黑色鐮刀的農(nóng)民（盡管如上所述，反對者對“精確和可靠”有爭議）。還有，心理學(xué)家認(rèn)為，人類傾向于“情景實(shí)現(xiàn)”，即希望看到我們所期望看到的東西，并忽略壓力情況下的矛盾數(shù)據(jù)，這種影響導(dǎo)致1987年美國文森斯號航空母艦意外擊落一架伊朗客機(jī)。但是LAWS不會受這種人類行為模式的影響。

其次，LAWS比人類士兵更加嚴(yán)格遵守人道主義原則。再嚴(yán)格的紀(jì)律也不能保證士兵不會違背交戰(zhàn)規(guī)則，尤其是在戰(zhàn)斗中。批評LAWS的人往往關(guān)注它的技術(shù)失誤，卻忽略了人類在戰(zhàn)場上情感激憤而導(dǎo)致的失誤。當(dāng)人類受到焦慮或憤怒的驅(qū)使，很容易突破人道主義原則；比如屠殺平民、虐待俘虜?shù)取６乙驗(yàn)楦鞣N原因，人道主義災(zāi)難即使發(fā)生了也很難調(diào)查清楚。所以前述的利用人性阻止戰(zhàn)爭的說法是具有高度爭議性的。人類在戰(zhàn)場上的表現(xiàn)肯定不會比機(jī)器更加道德，因?yàn)闄C(jī)器無論如何不會在情緒波動下違反命令。

再次，LAWS可以更有效地保護(hù)士兵的安全?，F(xiàn)代戰(zhàn)爭中，士兵的安全往往是國家考慮的頭等大事。但戰(zhàn)爭中的士兵永遠(yuǎn)是不安全的，除非用機(jī)器代替人上戰(zhàn)場。這正是LAWS最吸引人的地方，它徹底擺脫了對戰(zhàn)爭傷亡的擔(dān)憂。自主武器在防御方面的貢獻(xiàn)更值得考慮，尤其是在一些特殊場景中，如火箭彈或短程導(dǎo)彈的攻擊，人類士兵可能無法足夠迅速地響應(yīng)傳入的威脅，LAWS就可以大顯身手。

支持LAWS的論證都是后果論的，即從戰(zhàn)爭結(jié)果的角度來說明LAWS優(yōu)于普通武器的方面。LAWS和其他所有武器一樣，都是中性的，并不存在道德威脅的固有特征，而是要看其設(shè)計效果和應(yīng)用方法。真正值得深思的道德問題是：人類為什么要發(fā)動戰(zhàn)爭呢？

（作者系河南大學(xué)馬克思主義學(xué)院副教授，研究方向?yàn)檎J(rèn)知哲學(xué)）

文 / 符征