機(jī)器權(quán)限不能超越人類控制
當(dāng)?shù)貢r(shí)間3月10日上午，一架從埃塞俄比亞飛往肯尼亞的飛機(jī)墜毀，機(jī)組人員及乘客共157人全部遇難。失事飛機(jī)為波音“737MAX-8”型客機(jī)，這已是該型飛機(jī)繼印尼獅航2018年10月29日墜毀事故后，在5個(gè)月內(nèi)的第2次失事。
初步分析，事故緣于空速管對(duì)飛機(jī)飛行狀態(tài)探測(cè)錯(cuò)誤，機(jī)載“防失速系統(tǒng)”（MCAS）自動(dòng)控制飛機(jī)完成了俯沖，暴露出智能化軟件設(shè)計(jì)存在的缺陷。
未來智能化作戰(zhàn)中，人類會(huì)賦予作戰(zhàn)系統(tǒng)一定權(quán)限，允許智能化系統(tǒng)在特定作戰(zhàn)背景、作戰(zhàn)條件下，滿足規(guī)定的范圍、條件或規(guī)則即可自主決策，實(shí)施機(jī)動(dòng)、攻擊、防護(hù)等戰(zhàn)斗行動(dòng)。但是波音“737MAX-8”事故警示我們，無論計(jì)算機(jī)系統(tǒng)的智能決策系統(tǒng)如何先進(jìn)，它的權(quán)限賦值應(yīng)該始終低于人。
首先，建立人機(jī)互信，要增強(qiáng)智能化系統(tǒng)對(duì)操作人員通過腦波意識(shí)、語音指令、手動(dòng)操作等多途徑傳達(dá)的意圖的理解，使得機(jī)器與人類形成目標(biāo)的相同認(rèn)知，在此基礎(chǔ)上才能賦予智能化作戰(zhàn)的相關(guān)賦權(quán)。其次，允許行動(dòng)終止。一旦出現(xiàn)人與機(jī)器的沖突，或智能系統(tǒng)之間的相互沖突，必須允許人能及時(shí)進(jìn)行干預(yù)、糾正或終止智能系統(tǒng)的行動(dòng)。最后，突出人的最高賦權(quán)。系統(tǒng)邏輯中，如果多個(gè)智能系統(tǒng)相互沖突，必須將對(duì)人的信任度置于最頂層，必須交由人而非單個(gè)系統(tǒng)裁決沖突、解決矛盾；如果人與智能系統(tǒng)發(fā)生沖突，智能系統(tǒng)必須無條件服從人發(fā)出的指令。這樣，才能保證智能化系統(tǒng)的可信、可靠、可用，避免悲劇的發(fā)生。
