曾毅認(rèn)為，我國(guó)急需開(kāi)展人工智能倫理與安全的研究，將人工智能風(fēng)險(xiǎn)、安全、倫理的思考模型化、算法化、系統(tǒng)化。

5月25日，北京智源人工智能研究院聯(lián)合北京大學(xué)、清華大學(xué)等單位發(fā)布《人工智能北京共識(shí)》，提出了各個(gè)參與方應(yīng)遵循的有益于人類(lèi)命運(yùn)共同體的15條原則。

其中研發(fā)方面，要服從人類(lèi)的整體利益，設(shè)計(jì)上要合乎倫理;使用方面要避免誤用和濫用，確保利益相關(guān)者對(duì)其權(quán)益所受影響有充分的知情與同意;治理方面，對(duì)人工智能部分替代人類(lèi)工作保持包容和謹(jǐn)慎態(tài)度。共識(shí)的發(fā)布，為規(guī)范和引領(lǐng)人工智能健康發(fā)展提供了“北京方案”。

為降低人工智能發(fā)展過(guò)程中可能存在的技術(shù)風(fēng)險(xiǎn)和倫理隱患，北京智源人工智能研究院成立人工智能倫理與安全研究中心，中國(guó)科學(xué)院自動(dòng)化研究所研究員曾毅任研究中心主任。研究中心將圍繞人工智能倫理與安全的理論探索、算法模型、系統(tǒng)平臺(tái)、行業(yè)應(yīng)用等開(kāi)展一系列研究。對(duì)此，新京報(bào)記者對(duì)曾毅進(jìn)行了專訪。

在《人工智能北京共識(shí)》發(fā)布儀式上，曾毅介紹了人工智能倫理與安全研究中心的主要研究?jī)?nèi)容。新京報(bào)記者 吳寧 攝

人工智能系統(tǒng)還不能準(zhǔn)確了解人類(lèi)價(jià)值觀

新京報(bào)：

研究人工智能倫理與安全是否具有緊迫性?

曾毅：

作為顛覆性科技的人工智能，其機(jī)遇與挑戰(zhàn)并存?？梢灶A(yù)見(jiàn)，隨著新一代人工智能的發(fā)展，預(yù)測(cè)、評(píng)估伴隨技術(shù)應(yīng)用所帶來(lái)的社會(huì)影響并盡可能減小、避免相關(guān)風(fēng)險(xiǎn)尤為重要。

近年來(lái)，隨著人工智能研究與產(chǎn)業(yè)發(fā)展，一些相關(guān)倫理與社會(huì)問(wèn)題逐漸凸顯，例如人工智能帶來(lái)的安全風(fēng)險(xiǎn)、隱私、算法歧視、行業(yè)沖擊、失業(yè)、收入分配差異擴(kuò)大、責(zé)任分擔(dān)、監(jiān)管難題以及對(duì)人類(lèi)道德倫理價(jià)值的沖擊等。

因此，我國(guó)急需開(kāi)展人工智能倫理與安全的研究，將人工智能風(fēng)險(xiǎn)、安全、倫理的思考模型化、算法化、系統(tǒng)化，融合技術(shù)與社會(huì)等多方的努力，確保人工智能向?qū)θ祟?lèi)和自然有益的方向發(fā)展。

新京報(bào)：

其中，倫理研究出于何種考慮?

曾毅：

人工智能倫理準(zhǔn)則是各個(gè)國(guó)家、組織進(jìn)行對(duì)話的重要議題。目前，人工智能系統(tǒng)不能真正理解人類(lèi)的價(jià)值觀。

舉例說(shuō)，你需要很快從A點(diǎn)跑到B點(diǎn)，如果中途有個(gè)孩子過(guò)來(lái)，你一定會(huì)繞開(kāi)他。但是機(jī)器為了更快達(dá)到目標(biāo)，可能會(huì)做出相反的選擇，對(duì)環(huán)境中的人類(lèi)等造成不可逆的負(fù)面影響。

所以，如何使機(jī)器自主學(xué)習(xí)人類(lèi)價(jià)值觀、避免風(fēng)險(xiǎn)，是人工智能倫理研究中的重要主題，這叫做價(jià)值觀校準(zhǔn)，是人工智能研究中的圣杯，也是人工智能最大的挑戰(zhàn)之一，現(xiàn)在還沒(méi)有一臺(tái)機(jī)器能真正基于理解實(shí)現(xiàn)自主學(xué)習(xí)人類(lèi)的倫理道德。

我們的研究中心將開(kāi)展符合人類(lèi)倫理道德的智能自主學(xué)習(xí)模型研究，實(shí)現(xiàn)人工智能行為與人類(lèi)價(jià)值觀的校準(zhǔn)，并在模擬環(huán)境與真實(shí)場(chǎng)景中進(jìn)行驗(yàn)證。例如通過(guò)機(jī)器的自我建模、自我經(jīng)驗(yàn)的獲取與思維揣測(cè)，實(shí)現(xiàn)避免對(duì)環(huán)境中其他智能體產(chǎn)生不可逆的傷害。

改變一個(gè)像素，機(jī)器可能將飛機(jī)認(rèn)成狗

新京報(bào)：

如何看待人工智能發(fā)展中的安全風(fēng)險(xiǎn)?

曾毅：

人工智能的發(fā)展過(guò)程中已出現(xiàn)一些潛在的風(fēng)險(xiǎn)，例如一張飛機(jī)的圖片，如果改變其中關(guān)鍵的一個(gè)像素，人還是覺(jué)得圖片中的是飛機(jī)。但目前很多深度學(xué)習(xí)模型可能會(huì)顛覆認(rèn)知，認(rèn)為那是一只狗。這說(shuō)明現(xiàn)在機(jī)器學(xué)習(xí)算法的自適應(yīng)性還不能應(yīng)對(duì)實(shí)時(shí)變化的環(huán)境、噪聲以及惡意攻擊。

機(jī)器學(xué)習(xí)的前提假設(shè)最好是輸入的數(shù)據(jù)能夠很好地描述實(shí)際世界，但實(shí)際情況是訓(xùn)練數(shù)據(jù)往往比較理想化或者片面，而真實(shí)世界是非常復(fù)雜、多變的。因此，我們未來(lái)研發(fā)人工智能模型要向低風(fēng)險(xiǎn)、高安全的方向發(fā)展。

研究中心的研究?jī)?nèi)容之一就是低風(fēng)險(xiǎn)機(jī)器學(xué)習(xí)模型與平臺(tái)的構(gòu)建，建立機(jī)器學(xué)習(xí)模型安全性的評(píng)估體系，并結(jié)合具體領(lǐng)域進(jìn)行驗(yàn)證。

新京報(bào)：

在一些科幻作品中說(shuō)，未來(lái)人工智能可能取代人類(lèi)或者消滅人類(lèi)。人們的擔(dān)心是否有必要?如何看待此次《北京共識(shí)》提出，對(duì)人工智能部分替代人類(lèi)工作保持包容和謹(jǐn)慎態(tài)度?

曾毅：

人工智能的研發(fā)如果不考慮潛在的風(fēng)險(xiǎn)，不考慮服務(wù)于人類(lèi)、構(gòu)建負(fù)責(zé)任的、對(duì)社會(huì)有益的人工智能，就有可能帶來(lái)不可估量的負(fù)面影響。因此在《人工智能北京共識(shí)》中，就倡導(dǎo)對(duì)通用智能、超級(jí)智能潛在的風(fēng)險(xiǎn)進(jìn)行持續(xù)研究與分析。

不光中國(guó)科研人員有這方面的思考，英國(guó)劍橋大學(xué)就正在開(kāi)展不同通用人工智能發(fā)展途徑可能存在的風(fēng)險(xiǎn)研究。美國(guó)生命未來(lái)研究所(Future of Life Institute)也組織過(guò)多次有益的(通用)人工智能研討會(huì)，以進(jìn)行充分考慮，發(fā)展有益的人工智能，避免人工智能取代和消滅人類(lèi)的可能性。

研究中心將探索用戶撤銷(xiāo)個(gè)人數(shù)據(jù)授權(quán)

新京報(bào)：

《人工智能北京共識(shí)》提到，避免技術(shù)誤用和濫用，如何做到?

曾毅：

在構(gòu)建人工智能平臺(tái)時(shí)，企業(yè)往往不知道用戶會(huì)如何使用平臺(tái)。其實(shí)應(yīng)該做一些設(shè)計(jì)，如果出現(xiàn)人工智能濫用，平臺(tái)應(yīng)該能自動(dòng)化檢測(cè)、告知和避免，這是所有人工智能研究者和企業(yè)應(yīng)該關(guān)注的問(wèn)題。

新京報(bào)：

如何保證人工智能中的數(shù)據(jù)安全?

曾毅：

目前，很多人工智能應(yīng)用收集了大量用戶數(shù)據(jù)，有一些雖然得到了用戶的許可，但是用戶很可能是在沒(méi)有充分理解數(shù)據(jù)用途的情況下做出的決策。若隨后希望修改這個(gè)決策，目前很多人工智能應(yīng)用中并不支持這樣的嘗試。

歐盟相關(guān)企業(yè)對(duì)《通用數(shù)據(jù)保護(hù)條例(GDPR)》的實(shí)踐表明，采取更嚴(yán)格的數(shù)據(jù)保護(hù)機(jī)制，雖然一開(kāi)始，相關(guān)企業(yè)和服務(wù)方需要付出額外努力適應(yīng)條例，但是隨后往往帶來(lái)用戶量的增加。用戶反饋說(shuō)明，用戶更相信遵守?cái)?shù)據(jù)保護(hù)條例的企業(yè)，更愿意選擇為保護(hù)用戶數(shù)據(jù)安全做出努力的產(chǎn)品與服務(wù)。

研究中心將與企業(yè)開(kāi)展聯(lián)合實(shí)踐，建設(shè)數(shù)據(jù)安全示范應(yīng)用系統(tǒng)，最大限度防止數(shù)據(jù)泄密，降低風(fēng)險(xiǎn)，探索允許用戶撤銷(xiāo)個(gè)人數(shù)據(jù)授權(quán)的機(jī)制及計(jì)算平臺(tái)，提升個(gè)人數(shù)據(jù)安全。

新京報(bào)：

《人工智能北京共識(shí)》的特色和作用是什么?

曾毅：

有一些人工智能準(zhǔn)則可能是人類(lèi)中心主義的。然而北京共識(shí)更關(guān)注實(shí)現(xiàn)人類(lèi)社會(huì)和自然的協(xié)同發(fā)展、可持續(xù)發(fā)展。此外，基于中國(guó)哲學(xué)中“和諧”的思想，北京共識(shí)倡導(dǎo)不同組織、機(jī)構(gòu)、國(guó)家之間深度協(xié)作、合作，優(yōu)化共生。

北京是人工智能?chē)?guó)際化大都市和國(guó)家新一代人工智能創(chuàng)新發(fā)展試驗(yàn)區(qū)首個(gè)城市，《人工智能北京共識(shí)》的發(fā)布是北京人工智能科技群體與世界其他人工智能群體的對(duì)話，有助于表達(dá)北京發(fā)展人工智能與其他地區(qū)和世界范圍形成的共識(shí)。

我們希望通過(guò)《人工智能北京共識(shí)》的努力，與國(guó)家各級(jí)有關(guān)部門(mén)、科技團(tuán)體等協(xié)同推動(dòng)我國(guó)新一代人工智能倫理與治理研究，使中國(guó)人工智能倫理與治理逐步與國(guó)際接軌，期待發(fā)展成為全球典范。

關(guān)鍵詞： 人工智能 曾毅