來源：新智元

相信大家都知道，目前人工智能的主要學(xué)派有下列三家：

?(1) 符號(hào)主義(symbolicism)，又稱為邏輯主義、心理學(xué)派或計(jì)算機(jī)學(xué)派，其原理主要為物理符號(hào)系統(tǒng)(即符號(hào)操作系統(tǒng))假設(shè)和有限合理性原理。

(2) 連接主義(connectionism)，又稱為仿生學(xué)派或生理學(xué)派，其主要原理為神經(jīng)網(wǎng)絡(luò)及神經(jīng)網(wǎng)絡(luò)間的連接機(jī)制與學(xué)習(xí)算法。

(3) 行為主義(actionism)，又稱為進(jìn)化主義或控制論學(xué)派，其原理為控制論及感知-動(dòng)作型控制系統(tǒng)。

符號(hào)主義曾長(zhǎng)期一枝獨(dú)秀，為人工智能的發(fā)展作出重要貢獻(xiàn)，尤其是專家系統(tǒng)的成功開發(fā)與應(yīng)用，為人工智能走向工程應(yīng)用和實(shí)現(xiàn)理論聯(lián)系實(shí)際具有特別重要的意義。

1986年，魯梅爾哈特(Rumelhart)等人提出多層網(wǎng)絡(luò)中的反向傳播(BP)算法。此后，連接主義勢(shì)頭大振，從模型到算法，從理論分析到工程實(shí)現(xiàn)，為神經(jīng)網(wǎng)絡(luò)計(jì)算走向市場(chǎng)打下基礎(chǔ)。

而現(xiàn)在，Youshio Bengio干了一件神奇的事情——他帶領(lǐng)團(tuán)隊(duì)，使用深度學(xué)習(xí)使符號(hào)人工智能恢復(fù)了活力：

近日，Youshio Bengio和一組研究人員引入了一個(gè)端到端深度學(xué)習(xí)模型，該模型部分受到經(jīng)典人工智能生產(chǎn)系統(tǒng)的啟發(fā)，可以在視頻中構(gòu)建以對(duì)象為中心的實(shí)體表示，并使用可微分和可學(xué)習(xí)的生產(chǎn)規(guī)則對(duì)其進(jìn)行操作。

研究團(tuán)隊(duì)主要來自于蒙特利爾大學(xué)的Mila、DeepMind、Waverly和谷歌Brain。

任何結(jié)構(gòu)化視覺環(huán)境（如視頻）中的對(duì)象或者實(shí)體都具有可見和潛在的屬性，這些屬性決定了他們?nèi)绾蜗嗷プ饔?。為這種相互作用建模的傳統(tǒng)方法是使用等變圖神經(jīng)網(wǎng)絡(luò)（GNNs）。

然而，這種設(shè)置并不理想，因?yàn)镚NN并不能預(yù)先處理稀疏交互，也不能以實(shí)體條件的方式分解交互的知識(shí)。

本文提出的神經(jīng)生產(chǎn)系統(tǒng)（Neural Production Systems，NPS）則解決了這些問題。

論文鏈接：https://arxiv.org/pdf/2103.01937.pdf

NPS由一組規(guī)則模版組成，通過將規(guī)則中的占位符變量綁定到特定的實(shí)體，這些模版可在豐富的可視環(huán)境中分解特定于實(shí)體和基于規(guī)則的信息。

我們知道，根據(jù)物理定律，把盤子從餐桌上推下去會(huì)導(dǎo)致盤子掉到地板上，并且很可能會(huì)摔碎。

盡管從未學(xué)過基本的物理知識(shí)，即使是孩子，也可以用命題表達(dá)的方式來表達(dá)這一知識(shí)，比如:「如果一個(gè)盤子從桌子上掉下來，它會(huì)摔碎?！?/font>

然而，這種命題知識(shí)的簡(jiǎn)單表達(dá)仍然是深度學(xué)習(xí)體系結(jié)構(gòu)的一個(gè)挑戰(zhàn)，原因有兩個(gè):

1）命題是離散的，彼此獨(dú)立

2）命題必須被量化為一階邏輯的方式。

關(guān)于符號(hào)知識(shí)表示的命題推理，經(jīng)典的人工智能方法提供了一些有價(jià)值的視角。其中，一個(gè)簡(jiǎn)單的例子是20世紀(jì)80年代的生產(chǎn)系統(tǒng)，它通過條件-動(dòng)作規(guī)則來表達(dá)知識(shí)。

現(xiàn)在，研究人員從深度學(xué)習(xí)的角度重新審視了這種產(chǎn)生系統(tǒng)，并提出了一種神經(jīng)生產(chǎn)系統(tǒng)，可以自然的將感知處理和隨后的視覺推理問題的推理結(jié)合起來。

研究人員提出的NPS與傳統(tǒng)的生產(chǎn)系統(tǒng)都有四個(gè)基本性質(zhì)：模式、抽象、稀疏和對(duì)稱。他們規(guī)定了知識(shí)是如何表示的。

這個(gè)生產(chǎn)的體系結(jié)構(gòu)，還支持實(shí)體表示的檢測(cè)和推斷，并且能控制他們交互的潛在規(guī)則。

圖：規(guī)則和槽的組合

在上圖中，條件操作規(guī)則指定實(shí)體如何交互，插槽則維持實(shí)體的時(shí)變狀態(tài)。每條規(guī)則都與一對(duì)插槽匹配。通過鍵值注意力機(jī)制，我們可以確定匹配的優(yōu)度，并選擇規(guī)則及其對(duì)插槽的綁定。

在實(shí)驗(yàn)部分，研究人員測(cè)試了NPS的有效性。其中一項(xiàng)涉及了學(xué)習(xí)數(shù)字的加、減、乘運(yùn)算的算數(shù)任務(wù)；實(shí)驗(yàn)還涉及了MNIST轉(zhuǎn)換，以測(cè)試擴(kuò)展到更加豐富的視覺設(shè)置的能力；最后，為了模擬簡(jiǎn)單的物理世界，實(shí)驗(yàn)還包括了一個(gè)動(dòng)作約束（Action-Conditioned）的模型。

圖：算術(shù)任務(wù)

上圖使了用不同序列長(zhǎng)度對(duì)應(yīng)的均方誤差損失（MSE），該部分主要將NPS與基線模型進(jìn)行了比較。

圖：MNIST轉(zhuǎn)換

圖：Action-Conditioned模型

上圖中的（a）使用了H@1指標(biāo)比較了NPS和GNN（越高越好），（b）表示了在在物理環(huán)境中使用單個(gè)規(guī)則時(shí)，NPS中使用的規(guī)則應(yīng)用步驟數(shù)量的影響。（c）則對(duì)NPS和GNN模型中五款游戲Atari游戲H@1的平均得分進(jìn)行了比較。

在算術(shù)任務(wù)中，NPS的MSE明顯低于基線。在MNIST轉(zhuǎn)換任務(wù)中，NPS成功地學(xué)會(huì)了使用單獨(dú)的規(guī)則來表示每個(gè)轉(zhuǎn)換，而物理環(huán)境模擬則驗(yàn)證了NPS從簡(jiǎn)單(少數(shù)對(duì)象)環(huán)境到更復(fù)雜環(huán)境的推斷能力。

參考資料：

https://arxiv.org/pdf/2103.01937.pdf

（聲明：本文僅代表作者觀點(diǎn)，不代表新浪網(wǎng)立場(chǎng)。）