Generalisation of structural knowledge in the

Hippocampal-Entorhinal system

https://www.groundai.com/project/generalisation-of-structural-knowledge-in-the-hippocampal-entorhinal-system/

海馬 - 內嗅系統結構知識的泛化

實體概念信息和位置及虛擬位置信息組成記憶保存并提取，位置信息通用，提高泛華能力。相同位置會有不同物體，相同物體會出現在不同位置。

抽象

理解智力的核心問題是泛化的概念。這允許以前學過的結構被利用來解決在其特殊性不同的新情況下的任務。我們從神經科學中獲得靈感，特別是海馬 - 內嗅系統（包含地點和網格單元），這對于泛化非常重要。我們建議將結構知識，世界結構的表示，即世界中的實體如何相互關聯，需要與實體本身的表示分離。我們表明，在這些原則下，嵌入層次結構和快速Hebbian記憶的人工神經網絡可以學習記憶的統計數據，推廣結構知識，并且還展示了反映大腦中發現的神經元表征。

1介紹

動物具有天生的能力，靈活地從一個領域獲取知識并將其轉移到另一個領域。這還不是機器的情況。傳遞知識的好處很明顯 - 在新情況下可以快速推斷，因此不必總是重新學習。統計結構的轉移（世界上的對象之間的關系）是特別有用的，因為它讓一個代理人能夠將事物/概念融合在一起，共享相同的統計結構，但是在特殊性方面不同，例如當人們聽到一個故事時，他們可以與他們已知的關于一般故事的內容相匹配，例如開始，中間和結束 - 當有趣的故事在聽新聞時出現時，可以推斷出該程序即將結束。

泛化是一個非常感興趣的話題。在機器學習和人工智能（AI）的進步已經非常可觀[ Krizhevsky等人（2012）Krizhevsky，Sutskever，和韓丁，Mnih等人（2015）Mnih，Kavukcuoglu，銀，魯蘇，俯伏，馬克·G，格雷夫斯Riedmiller，Fidjeland，Ostrovski，Petersen，Beattie，Sadik，Antonoglou，King，Kumaran，Wierstra，Legg和Hassabis ]但是對是否正在學習“真正的”底層結構存在懷疑。我們提出，為了學習和推廣結構知識，這個結構必須明確表示，即與世界上感官對象的表征分離。在共享相同結構但具有不同感官對象的世界中，明確表示的結構可以與聯合代碼中的感官信息相結合。這允許新的感官觀察與先前學習的結構知識相適應，這導致泛化。

為了理解我們如何構建這樣一個系統，我們從神經科學中獲取靈感。海馬是已知可用于generalisaiton，存儲器重要，因果關系，推導，傳遞推理，單次想象力和導航的問題[ Dusek和Eichenbaum的（1997） ，巴克馬斯特等人（2004）巴克馬斯特，Eichenbaum的，阿馬拉爾， Suzuki和Rapp，Hassabis等（2007）Hassabis，Kumaran，Vann和Maguire ]。我們提出海馬記憶的統計數據是通過皮層提取的[ McClelland et al。（1995）McClelland，McNaughton和O'Reilly ]，并且未來的海馬表征/記憶被限制為與所學習的結構知識一致。我們發現這是一個使用人工神經網絡（ANNs）建模的有趣系統，因為它可以提供關于機器一般化問題的見解，進一步理解生物系統本身并繼續連接神經科學和人工智能研究[ Hassabis et al。 （2017）Hassabis，Kumaran，Summerfield和Botvinick，Whittington和Bogacz（2017） ]。

對于空間導航，我們很好地理解了位置細胞（海馬）和網格細胞（內側內嗅皮層）形式的神經元表征。因此，在對這個系統進行建模時，我們從類似于導航的問題開始，這樣我們就可以利用并將我們的結果與已知的表示信息進行比較。位置細胞[ O'Keefe等人，（1971）奧基夫，Dostrovsky，Dostrovske，和Dostrovsky ]，并且隨后的網格單元[ Hafting等人（2005）Hafting，Fyhn，莫爾登，Moser的，和莫澤 ]對神經科學領域產生了激進的影響，并獲得了2014年諾貝爾生理學和醫學獎。放置單元和網格單元是相似的，因為它們對于特定的空間區域具有一致的點火模式。放置單元往往只在給定環境中的單個（或多個）位置點燃，然而網格單元以規則格子模式點燃空間。這些細胞鞏固了“認知地圖”的概念，即動物擁有它所駕駛的空間的內部表征。傳統上這些細胞被認為只是空間的。從那時起，地方單元可以編碼完全非空間維度，例如聲音頻率[ Aronov等（2017）Aronov，Nevers和Tank ]。還已經表明，有像的二維（2D）網格編碼非空間坐標系統[ 康斯坦丁等人（2016）康斯坦丁，O'Reilly的，和貝倫斯 ]，并且其用于空間環境中響應該網格單元，也在非空間環境中作出反應[ Aronov等（2017）Aronov，Nevers和Tank ]。因此，地點和電網編碼似乎并不僅僅用于空間認知，而可能是表示信息的一般方式。

網格單元可以提供一個通用的結構代碼。最近的研究結果表明，他們通過海馬地方細胞的PCA [ Dordek et al。（2016）Dordek，Soudry，Meir和Derdikman ]或者作為前代表征的特征向量[ Stachenfeld et al。（2017 ）Stachenfeld，Botvinick和Gershman ]。這些總結統計意味著我們不僅可以在“空間”空間中概括2D規則，例如，如果A接近于B，B接近于C，那么我們可以推斷出A和C也接近。事實上，在共享結構的環境中，網格單元表示是相似的（參見第5節））。地方單元可能會提供一個聯合表示。他們的活動已被證明是由感覺環境以及位置[ Komorowski等（2009）Komorowski，Manns和Eichenbaum ]調制的。另外，一個環境中的地點單元代碼與結構相同的環境中的代碼不同 - 這被稱為重新映射[ Bostock等人（1991）Bostock，Muller和Kubie，Leutgeb等人（2005）Leutgeb，Leutgeb，Barnes ，Moser，McNaughton和Moser ]。重新映射傳統上被認為是隨機的。然而，我們建議位置單元格是結構（網格單元格）輸入和感官輸入之間的連接表示，因此將單元格重新映射到與此連接一致的位置。

我們在人工神經網絡中實施我們的建議，任務是在2D圖形世界上行走時預測感官觀察，其中每個頂點都有相關的感官體驗。為了做出準確的預測，代理必須學習圖的底層隱藏結構。我們將結構從感官認同中分離出來，提出網格單元編碼結構，并將單元格形成身份和結構之間的連接表示（圖1）。這種連接表示形成了一個記憶，它是結構和身份之間的橋梁，并允許相同的結構性代碼在具有相同統計但不同感官體驗的環境中重復使用。預測狀態轉換發生在網格單元中，因為網格代碼是2D空間導航的自然基礎[Stemmler等（2015）Stemmler，Mathis和Herz， Bush等（2015）Bush，Barry，Manson和Burgess ]。我們結合了Hebbian學習，允許快速形成情景記憶，并帶有梯度下降，后者逐漸學習提取這些記憶的統計數據。我們專注于二維圖形，因此我們可以將我們學習的表示與空間（地點和網格單元）的良好表征的神經元表示進行比較，然而注意到我們的方法對于任何圖形結構都是通用的。我們進一步提出了重新映射實驗的分析[ Barry等（2012）Barry，Ginzberg，O'Keefe和Burgess ]，它們支持我們的模型假設，顯示了位置單元重映射到與網格編碼一致的位置， 。

二

我們執行無監督學習，除了可用的行為，當前的行為和即時的感知數據外，不向網絡提供任何外部信息。這些都是可用于生物媒介的信息，不像x ，y

或地面真實空間表示。我們進一步提出了網格單元在泛化中的作用，而不僅僅是導航。

然而，我們選擇我們的存儲器存儲和尋址是計算生物學上合理的（而不是使用更類似于RAM的其他類型的可微存儲器）以及使用分層處理。這使我們的模型能夠發現對導航和尋址記憶都有用的表示。我們也明確地將空間的抽象結構從任何特定的內容中分離出來（圖1）。

我們遵循類似的思想來補充學習系統[ McClelland等（1995）McClelland，McNaughton和O'Reilly ]，其中海馬記憶的統計數據由皮層提取。我們另外建議，這種學習到的結構知識限制了海馬在新環境中的表現，允許學習知識的重用。

三

通用的方法是在空間中抽象表示位置，然后記下在該位置觀察到的刺激。

我們提出網格單元表示是抽象空間中的一個位置，而位置單元表示對于快速情節記憶的形成是有用的。我們建議將刺激與該位置聯系起來，記憶應該是抽象位置和感覺刺激的結合，因此我們提出位置單元形成感覺器和網格輸入之間的連接表示（圖1）。這與實驗證據

我們將感官數據，一個國家的物品/對象體驗看作是來自經由橫向內嗅皮層的'什么流'。我們模型中的網格單元是來自中間內嗅皮層的'哪里流'。我們的連接記憶將“什么”與“何處”聯系起來。

（動物視覺的what where 視覺）

Thus we view the Entorhinal-Hippocampal system as a system that performs inference. The grid cells make an inference based on its previous estimate of location in abstract space, sensory information that it can link to previous locations via memory, and information regarding the available actions to be taken (a.k.a boundary information). The place cells, formalised in section 3.1, are a conjunction between the sensory data x≤t, and current location in abstract space gt, and are stored as memories.

https://github.com/GokuMohandas/fast-weights

6 結論：

這里我們提出了一個由海馬 - 內嗅系統啟發的結構泛化機制。我們提出可以通過結構和刺激的明確分離來概括狀態空間統計，同時使用連接記憶表示來連接兩者。我們提出使用空間層次來允許有效的組合代碼。我們已經表明，在純粹無監督的學習環境中，層次網格狀和地點狀表示自然地從我們的模型中出現。我們已經表明這些表示對于狀態空間的概括是有效的，但對于分層存儲器尋址也是有效的。我們還提供了實驗證據，證明網格和地點單元在環境中保持其關系，這支持了我們的模型假設

DeepMind時間序列生成模型GTMM - NTM改進

https://github.com/GokuMohandas/fast-weights

https://www.groundai.com/project/generative-temporal-models-with-spatial-memory-for-partially-observed-environments/

https://www.groundai.com/project/temporal-difference-variational-auto-encoder/

原文鏈接：https://cloud.tencent.com/developer/article/1160003 創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的海马体what where记忆推理模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。