Effect of spatial correlations on Hopfield Neural Network
and Dense Associative Memories
Giordano De Marzo, Giulio Iannelli
Physica A: Statistical Mechanics and its Applications, Volume 612, 2023,
128487
https://authors.elsevier.com/a/1gRot1M2-2IKXa
Le reti neurali artificiali stanno cambiando profondamente la nostra società grazie
alle innumerevoli applicazioni e alla loro capacità di risolvere problemi complessi che prima richiedevano la gestione di esperti umani. Nonostante ciò, manca una teoria generale che descriva come e perché funzionino e quindi la maggior parte delle reti neurali sono considerate scatole nere. Una delle poche eccezioni è il modello di Hopfield, una rete neurale ricorrente per la quale sono stati ottenuti diversi risultati analitici. In particolare, molto impegno è stato dedicato alla realizzazione di diagrammi di fase che permettano di scegliere “a priori”; i parametri della rete neurale a seconda, ad esempio, della quantità di dati che si vuole memorizzare o del livello di rumore che i dati contengono .
In sintesi, questo lavoro estende l’analisi della rete neurale di Hopfield al caso di dati spazialmente correlati. Ciò è particolarmente importante poiché nelle applicazioni reali le informazioni sono tipicamente strutturate, come ad esempio nel caso di testi o immagini, che non possono essere approssimate come dati distribuiti casualmente e non correlati. Utilizzando sia tecniche analitiche che numeriche, dimostriamo che, differentemente da quanto si potrebbe pensare, all’aumentare della correlazione è possibile memorizzare nella rete un numero minore di dati. Più nello specifico tracciamo un diagramma di fase in cui è possibile osservare una regione in cui la rete neurale funziona correttamente e una seconda regione nella quale il modello di Hopfield smette di memorizzare informazione. Generalizziamo quindi questa analisi alle Dense Associative Memories, ovvero reti di Hopfield con interazioni di ordine superiore, mostrando che anche in questo caso la capacità della rete diminuisce all’aumentare della correlazione spaziale. Questi risultati riducono così il divario tra la nostra comprensione teorica delle reti neurali e la loro applicazione ai problemi della vita reale.