Нейронна архітектура Хопфілда на основі мемрістора для вирішення задач комбінаторної оптимізації

Протягом останніх кількох років багато дослідників намагалися розробити методи та технології, які дозволять вирішити проблеми комбінаторної оптимізації, що тягне за собою визначення оптимального продукту чи рішення в межах заданої кількості можливостей. Минулі дослідження вирішили ці проблеми, використовуючи обчислювальні прискорювачі, що надихають відпал, на основі різноманітних технологічних інструментів, включаючи квантові, оптичні та електронні пристрої.

Однак більшість підходів, розроблених до цього часу, не досягли швидкості обробки та енергоефективності, необхідної для вирішення проблем комбінаторної оптимізації у великих масштабах. Це запобігає їх впровадженню в промислових умовах та в інших реальних умовах.

Нещодавно дослідники лабораторій Hewlett Packard (HPL), що входять до складу Hewlett Packard Enterprise, нещодавно розробили нову систему відпалу на основі мемрісторів, яка може швидко та ефективно вирішувати проблеми комбінаторної оптимізації. Ця система, представлена ​​в статті, опублікованій в Природа електроніка, використовує енергоефективну нейроморфну ​​архітектуру, засновану на нейронній мережі Хопфілда, тип рецидивуючої нейронної мережі, вперше розповсюджений Джоном Дж. Хопфілдом у 1982 році, яка може бути використана для реалізації автоасоціативної пам'яті.

"У 2008 році наша група в HPL виявила мемрістор (тобто резистор пам'яті) — двотермінальний пристрій, який міг зберігати інформацію у стані опору навіть при відключенні живлення", — сказав Сухас Кумар, один із дослідників Про це повідомили в TechXplore. "У 2017 році ми припустили, що шумні мемрістори можуть бути використані для побудови мережі Хопфілда, яка може бути використана для вирішення завдань оптимізації NP-hard замість їх первісного призначення асоціативної пам'яті".

Протягом декількох років труднощі з вимкненням архітектур на основі мережі Хопфілда від менш сприятливих рішень заважали цим архітектурам стати мейнстрімом. Кумар та його колеги змогли подолати це обмеження та побудувати чіп на основі мемрістора, який є прикладом мережі Хопфілда. На відміну від інших систем, розроблених раніше, їх мікросхема може вирішити будь-яку проблему комбінаторної оптимізації, використовуючи власний шум.

"Паралельно з роботою, про яку згадував Сухас, в HPL також проводяться дослідницькі роботи, щоб побачити, чи можна фотоніки кремнію використовувати для обчислення замість комунікацій. Це сфера, над якою я працюю з моменту приєднання до компанії", — Томас Ван Про це повідомляє TechXplore Ваеренберг, інший дослідник, що займався дослідженням. "У якийсь момент ми розробляли прискорювач на основі світла, який називався оптичною машиною Ізінга, яка була ідеальною для вирішення проблем комбінаторної оптимізації. Я зрозумів, що — хоча фізика дуже відрізняється — ця система також може бути реалізована в аналоговій електроніці за допомогою мемфісторів . "

Недавній документ, опублікований в Природа електроніка є продуктом співпраці між Кумаром та іншими дослідниками колективу меморіторів HPL та Ван Варенбергом та його колегами, які спеціалізуються в області досліджень, відомих як фотоніка. Об’єднавши свої знання, ці дві команди в кінцевому рахунку змогли розробити нову архітектуру нейронної мережі мемпістора Хопфілда (mem-HNN), яка може використати шум, присутній у будь-якому електричному ланцюзі, використовуючи інноваційний трюк.

"Більш конкретно, ми реалізували гістерезичний зворотний зв'язок, який давав змогу як посилення, так і придушення шуму до будь-якого заздалегідь заданого рівня, який потім міг бути введений в потрібну частину ланцюга, щоб забезпечити відключення системи від неоптимальних рішень", — Кумар сказав. "Виходячи з експериментальної продуктивності мікросхеми в масштабі 60 вузлів, ми проектуємо його продуктивність, щоб перевищити кращі процесори та графічні процесори в 10 000 разів, витраченої енергії для вирішення будь-якої задачі оптимізації."

Кумар, Ван Варенберг та їхні колеги вважають, що їхня мемфісторна мережа Хопфілда перевершить будь-які конкуруючі квантові чи настільні оптичні підходи на багато порядків. Цікаво, що саме ці настільні оптичні підходи були відправною точкою для багатьох досліджень оптичних прискорювачів комбінаторної оптимізації наступного покоління, проведених Ваном Варенбергом та іншою командою фотоніки HPL у минулому.

Дослідники протестували свою систему mem-HNN, використовуючи її для вирішення різних недетермінованих задач поліноміального часу (NP) і досліджували її масштабованість у ряді моделювання. Їх результати були дуже перспективними, що свідчить про те, що їх система може бути ідеальним рішенням для вирішення проблем комбінаторної оптимізації у великих масштабах.

"Разом із Suhas та іншими співробітниками, що працюють над поточним аналоговим електронним папером, ми виявили, що електронна версія цієї системи також має дуже привабливі показники енергоефективності та швидкості, що явно перевершує оптичну настільну систему", — сказав Ван Варенберг. "Інші фотонні команди також намагаються експериментально продемонструвати ефективність інтегрованого підходу до фотоніки, включаючи команду в MIT та команду з університету La Sapienza, ISC-CNR та університету Сорбонни."

Недавня робота Кумара, Варенберга та їх колег доводить, що електронний шум, який більшість дослідників намагається зменшити або усунути при розробці цифрових або аналогових апаратних платформ, насправді може виявитися корисним для деяких програм оптимізації. Успішно поєднуючи цю ідею з можливостями обчислення в пам'яті енергонезалежного мемрісторного перекладинного масиву, нова мікросхема, яку вони розробили, може допомогти прискорити обчислення в різних областях, які покладаються на алгоритми комбінаторної оптимізації.

"Одним з найбільш інтригуючих результатів цього дослідження є те, що шум в ланцюзі, який люди намагаються мінімізувати протягом багатьох десятиліть, насправді може бути використаний для прискорення вирішення певних типів обчислювально важких проблем, які люди також намагаються вирішити. протягом багатьох десятиліть, — сказав Кумар. "Таким чином, це поєднання використання типово небажаних схемних аспектів для використання при вирішенні типу проблем, які нам дуже важливі, відомі як NP-важкі проблеми".

Надалі нова система mem-HNN, розроблена цією групою дослідників, може бути використана для вирішення ряду важких проблем з NP, включаючи прогнозування погоди, оптимізацію навігації, оптимізацію ланцюгів поставок та завдання послідовності генів. Поки що новий чіп був продемонстрований лише в лабораторії, але незабаром HPE може розширити його для виготовлення та перенести його до широкої комерціалізації.

"Зараз ми також розглядаємо більш практичні випадки використання наших технологій, а не ті завдання, які ми використовували в нашій роботі в даний час", — сказав Ван Варенберг. "Ми здатні прискорити вирішення проблем, які хвилюють наших клієнтів — те, чого ми прагнемо".

Facebook Comments