Термодинамический компьютер: как ученые заставили шум работать на искусственный интеллект

Ученые создали «термодинамический компьютер», способный создавать изображения из случайных помех в данных, то есть из шума. Тем самым они воспроизвели возможности генеративного искусственного интеллекта, присущие нейронным сетям, но сделали это принципиально иным способом.

При температурах выше абсолютного нуля мир наполнен флуктуациями энергии, называемыми тепловым шумом. Он проявляется в дрожании атомов и молекул, в переворотах атомарных спинов и так далее. Современные системы ИИ, как и большинство других компьютеров, создают изображения на чипах, где энергия, необходимая для переключения битов, настолько огромна по сравнению с тепловым шумом, что последним можно пренебречь.

Новый же «генеративный термодинамический компьютер» работает, используя шум в своих интересах, а не вопреки ему. Это означает, что он способен выполнять вычисления на порядки энергоэффективнее типичных систем ИИ. Ученые изложили свои выводы в новом исследовании, опубликованном 20 января в журнале Physical Review Letters.

Лайнер против серфера

Стивен Уайтлэм, автор исследования из Ливерморской национальной лаборатории, провел аналогию с лодками в океане. Волны здесь играют роль теплового шума. Обычные вычисления можно сравнить с огромным океанским лайнером, который «просто плывет напролом, не обращая внимания на волны — очень эффективно, но невероятно затратно». Если уменьшить энергопотребление обычного компьютера до уровня, сопоставимого с тепловым шумом, это будет подобно попытке управлять надувной лодкой с подвесным мотором посреди океана. «Это гораздо сложнее, — пояснил он. — А использование шума в термодинамических вычислениях помогает, как серферу помогает энергия волны».

Обычные вычисления оперируют бинарными значениями — единицами и нулями. Однако за последнее десятилетие выяснилось, что можно добиться гораздо большей эффективности, если работать не с конкретными значениями, а с вероятностями. Особенно заметен этот выигрыш в так называемых «оптимизационных» задачах, где нужно получить максимум результата при минимуме затрат (например, посетить максимум улиц, пройдя минимум миль). Термодинамические вычисления можно считать разновидностью вероятностных, где для вычислений используются случайные флуктуации теплового шума.

Генерация изображений на термодинамике

Исследователи из Normal Computing Corporation в Нью-Йорке, не участвовавшие в создании изображений, но построившие устройство, близкое к термодинамическому компьютеру, использовали сеть связанных между собой электрических цепей. Эти цепи работают при низких энергиях, сопоставимых с тепловым шумом. Программируя силу связей между узлами, можно задавать вопрос, на который будут отвечать флуктуации напряжений в узлах, возвращающиеся к равновесию после подачи сигнала.

Управление связями дает некоторый контроль над вопросом, но не меняет его типа. Уайтлэм задался вопросом: можно ли, отойдя от теплового равновесия, создавать компьютеры, отвечающие на принципиально иные вопросы, и не будет ли это удобнее, ведь достижение равновесия требует времени.

Размышляя об этом, он вспомнил исследования середины 2010-х годов. Они показывали: если взять изображение и добавлять к нему шум до полного исчезновения исходной картинки, нейросеть можно обучить обратному процессу — восстанавливать изображение. Обучив сеть на множестве таких «исчезающих» картинок, она сможет генерировать новые изображения из случайного шума. Эти диффузионные модели показались Уайтлэму естественной отправной точкой для термодинамического компьютера, ведь сама диффузия — статистический процесс, коренящийся в термодинамике.

Законы столетней давности и будущее ИИ

Развитие процессов в условиях сильного шума можно описать уравнением Ланжевена, созданным еще в 1908 году. Манипулируя им, можно вычислить вероятности каждого шага на пути превращения изображения в шум. Отсюда можно рассчитать необходимую силу связей (например, в электронных схемах), чтобы обратить процесс вспять и, убирая шум шаг за шагом, сгенерировать изображение. Уайтлэм продемонстрировал это в численном моделировании, восстановив цифры «0», «1» и «2». Причем сгенерированное изображение может быть как из базы, так и новым, не встречавшимся в обучении.

Рэми Шелбая, генеральный директор компании Quantum Dice, назвал эти результаты «важными», отметив, что традиционные методы начинают с трудом поспевать за растущими требованиями к ИИ-моделям. Его компания производит оборудование для вероятностных вычислений на квантовых случайных числах, и для него «обнадеживающе видеть растущий интерес к этой парадигме».

Он также указал на потенциальное преимущество, выходящее за рамки экономии энергии: статья показывает, как физические подходы могут дать фундаментальную интерпретацию области, где доминируют «черные ящики», предоставляя важнейшее понимание процесса обучения.

Хотя генерация трех цифр из шума выглядит скромно на фоне возможностей современных генеративных моделей, Уайтлэм напоминает, что концепции термодинамических вычислений всего несколько лет. Оглядываясь на историю машинного обучения и его масштабирования, он задается вопросом: «Любопытно узнать, можно ли масштабировать термодинамическое «железо» подобным образом, хотя бы концептуально».