Google DeepMind запустила DeepMind Institute — новую площадку, посвященную вопросам безопасного развития искусственного общего интеллекта (AGI), его влиянию на общество и возможным подходам к регулированию передовых моделей. Институт должен объединить исследователей Google и Google DeepMind с представителями более широкого научного сообщества.
Создатели инициативы подчеркивают, что вопросы развития AGI не должны решаться исключительно технологическими компаниями. По их мнению, в обсуждении должны участвовать правительства, представители гуманитарных наук, искусства и общества в целом. При этом публикации DeepMind Institute рассматриваются как площадка для дискуссии, а не как официальная позиция Google.
DeepMind Institute займется вопросами будущего AGI
В Google DeepMind используют термин AGI для обозначения системы, которая обладает всем набором когнитивных способностей человеческого мозга. Авторы инициативы отмечают, что современные модели уже демонстрируют значительные возможности, но при этом все еще могут ошибаться в относительно простых задачах, а их последовательность и способность к творческой работе пока не соответствуют уровню, который ожидается от полноценного AGI. В компании считают, что эти ограничения могут быть преодолены по мере дальнейшего развития технологий.
Основная задача института — объединить технические исследования с обсуждением экономических, социальных и политических последствий появления более совершенного ИИ. Авторы проекта отмечают, что окончательные решения о том, каким будет применение AGI, должны формироваться с участием более широкого круга общества.
Руководителями DeepMind Institute стали сооснователь DeepMind и главный научный сотрудник по AGI Шейн Легг, президент Google по исследованиям, лабораториям, технологиям и обществу Джеймс Маника и глава Google DeepMind Демис Хассабис. Легг также выполняет функции управляющего редактора платформы.
Первые материалы посвящены экономике, безопасности и регулированию
В момент запуска DeepMind Institute опубликовал четыре исследовательских материала. Они рассматривают экономическую политику в эпоху AGI, прозрачность рассуждений ИИ-моделей, принципы общественного развития и подход к оценке возможностей передовых систем.
Одной из центральных тем стала возможность контролировать процесс рассуждений будущих моделей. Исследователи Google DeepMind Рохин Шах и Анка Драган предупреждают, что развитие новых архитектур может сделать внутренние процессы моделей менее понятными для человека. В частности, более эффективные системы могут использовать непрозрачные способы последовательного вычисления, которые затруднят наблюдение за тем, как именно модель приходит к результату.
По мнению авторов исследования, снижение прозрачности способно осложнить выявление обмана, скрытого поведения и попыток обойти защитные механизмы. Поэтому разработчикам и регуляторам, по их мнению, придется учитывать компромисс между производительностью моделей и возможностью контролировать их работу.
Хассабис предложил создать орган для проверки передовых ИИ-моделей
Отдельный материал Демиса Хассабиса посвящен созданию системы оценки передовых моделей искусственного интеллекта. Он предложил сформировать в США специализированный орган по стандартизации и тестированию таких систем.
Первоначально разработчики могли бы добровольно передавать модели на проверку примерно за 30 дней до выпуска. В дальнейшем прохождение соответствующих тестов могло бы стать условием для вывода наиболее передовых моделей на американский рынок.
Предлагаемая система должна учитывать потенциальные риски в таких областях, как кибербезопасность и биология, а также способность моделей обходить защитные механизмы или демонстрировать намеренно вводящее в заблуждение поведение. Хассабис также рассматривает возможность использования независимых тестов, результаты которых разработчики заранее не знают, чтобы компании не могли оптимизировать модели исключительно под известные проверки.
Если защитные механизмы начнут заметно отставать от темпов развития передовых систем, предложенный подход допускает возможность более жестких мер, вплоть до скоординированного замедления разработки наиболее мощных моделей. Это именно предложение Хассабиса, а не действующая система регулирования.
Платформа допускает пересмотр выводов
Создатели DeepMind Institute отдельно подчеркивают, что опубликованные материалы отражают взгляды их авторов и не являются официальной позицией Google. Платформа рассчитана на публикацию идей и научную дискуссию, поэтому авторы могут не соглашаться друг с другом и пересматривать свои выводы по мере появления новых данных.
Таким образом, DeepMind Institute должен стать не столько отдельной лабораторией по созданию AGI, сколько площадкой для обсуждения того, как общество может подготовиться к появлению более мощных систем искусственного интеллекта. Среди основных тем уже сейчас оказались безопасность моделей, прозрачность их работы, экономические последствия и возможные механизмы государственного регулирования.
