Bestfilez.net - новости мира Hi-tech
24.01.22  
Наука

Исследователи MIT обнаружили искусственный интеллект, имитирующий работу мозга



В 2019 году издательство The MIT Press Reader опубликовало серию интервью с Ноамом Хомским и Стивеном Пинкером, двумя выдающимися лингвистами и когнитологами мира. Диалоги, как и сами ученые, отличались по своей постановке и трактовке ключевых вопросов, связанных с их областями знаний. Однако когда их спросили о машинном обучении и его вкладе в когнитивную науку, их взгляды сошлись под знаменем скептицизма и чего-то близкого к разочарованию.


"Практически во всех значимых отношениях трудно понять, как [машинное обучение] вносит какой-либо вклад в науку, - сокрушался Хомский, - в частности, в когнитивную науку, какую бы ценность оно ни представляло для создания полезных устройств или для изучения свойств используемых вычислительных процессов".

Хотя Пинкер придерживается несколько более мягкого тона, он повторяет отсутствие энтузиазма Хомского по поводу того, как ИИ продвинул наше понимание мозга:

"Когнитивная наука сама по себе отошла на второй план по сравнению с нейронаукой в 1990-х годах и искусственным интеллектом в этом десятилетии, но я думаю, что эти области должны будут преодолеть свою теоретическую бесплодность и вновь интегрироваться в изучение познания - бездумная нейрофизиология и машинное обучение уперлись в стены, когда дело дошло до освещения интеллекта".

Но по мере того, как растет наше понимание человеческого и искусственного интеллекта, подобные позиции могут вскоре оказаться на зыбкой почве. Хотя ИИ еще не достиг уровня человеческого познания, искусственные нейронные сети, воспроизводящие обработку языка - систему, которая считается важнейшим компонентом высшего познания - начинают выглядеть удивительно похожими на то, что мы видим в мозге.

В ноябре группа исследователей из Массачусетского технологического института опубликовала в журнале Proceedings of the National Academy of Sciences исследование, демонстрирующее, что анализ тенденций в машинном обучении может дать представление о механизмах высших когнитивных функций мозга. Возможно, еще более поразительным является вывод исследования о том, что искусственный интеллект претерпевает конвергентную эволюцию с природой, причем никто не программирует его на это.


Искусственный интеллект и мозг
В последние годы искусственный интеллект, основанный на машинном обучении, добился впечатляющих успехов, особенно в области визуального распознавания. Instagram использует искусственный интеллект распознавания изображений для описания фотографий для людей с ослабленным зрением, Google использует его для функции обратного поиска изображений, а алгоритмы распознавания лиц от таких компаний, как Clearview AI, помогают правоохранительным органам сопоставлять изображения в социальных сетях с изображениями в государственных базах данных для идентификации разыскиваемых лиц.

Важные этические дискуссии в стороне, именно механика работы этих алгоритмов может пролить свет на когнитивные функции. Сравнивая нейронную активность людей и нечеловеческих приматов с данными моделей машинного обучения искусственных нейронных сетей, которым поручена аналогичная функция - например, распознавание изображения на хаотичном фоне, - исследователи могут получить представление о том, какие программы работают лучше всего и какие из них наиболее похожи на то, как мозг выполняет ту же задачу.

"Мы добились определенных успехов в моделировании сенсорных областей [мозга], в частности, зрения", - объяснил Мартин Шримпф, первый автор нового исследования MIT, в интервью журналу Interesting Engineering.

Шримпф, аспирант кафедры мозга и когнитивных наук МТИ, написал работу в соавторстве с Джошуа Тененбаумом, преподавателем вычислительной когнитивной науки в МТИ и сотрудником лаборатории искусственного интеллекта института, и Эвелиной Федоренко, доцентом неврологии в университете.

После этих успехов Мартин начал задумываться о том, нельзя ли применить тот же принцип к когнитивным функциям более высокого уровня, таким как обработка языка.

Я сказал: "Давайте просто посмотрим на нейронные сети, которые добились успеха, и выясним, похожи ли они на мозг. Я был уверен, что это сработает, по крайней мере, в какой-то степени".

Чтобы выяснить это, Мартин и его коллеги сравнили данные 43 языковых моделей искусственных нейронных сетей с нейронными записями фМРТ и ЭКоГ, сделанными во время прослушивания или чтения слов как части текста. Исследованные группой модели ИИ охватывали все основные классы доступных нейросетевых подходов для решения языковых задач. Некоторые из них представляли собой более простые модели встраивания, такие как GloVe, которая объединяет семантически похожие слова в группы. Другие, такие как модели, известные как GPT и BERT, были намного сложнее. Эти модели обучены предсказывать следующее слово в последовательности или предсказывать пропущенное слово в определенном контексте, соответственно.

"Сама установка становится довольно простой", - объясняет Мартин. "Вы просто показываете моделям те же стимулы, что и испытуемым [...]. В конце концов, у вас остается две матрицы, и вы проверяете, похожи ли эти матрицы".

---
А результаты?

"Я думаю, что здесь есть три с половиной основных вывода", - говорит Шримпф со смехом. "Я говорю "полтора", потому что последний из них мы до сих пор не до конца поняли".

Машинное обучение, отражающее работу мозга
Мартин сразу же обратил внимание на то, что некоторые модели очень хорошо предсказывают нейронные данные. Другими словами, независимо от того, насколько хорошо модель выполняла ту или иную задачу, некоторые из них похожи на когнитивную механику мозга для обработки языка. Интересно, что команда из Массачусетского технологического института определила варианты модели GPT как наиболее похожие на мозг из всей группы, которую они рассматривали.

GPT - это обучающая модель, натренированная генерировать любой текст на человеческом языке. Она была разработана Open AI, исследовательской лабораторией ИИ, основанной Элоном Маском, которая в июне этого года представила новый инструмент ИИ, способный писать компьютерный код. До недавнего времени GPT-3, последняя итерация программы, была самой большой нейронной сетью из когда-либо созданных, имея более 175 миллиардов параметров машинного обучения.


Эта находка может приоткрыть завесу тайны над тем, как мозг выполняет хотя бы часть когнитивных функций более высокого уровня, таких как обработка языка. GPT работает по принципу предсказания следующего слова в последовательности. То, что он так хорошо согласуется с данными, полученными при сканировании мозга, указывает на то, что, чем бы ни занимался мозг при обработке языка, предсказание является ключевым компонентом этой работы.

Шримпф также отмечает, что в ситуациях, когда испытуемым показывали более длинные тексты и истории, все модели нейронных сетей показали относительно низкие результаты по сравнению с тем, как они оценивали короткие тексты.

"Этому есть разные интерпретации", - говорит Мартин. "Но более интересная интерпретация, которая, как мне кажется, также согласуется с тем, о чем сейчас говорит машинное обучение, заключается в том, что, возможно, эти модели действительно хороши в формировании правильных представлений на коротких расстояниях. Но как только у вас [...] появляется семантический контекст, который вам нужно агрегировать, возможно, именно в этом они не справляются. Если вы когда-нибудь играли с одним из этих чат-агентов в браузере, вы могли заметить нечто похожее, когда все начинается хорошо, но быстро разваливается".

Вторая важная находка команды раскрывает кое-что о том, как работает наше познание в отношении языка, поскольку они протестировали различные языковые задачи с помощью комбинации восьми различных эталонов, включающих такие аспекты, как грамматика, суждение и запутанность.

"Ни один из них не коррелировал", - говорит Мартин. "Поэтому, даже если эти модели хорошо справляются с этими задачами, это вовсе не предсказывает, насколько хорошо они будут соответствовать мозгу. Так что, похоже, что задача предсказания - это нечто особенное. Это то, для чего наша языковая система, похоже, оптимизирована".

Чтобы понять, почему одни модели больше похожи на мозг, чем другие, необходимы дальнейшие исследования. Отчасти это связано с тем, что в машинном обучении модели ИИ могут быть чем-то вроде черного ящика, где их функции настолько сложны, что даже люди, которые их разрабатывали, могут быть не в состоянии понять, как переменные, входящие в модели, связаны друг с другом. Мартин признает, что разбор этих переменных может оказаться непосильной задачей.

"Для отдельных моделей мы все еще не знаем, что произойдет, если у нас будет на один слой [в нейронной сети] меньше, или меньше единиц, или больше единиц", - говорит он. "Но есть проекты, которые пытаются разобрать модели и вырезать все различные компоненты и посмотреть, что на самом деле приводит к совпадению с мозгом".

Третий важный вывод исследования, который уникальным образом связывает его с теориями познания, заключается в том, что чем больше модель ИИ похожа на мозг, тем больше она способна соответствовать человеческому поведению, в данном случае - индивидуальному времени чтения испытуемых.


Сложив картину воедино, можно увидеть неожиданный синтез научных знаний, который Мартин называет "треугольником". Модели, использующие предсказание следующего слова, отражают показатели мозга испытуемых, которые, в свою очередь, могут быть использованы для предсказания поведения человека.

"Я думаю, что этот треугольник [открытий] - суперкрутой", - взволнованно говорит Мартин. "Теперь, когда мы извлекли уроки из зрения и других областей, мы смогли собрать все это в одном исследовании". Модели, которые лучше предсказывают следующее слово, лучше предсказывают нейронные реакции в человеческом мозге, а модели, которые лучше предсказывают нейронные реакции, могут лучше предсказывать поведение в виде времени самостоятельного чтения".

От нейронауки к ИИ и обратно
Одна из причин, по которой это исследование так увлекательно, заключается в том, что эти открытия в области познания одновременно указывают на происходящую "эволюцию ИИ", которая до недавнего времени оставалась незамеченной. Важно помнить, что никто специально не программировал ни одну из этих моделей, чтобы они действовали подобно мозгу, но в процессе их создания и модернизации мы, похоже, наткнулись на процесс, подобный тому, который привел к появлению самого мозга.

---
Мне очень понравилась цитата Нэнси Канвишер, одного из старших авторов статьи: "Это не должно было быть так". Не обязательно, что модели, которые мы построили для этих задач [предсказания языка], в итоге оказались похожими на мозг", - уточняет Мартин.

"В статье мы предположили, что, возможно, то, что делает сообщество специалистов по обработке естественного языка [...] - это что-то вроде эволюции сообщества. Если вы берете архитектуру [ИИ] и она хорошо работает, то вы берете те ее части, которые работают, "мутируют", рекомбинируете с другими архитектурами, которые хорошо работают, и создаете новые. Это не слишком отличается [от эволюции], по крайней мере, в широком смысле".

Именно архитектура как мозга, так и моделей ИИ, по мнению Мартина, является последним потенциальным открытием, которое предлагает исследование, хотя его грани все еще видны. Хотя нейронные сети можно обучать на данных, чтобы они работали лучше или более схоже с мозгом, их базовая структура, похоже, имеет большое значение.

"Оказывается, что эти внутренние структуры [в моделях] дают очень многое", - объясняет Мартин. "Если вы посмотрите на эти модели, вы все еще получаете что-то около 50 процентов от обучения [их на данных], но я думаю, никто из нас не ожидал, что структура помещает вас в правильное репрезентативное пространство".

Будущее исследований в области ИИ
Шримпф и его коллеги сосредоточены на расширении информационной платформы, которая будет собирать большие объемы данных такого рода и языковых моделей, делая их доступными для всего научного сообщества, чтобы помочь катализировать дальнейший прогресс.

Хотя для такого рода исследований не существует единой конечной цели, Мартин признает, что создание более полного понимания познания и использование этого понимания для создания практических приложений, способных помочь людям, - две стороны одной медали.

"Эти вещи полезны с научной точки зрения, потому что они являются частью единой научной гипотезы обо всем, что мы знаем о конкретном мозговом пространстве", - говорит он. "В настоящее время я также работаю над стимуляцией, управляемой моделями. То есть, в идеале, у нас должен быть испытуемый в кресле, смотрящий на серый экран, затем мы спрашиваем модель: "Если я хочу заставить испытуемого поверить, что он видит собаку, какую стимуляцию я должен применить? А затем мы соответствующим образом стимулируем мозг, и он видит собаку. Я думаю, это хорошее направление для зрения. Нечто подобное можно сделать и с языком. Возможно, мы сможем помочь людям с проблемами понимания языка. Я думаю, что здесь есть направление - я очень надеюсь на это".

Такие исследования и проекты, несомненно, вдохновят новые разговоры в области машинного обучения, нейронауки и познания. Они также повлияют на одну из самых напряженных дискуссий в научном сообществе, которая задается вопросом, является ли мозг вообще хорошей моделью для машинного обучения, и имеет ли это вообще значение.

"Люди спорят в обе стороны", - замечает Мартин. "Я думаю, что нейронаука может служить контрольной точкой проверки время от времени. На правильном ли вы пути? Создаете ли вы правильные типы, в данном случае, языковых моделей? Или они полностью отличаются от того, как мозг решает задачи?".

Как бы то ни было, заглянуть в мозг, чтобы понять, как он решает задачи, - это проект, который должен заинтересовать каждого. Машинное обучение, как оказалось, может стать одним из лучших инструментов, которые помогут нам в этом.








How to Share With Just Friends

How to share with just friends.


Posted by Facebook on Friday, December 5, 2014



Опубликовано 18 Декабрь 2021

Новости Hi-tech
Яндекс.Метрика
sitemap sitemap.xml
Сайт сделан на SiNG cms © 2010-2020