Новую систему искусственного интеллекта (ИИ), работающего в связке с функциональным МРТ называют семантическим декодером. Иными словами — преобразователем мозговой активности человека (во время прослушивания истории или воображения рассказа) в непрерывный поток текста.
Данная система не требует никаких хирургических вмешательств, то есть полностью неинвазивна.
Правда, на первом этапе ее пришлось долго тренировать: испытатели-добровольцы в общей сложности 16 часов слушали подкасты (аудио рассказы), лежа в сканере функциональной МРТ. Затем ученые соединили программы для анализа снимков мозга и искусственного интеллекта (Chat GPT). Последний, как мы знаем, способен быстро обучаться на большом количестве текстов. Эту его способность и использовали для обучения словам, которым соответствовали последовательные сканы фМРТ. То есть, искусственному «разуму» предложили выучить другой язык – язык человеческого мозга.
Обучив таким образом ИИ переводить изображения снимков в связную речь, на втором этапе исследователи стали вводить новые истории для прослушивания добровольцами. И машина стала составлять соответствующий текст исключительно на основе их мозговой активности.
Как мы уже отмечали, результат оказался довольно размытым: ChatGPT оказался способен улавливать не конкретные слова, а общую суть того, о чем думал доброволец. Например, фразу «У меня еще нет водительских прав», он переводил как: «Она еще даже не начала учиться водить», а слова: «Я не знала, кричать ли мне, плакать или убегать. Вместо этого я сказал: «Оставь меня в покое!» машина расшифровала как «Начала кричать и плакать, а потом она просто сказала: «Я сказала тебе оставить меня в покое»».
По мнению разработчиков семантический декодер должен в будущем помочь людям, находящимся в сознании, но лишенным возможности говорить, вновь начать полноценно выражать свои мысли.
«Для неинвазивного метода это настоящий скачок вперед по сравнению с тем, что делалось раньше, когда обычно использовались отдельные слова или короткие предложения», — сказал один из авторов работы доцент нейробиологии и информатики Алекс Хут. – Мы получаем модель для декодирования непрерывного языка в течение длительных периодов времени со сложными идеями».
В статье, вышедшей позже на сайте университета, разработчики новейшего «переводчика» отмечают, что в настоящее время систему можно использовать только в лаборатории, но в будущем ее можно будет перенести на более портативные системы визуализации мозга, такие как функциональная спектроскопия ближнего инфракрасного диапазона (fNIRS). Этот метод позволяет регистрировать активность коры головного мозга с помощью инфракрасных светодиодов, которые излучают волны различной длины в направлении нашего мозга.
