Войти
Нейроимплант научили одновременно распознавать речь и жесты

Нейроимплант научили одновременно распознавать речь и жесты

Исследователи Калифрнийского университета создали нейроинтерфейс, который одновременно распознает намеренную речь и жесты. Система переводит электрическую активность мозга в текст и управляет полноразмерным виртуальным аватаром. Разработку описали в журнале Nature Neuroscience.

Современные интерфейсы «мозг – компьютер» (brain-computer interface, BCI) уже помогают людям с тяжелым параличом общаться или управлять внешними устройствами. Однако большинство систем восстанавливает только один канал – речь или движение. Новая разработка объединяет оба направления.

Система использует массив из 253 электродов, который нейрохирурги имплантировали на поверхность коры головного мозга. Электроды покрывают значительную часть сенсомоторной коры. Поэтому они могут регистрировать сигналы, связанные одновременно с речью и движениями тела.

В исследовании участвовали два человека с тяжелыми двигательными и речевыми нарушениями. Первый перенес инсульт ствола мозга. Он пытался беззвучно произносить пять фраз, а также выполнить несколько жестов – помахать рукой, кивнуть, потрясти руками и похлопать.

У второго участника был боковой амиотрофический склероз с прогрессирующим нарушением речи и движений. Он мог печатать на компьютере и телефоне. В эксперименте участник произносил 10 фраз и представлял 10 жестов, например пожимание плечами или жест «палец вверх».

Исследователи обучили алгоритмы искусственного интеллекта распознавать речь, жесты или оба сигнала одновременно. Оказалось, что обучение на данных всех трех типов задач повышало точность при одновременном распознавании речи и жестов по сравнению с обучением только на речевых или только на двигательных сигналах.

Затем BCI подключили к персональному полноразмерному виртуальному аватару. Во время разговорных тестов участники могли отвечать фразой, жестом или их комбинацией.

Результаты оказались следующими:

– у первого участника медианная точность распознавания речи и жестов достигла 100% в трех из пяти разговорных тестов;
– у второго участника средняя точность составила 75% для речи и 85% для жестов.

На данном этапе систему специально сделали достаточно простой. Поэтому она распознавала отдельные фразы и определенные жесты. При этом авторы отмечают, что точность распознавания речи в этой работе ниже, чем в некоторых предыдущих исследованиях. Они планируют постепенно расширять систему за счет увеличения словаря и непрерывного управления отдельными частями тела, например всеми суставами кисти.

Представленная разработка важна прежде всего как пример нового подхода к нейрореабилитации – BCI постепенно переходят от восстановления одной функции к созданию более естественного канала коммуникации, который объединяет речь, мимику и движения. Для пациентов с тяжелым параличом такая система может вернуть не только способность передавать слова, но и часть невербальной выразительности общения.

Источник: Brosler SC, Liu JR, Silva AB et al. Simultaneous speech and gesture decoding for multimodal communication in paralysis. Nat Neurosci. 2026. https://doi.org/10.1038/s41593-026-02446-2

Технологии в медицине

Все новости
Сеченовский Университет начнет пилотную оценку ИИ-модуля для хирургии легких, созданного с «РТК Радиология»
Новое исследование раскрывает роль жирных кислот микроокружения опухоли в подавлении иммунитета
Нейросеть DynaVelo научилась предсказывать развитие клеток и находить генетические «переключатели» для лечения болезней
FDA одобряет первый сердечный клапан, способный «расти» вместе с ребенком
В Клиниках СамГМУ впервые в рамках выделенных квот Минздрава России применили CAR-T-терапию для лечения онкогематологических заболеваний
Мост через разрыв: ученые Пироговского Университета приняли участие в уникальной для мировой практики операции по пересадке сегмента спинного мозга
В Сеченовском Университете провели пятитысячную робот-ассистированную операцию
Российские ученые нашли способ объединять данные десятков исследований о лекарствах в одну модель
В рамках XXVII Всероссийского научно-образовательного форума «Мать и Дитя» прошла дискуссия «Жаркий вопрос», посвященная проблеме менопаузы и перспективам терапии для женщин вне гормонального маршрута