Нейроимплант научили одновременно распознавать речь и жесты
Исследователи Калифрнийского университета создали нейроинтерфейс, который одновременно распознает намеренную речь и жесты. Система переводит электрическую активность мозга в текст и управляет полноразмерным виртуальным аватаром. Разработку описали в журнале Nature Neuroscience.
Современные интерфейсы «мозг – компьютер» (brain-computer interface, BCI) уже помогают людям с тяжелым параличом общаться или управлять внешними устройствами. Однако большинство систем восстанавливает только один канал – речь или движение. Новая разработка объединяет оба направления.
Система использует массив из 253 электродов, который нейрохирурги имплантировали на поверхность коры головного мозга. Электроды покрывают значительную часть сенсомоторной коры. Поэтому они могут регистрировать сигналы, связанные одновременно с речью и движениями тела.
В исследовании участвовали два человека с тяжелыми двигательными и речевыми нарушениями. Первый перенес инсульт ствола мозга. Он пытался беззвучно произносить пять фраз, а также выполнить несколько жестов – помахать рукой, кивнуть, потрясти руками и похлопать.
У второго участника был боковой амиотрофический склероз с прогрессирующим нарушением речи и движений. Он мог печатать на компьютере и телефоне. В эксперименте участник произносил 10 фраз и представлял 10 жестов, например пожимание плечами или жест «палец вверх».
Исследователи обучили алгоритмы искусственного интеллекта распознавать речь, жесты или оба сигнала одновременно. Оказалось, что обучение на данных всех трех типов задач повышало точность при одновременном распознавании речи и жестов по сравнению с обучением только на речевых или только на двигательных сигналах.
Затем BCI подключили к персональному полноразмерному виртуальному аватару. Во время разговорных тестов участники могли отвечать фразой, жестом или их комбинацией.
Результаты оказались следующими:
– у первого участника медианная точность распознавания речи и жестов достигла 100% в трех из пяти разговорных тестов;
– у второго участника средняя точность составила 75% для речи и 85% для жестов.
На данном этапе систему специально сделали достаточно простой. Поэтому она распознавала отдельные фразы и определенные жесты. При этом авторы отмечают, что точность распознавания речи в этой работе ниже, чем в некоторых предыдущих исследованиях. Они планируют постепенно расширять систему за счет увеличения словаря и непрерывного управления отдельными частями тела, например всеми суставами кисти.
Представленная разработка важна прежде всего как пример нового подхода к нейрореабилитации – BCI постепенно переходят от восстановления одной функции к созданию более естественного канала коммуникации, который объединяет речь, мимику и движения. Для пациентов с тяжелым параличом такая система может вернуть не только способность передавать слова, но и часть невербальной выразительности общения.
Источник: Brosler SC, Liu JR, Silva AB et al. Simultaneous speech and gesture decoding for multimodal communication in paralysis. Nat Neurosci. 2026. https://doi.org/10.1038/s41593-026-02446-2