15 липня, 2021
«Нейропротез» може відтворювати мовлення у людей із важким паралічем
Дослідники Каліфорнійського університету, що у Сан-Франциско (UCSF), успішно розробили «мовний нейропротез», який дозволив людині з важким паралічем спілкуватися, перекладаючи сигнали від її мозку до голосового тракту безпосередньо у слова, що з'являються у вигляді тексту на екрані.
Дослідження опубліковано сьогодні у «New England Journal of Medicine».
«Наскільки нам відомо, це перша успішна демонстрація прямої розшифровки повних слів безпосередньо із мозкової активності паралізованої людини, – розповідає нейрохірург, голова нейрохірургії у UCSF, почесний професор та провідний автор дослідження Edward Chang. – Це дає оглядну перспективу щодо відновлення повноцінного спілкування у таких пацієнтів, залучаючись до природного мовного механізму мозку».
Раніше робота в галузі комунікаційного нейропротезування була зосереджена на відновленні спілкування за допомогою орфографічних підходів, тобто набору букв. Дослідження доктора Edward Chang кардинально відрізняється: воно полягає в обробці сигналів із мозку, які призначені для управління м'язами голосової системи для вимови слів, а не сигналів про рух рукою для друку тексту. Edward Chang акцентував, що такий підхід враховує природні та плавні аспекти мови і обіцяє більш швидке та органічне спілкування.
«За допомогою розмовної мови ми зазвичай передаємо інформацію з дуже високою швидкістю, до 150 або 200 слів на хвилину, – зазначає він, – підходи на основі правопису з використанням набору тексту значно повільніші і трудомісткі. Перехід безпосередньо до слів має великі переваги, тому що це ближче до того, як ми зазвичай говоримо».
Протягом останнього десятиліття прогресу Edward Chang до досягнення цієї мети сприяли пацієнти Центру епілепсії UCSF, які проходили нейрохірургічне обстеження з метою встановлення походження судом за допомогою електродних решіток, розміщених на поверхні їхнього мозку. Ці пацієнти, які не мали порушень мовлення, зголосилися провести аналіз записів мозку на розмовну активність. Ранній успіх із цими добровольцями відкрив шлях до поточного дослідження за участю людей із паралічем.
Раніше E. Chang та його колеги з Інституту нейронаук UCSF склали карти моделей кори головного мозку, пов’язаних із голосовими шляхами, які утворюють приголосні та голосні звуки. Щоб перевести ці висновки до розпізнавання повних слів, доктор наук, інженер та один із провідних авторів дослідження David Moses розробив нові методи декодування цих мовних моделей у реальному часі.
Але їхній успіх у розшифровці мови учасників, які могли говорити, не гарантував, що технологія спрацює у людини, голосовий тракт якої паралізований. «Нам необхідно було вивчити закономірності між складними моделями мозкової діяльності та передбачуваною мовою, – розповідає D. Moses. – Це створює серйозну проблему, коли учасник не може говорити».
Крім того, команда не знала, чи будуть сигнали головного мозку, що контролюють голосовий тракт, все ще незмінними для людей, у яких протягом багатьох років не функціонував голосовий апарат. «Найкращий спосіб дізнатись, чи може це спрацювати, – це спробувати», – сказав D. Moses.
Перші 50 слів
Щоб дослідити потенціал цієї технології у пацієнтів із паралічем, E. Chang співпрацював із колегою неврологом, доктором медичних наук Karunesh Ganguly.
Першим учасником дослідження «BRAVO» (Brain-Computer Interface Restoration of Arm and Voice) став чоловік, який у 30 років переніс руйнівний інсульт понад 15 років тому, що суттєво пошкодив зв'язок між його мозком і голосовим трактом та кінцівками. Після події пацієнт мав вкрай обмежені рухи голови, шиї та кінцівок, а також спілкувався за допомогою вказівника, прикріпленого до бейсбольної кепки, аби вказувати на літери на екрані.
Учасник, який попросив називати його BRAVO-1, працював із дослідниками, щоб створити словниковий запас із 50 слів, який команда вчених могла б розпізнати з мозкової діяльності за допомогою вдосконалених комп’ютерних алгоритмів. Словника, що включає такі слова, як «вода», «сім'я», «добре» та ін., було достатньо, щоб відтворити сотні речень, які BRAVO-1 застосовує у повсякденному житті.
E. Chang хірургічним шляхом імплантував електродний масив високої щільності над мовною корою головного мозку BRAVO-1. Після повного одужання пацієнта команда фіксувала нейронну активність у цій області мозку протягом 48 сеансів і кількох місяців. У кожному сеансі BRAVO-1 багато разів намагався сказати кожне з 50 слів словникового запасу, тоді як електроди записували сигнали мозку від його мовної кори.
Переклад спроби мовлення у текст
Щоб перевести закономірності записаної нейронної активності в конкретні передбачувані слова, два інших провідних автори дослідження, біоінженери Sean Metzger та Jessie Liu, застосовували користувальницькі моделі нейронних мереж, які є формами штучного інтелекту. Коли учасник намагався говорити, ці мережі вирізняли тонкі закономірності в мозковій діяльності, щоб виявити спроби мовлення і визначити, які слова він намагався сказати.
Команда розкрила, що система змогла декодувати слова з мозкової діяльності зі швидкістю до 18 слів на хвилину з точністю до 93 % (медіана 75 %). Успіху сприяла мовна модель, яку застосував D. Moses, яка реалізувала функцію «автоматичного виправлення», подібну до тієї, що використовується програмним забезпеченням для текстових повідомлень та розпізнавання мови.
Вчені заявили, що розширять дослідження, включивши більше учасників, які постраждали від важкого паралічу та дефіциту спілкування. Сьогодні команда працює над збільшенням кількості слів у наявному словниковому запасі, а також покращенням темпу мовлення.