«Нейропротез» може відтворювати мовлення у людей із важким паралічем

15.07.2021

Дослідники Каліфорнійського університету, що у Сан-Франциско (UCSF), успішно розробили «мовний нейропротез», який дозволив людині з важким паралічем спілкуватися, перекладаючи сигнали від її мозку до голосового тракту безпосередньо у слова, що з'являються у вигляді тексту на екрані.

Дослідження опубліковано сьогодні у «New England Journal of Medicine».

«Наскільки нам відомо, це перша успішна демонстрація прямої розшифровки повних слів безпосередньо із мозкової активності паралізованої людини, – розповідає нейрохірург, голова нейрохірургії у UCSF, почесний професор та провідний автор дослідження Edward Chang. – Це дає оглядну перспективу щодо відновлення повноцінного спілкування у таких пацієнтів, залучаючись до природного мовного механізму мозку».

Раніше робота в галузі комунікаційного нейропротезування була зосереджена на відновленні спілкування за допомогою орфографічних підходів, тобто набору букв. Дослідження доктора Edward Chang кардинально відрізняється: воно полягає в обробці сигналів із мозку, які призначені для управління м'язами голосової системи для вимови слів, а не сигналів про рух рукою для друку тексту. Edward Chang акцентував, що такий підхід враховує природні та плавні аспекти мови і обіцяє більш швидке та органічне спілкування.

«За допомогою розмовної мови ми зазвичай передаємо інформацію з дуже високою швидкістю, до 150 або 200 слів на хвилину, – зазначає він, – підходи на основі правопису з використанням набору тексту значно повільніші і трудомісткі. Перехід безпосередньо до слів має великі переваги, тому що це ближче до того, як ми зазвичай говоримо».

Протягом останнього десятиліття прогресу Edward Chang до досягнення цієї мети сприяли пацієнти Центру епілепсії UCSF, які проходили нейрохірургічне обстеження з метою встановлення походження судом за допомогою електродних решіток, розміщених на поверхні їхнього мозку. Ці пацієнти, які не мали порушень мовлення, зголосилися провести аналіз записів мозку на розмовну активність. Ранній успіх із цими добровольцями відкрив шлях до поточного дослідження за участю людей із паралічем.

Раніше E. Chang та його колеги з Інституту нейронаук UCSF склали карти моделей кори головного мозку, пов’язаних із голосовими шляхами, які утворюють приголосні та голосні звуки. Щоб перевести ці висновки до розпізнавання повних слів, доктор наук, інженер та один із провідних авторів дослідження David Moses розробив нові методи декодування цих мовних моделей у реальному часі.

Але їхній успіх у розшифровці мови учасників, які могли говорити, не гарантував, що технологія спрацює у людини, голосовий тракт якої паралізований. «Нам необхідно було вивчити закономірності між складними моделями мозкової діяльності та передбачуваною мовою, – розповідає D. Moses. – Це створює серйозну проблему, коли учасник не може говорити».

Крім того, команда не знала, чи будуть сигнали головного мозку, що контролюють голосовий тракт, все ще незмінними для людей, у яких протягом багатьох років не функціонував голосовий апарат. «Найкращий спосіб дізнатись, чи може це спрацювати, – це спробувати», – сказав D. Moses.

Перші 50 слів

Щоб дослідити потенціал цієї технології у пацієнтів із паралічем, E. Chang співпрацював із колегою неврологом, доктором медичних наук Karunesh Ganguly.

Першим учасником дослідження «BRAVO» (Brain-Computer Interface Restoration of Arm and Voice) став чоловік, який у 30 років переніс руйнівний інсульт понад 15 років тому, що суттєво пошкодив зв'язок між його мозком і голосовим трактом та кінцівками. Після події пацієнт мав вкрай обмежені рухи голови, шиї та кінцівок, а також спілкувався за допомогою вказівника, прикріпленого до бейсбольної кепки, аби вказувати на літери на екрані.

Учасник, який попросив називати його BRAVO-1, працював із дослідниками, щоб створити словниковий запас із 50 слів, який команда вчених могла б розпізнати з мозкової діяльності за допомогою вдосконалених комп’ютерних алгоритмів. Словника, що включає такі слова, як «вода», «сім'я», «добре» та ін., було достатньо, щоб відтворити сотні речень, які BRAVO-1 застосовує у повсякденному житті.

E. Chang хірургічним шляхом імплантував електродний масив високої щільності над мовною корою головного мозку BRAVO-1. Після повного одужання пацієнта команда фіксувала нейронну активність у цій області мозку протягом 48 сеансів і кількох місяців. У кожному сеансі BRAVO-1 багато разів намагався сказати кожне з 50 слів словникового запасу, тоді як електроди записували сигнали мозку від його мовної кори.

Переклад спроби мовлення у текст

Щоб перевести закономірності записаної нейронної активності в конкретні передбачувані слова, два інших провідних автори дослідження, біоінженери Sean Metzger та Jessie Liu, застосовували користувальницькі моделі нейронних мереж, які є формами штучного інтелекту. Коли учасник намагався говорити, ці мережі вирізняли тонкі закономірності в мозковій діяльності, щоб виявити спроби мовлення і визначити, які слова він намагався сказати.

Команда розкрила, що система змогла декодувати слова з мозкової діяльності зі швидкістю до 18 слів на хвилину з точністю до 93 % (медіана 75 %). Успіху сприяла мовна модель, яку застосував D. Moses, яка реалізувала функцію «автоматичного виправлення», подібну до тієї, що використовується програмним забезпеченням для текстових повідомлень та розпізнавання мови.

Вчені заявили, що розширять дослідження, включивши більше учасників, які постраждали від важкого паралічу та дефіциту спілкування. Сьогодні команда працює над збільшенням кількості слів у наявному словниковому запасі, а також покращенням темпу мовлення.

Джерело: 'Neuroprosthesis' restores words to man with paralysis: Technology could lead to more natural communication for people who have suffered speech loss -- ScienceDaily

НОВИНИ ЗА ТЕМОЮ Неврологія

Від аутизму до хвороби Альцгеймера: масштабне дослідження на тваринах пов’язує зміни рН мозку з когнітивними дисфункціями 27.03.2024 Діагностика Неврологія Від аутизму до хвороби Альцгеймера: масштабне дослідження на тваринах пов’язує зміни рН мозку з когнітивними дисфункціями

Міжнародна дослідницька група, до складу якої входять 131 дослідник зі 105 лабораторій у семи країнах, опублікувала статтю на порталі eLife. Дослідження визначає дисфункцію енергетичного метаболізму мозку, що призводить до змін рН і рівнів лактату як загальних ознак у численних тваринних моделях нейропсихіатричних і нейродегенеративних розладів, таких як інтелектуальна недостатність, розлади аутистичного спектра, шизофренія, біполярний розлад, депресивні розлади та хвороба Альцгеймера. Раніше зв’язок між змінами рН мозку, рівнями лактату та специфічними поведінковими аномаліями не був чітко встановлений....

19.03.2024 Неврологія Учені знайшли біомаркер для раннього виявлення бічного аміотрофічного склерозу та лобно-скроневої деменції

Дві дегенеративні хвороби – бічний аміотрофічний склероз (БАС, широко відомий як хвороба Лу Геріга) і лобно-скронева деменція (ЛСД, хвороба, на яку страждають актор Брюс Вілліс та ведуча Венді Вільямс) – пошкоджують нервові клітини і є критичними для нормального функціонування людини: перша патологія впливає на нерви головного та спинного мозку, що призводить до втрати рухливості, друга руйнує ділянки мозку, які контролюють свідомість, поведінку та мову....

08.03.2024 Неврологія Хірургія, ортопедія та анестезіологія Тепер лікарі можуть спостерігати за активністю спинного мозку під час операцій

Завдяки технології, розробленій у Каліфорнійському університеті в Ріверсайді, учені вперше можуть отримати зображення спинного мозку з високою роздільною здатністю під час операції. Цей прогрес може допомогти принести реальне полегшення мільйонам людей, які страждають від хронічного болю у спині. Технологія, відома як fUSI або функціональна ультразвукова візуалізація, не тільки дозволяє клініцистам бачити спинний мозок, але й дає змогу відображати реакцію мозку на різні процедури в режимі реального часу. У статті, опублікованій у журналі Neuron, детально описано, як ця технологія спрацювала для шести людей, які проходили електричну стимуляцію для лікування хронічного болю у спині....