Les neuroscientifiques enseignent aux ordinateurs à lire des mots directement dans le cerveau des gens.
Kelly Servick, écrivant pour Science, a rendu compte cette semaine de trois articles publiés sur le serveur de préimpression bioRxiv dans lesquels trois équipes de chercheurs différentes ont démontré qu'elles pouvaient décoder la parole à partir d'enregistrements de neurones en train de tirer. Dans chaque étude, des électrodes placées directement sur le cerveau ont enregistré l'activité neuronale pendant que les patients opérés du cerveau écoutaient la parole ou lisaient des mots à haute voix. Ensuite, les chercheurs ont essayé de comprendre ce que les patients entendaient ou disaient. Dans chaque cas, les chercheurs ont réussi à convertir l'activité électrique du cerveau en fichiers sonores au moins quelque peu intelligibles.
Le premier article, publié sur bioRxiv le 10 octobre 2018, décrit une expérience dans laquelle des chercheurs ont diffusé des enregistrements de discours à des patients épileptiques qui étaient en pleine chirurgie cérébrale. (Les enregistrements neuronaux pris dans l'expérience devaient être très détaillés pour être interprétés. Et ce niveau de détail n'est disponible que dans les rares circonstances où un cerveau est exposé à l'air et des électrodes sont placées directement dessus, comme en chirurgie cérébrale .)
Pendant que les patients écoutaient les fichiers sonores, les chercheurs ont enregistré des neurones tirant dans les parties du cerveau des patients qui traitent le son. Les scientifiques ont essayé un certain nombre de méthodes différentes pour transformer ces données de déclenchement neuronal en parole et ont découvert que l '«apprentissage profond» - dans lequel un ordinateur tente de résoudre un problème plus ou moins sans surveillance - fonctionnait le mieux. Lorsqu'ils ont diffusé les résultats via un vocodeur, qui synthétise des voix humaines, pour un groupe de 11 auditeurs, ces personnes ont pu interpréter correctement les mots 75% du temps.
Vous pouvez écouter l'audio de cette expérience ici.
Le deuxième article, publié le 27 novembre 2018, s'appuyait sur des enregistrements neuronaux de personnes subissant une intervention chirurgicale pour retirer des tumeurs cérébrales. Alors que les patients lisaient à haute voix des mots d'une seule syllabe, les chercheurs ont enregistré à la fois les sons sortant de la bouche des participants et les neurones qui tiraient dans les régions productrices de parole de leur cerveau. Au lieu de former des ordinateurs profondément sur chaque patient, ces chercheurs ont enseigné un réseau neuronal artificiel pour convertir les enregistrements neuronaux en audio, montrant que les résultats étaient au moins raisonnablement intelligibles et similaires aux enregistrements effectués par les microphones. (L'audio de cette expérience est ici mais doit être téléchargé sous forme de fichier zip.)
Le troisième article, publié le 9 août 2018, reposait sur l'enregistrement de la partie du cerveau qui convertit des mots spécifiques qu'une personne décide de prononcer en mouvements musculaires. Bien qu'aucun enregistrement de cette expérience ne soit disponible en ligne, les chercheurs ont rapporté qu'ils étaient capables de reconstruire des phrases entières (également enregistrées lors d'une chirurgie cérébrale sur des patients épileptiques) et que les personnes qui ont écouté les phrases ont pu les interpréter correctement sur un choix multiple. test (sur 10 choix) 83 pour cent du temps. La méthode de cette expérience reposait sur l'identification des modèles impliqués dans la production de syllabes individuelles, plutôt que des mots entiers.
Le but de toutes ces expériences est de permettre un jour aux personnes qui ont perdu la capacité de parler (en raison de la sclérose latérale amyotrophique ou de conditions similaires) de parler via une interface ordinateur-cerveau. Cependant, la science pour cette application n'est pas encore là.
L'interprétation des schémas neuronaux d'une personne imaginant simplement la parole est plus compliquée que l'interprétation des schémas d'une personne écoutant ou produisant de la parole, a rapporté Science. (Cependant, les auteurs du deuxième article ont déclaré qu'il était possible d'interpréter l'activité cérébrale d'une personne imaginant la parole.)
Il est également important de garder à l'esprit qu'il s'agit de petites études. Le premier document s'appuyait sur des données provenant de seulement cinq patients, tandis que le second portait sur six patients et le troisième sur trois seulement. Et aucun des enregistrements neuronaux n'a duré plus d'une heure.
Pourtant, la science progresse et les appareils de parole artificielle connectés directement au cerveau semblent être une possibilité réelle à un moment donné.
