歡迎關注“新浪科技”的微信訂閱號：techsina

　　編輯/小勻、LQ

　　新智元報道

　　文章來源：Nature

　　【新智元導讀】Nature封面重磅發布：可將腦中想象的“筆跡”轉為屏幕文本，準確率超99%. 而且，受試者可以每分鐘輸入90個字符，這是此前使用腦機接口打字紀錄的兩倍多，接近同齡健全人每分鐘115個字符的智能手機打字速度。

　　無需植入，機器學習搞定“讀心術”。

　　長期以來，人們都對“讀心”的概念著迷。

　　說話，這項看似毫不費力的活動，實際上卻是人類最復雜的動作之一。

　　說話需要精確、動態地協調聲道發音器官結構中的肌肉——嘴唇、舌頭、喉部和下頜。

　　當由于中風、肌萎縮側索硬化癥（ALS）或其他神經系統疾病而導致言語中斷時，喪失說話能力可能是毀滅性的。

　　本周Nature封面重磅發布一項“拯救性”研究：可將腦中“筆跡”轉為屏幕字句，速度創記錄，準確率超99%。

　　這種方法的重要突破在于：其速度與健全的同齡人在智能手機上發短信的速度相媲美。

　　首次聚焦“手寫體”，接近同齡健全人智能手機打字速度

　　近年來，以馬斯克Neuralink為代表的許多腦機接口公司，都在致力于開發類似的大腦植入技術。

　　然而，沒有人研究過手寫體。

　　來自斯坦福大學霍華德?休斯醫學研究所（HHMI）研究員克里希納?謝諾伊教授（Krishna Shenoy）與科學家弗蘭克?威利特（Frank Willett）表示，此次研究的最大創新是首次破譯了與手寫筆記有關的大腦信號。斯坦福神經外科醫生杰米?亨德森（Jaimie Henderson）也參與了這項研究。

　　斯坦福神經外科醫生杰米?亨德森（Jaimie Henderson）和斯坦福HHMI研究員克里希納?謝諾伊教授（Krishna Shenoy）

　　此前，謝諾伊的團隊對與語言相關的神經活動進行了解碼，他們讓植入了神經傳感器的受試者嘗試手臂運動來移動屏幕上的光標，以指向并單擊字母并拼出單詞和句子。

　　以這種方式指向和點擊字母讓人們每分鐘輸入大約40個字符，這是之前用腦機接口（BCI）打字的速度記錄。

　　而在最新實驗中，一名受試者可以每分鐘輸入90個字符，這是此前使用腦機接口打字紀錄的兩倍多，接近同齡健全人每分鐘115個字符的智能手機打字速度。在線原始準確率為94.1％，離線自動校正的準確率超過 99%.

　　“大腦-文本”BCI

　　該實驗的受試者名為“T5”，他因14年前的脊髓損傷幾乎失去了頸部以下的活動能力，僅能做手部抽搐和微動。

　　受試者通過想象他拿著鋼筆在一張紙上嘗試寫句子，就好像他的手沒有癱瘓一樣。

　　書寫時，利用傳感器從各個神經元收集信號，一個機器學習算法識別了他的大腦在每個字母上產生的模式。

　　有了這個系統，受試者復制書寫（按照所提供的句子再寫一次）句子和回答問題的速度與同齡人在智能手機上打字的速度相當。

　　威利特說，這種所謂的“大腦到文本”的BCI之所以如此快速，是因為每個字母的書寫都會產生一種非常獨特的活動模式，這使得算法相對容易區分一個字母和另一個字母。

　　亨德森博士在受試者的左腦上放置了兩個腦機接口芯片，每個芯片有100個電極，這些電極從運動皮層部分發射的神經元中提取信號，從而控制手部的運動。

　　這些神經信號通過電線發送到計算機，在計算機上人工智能算法對信號進行解碼，并推測T5預期的手和手指運動。

用于打字的腦機接口

　　威利特等人開發出的腦機接口通過將想象中的手寫嘗試所產生的神經活動轉化為計算機屏幕上的文本，使癱瘓的人能夠打字。

　　簡單描述就是植入大腦的電極在受試者想象書寫每個字母時測量許多神經元的活動(線表示每個神經元激發的時間點)。

　　一個叫做遞歸神經網絡(RNN)的深度學習模型學習每個字符產生的神經活動模式，并分析這些活動模式如何跨越多個試驗相關聯，生成聚類圖。

　　這個信息被一個算法用來預測參與者在當前試驗中想象的字母，然后這個預測被翻譯成一個排版輸出。

筆跡的神經表征

　　高準確率來自RNN模型

　　利用RNN需要大量的訓練數據，但這些數據在神經接口中是有限的，因為很少有用戶愿意想象連續寫作數小時。這是該實驗的一大難點。

　　研究團隊用一種被稱為“數據增強”的方法解決了該問題。

　　在這種方法中，參與者先前產生的神經活動模式被用來產生句子，在這些句子上訓練RNN。他們還通過在神經活動模式中引入人為的變化來擴展他們的訓練數據，以模仿人類大腦中自然發生的變化。

　　在這項研究中，T5需要把每個字母重復10次，讓軟件“學習”識別與他嘗試寫那個特定字母相關的神經信號。

　　在接下來數小時的測試中，T5被展示了幾組句子，并被要求在大腦中嘗試“手寫”每一個句子，沒有使用大寫字母。這些句子比如，“i interrupted, unable to keep silent,”和“within thirty seconds the army had landed.”。

　　隨著時間的推移，這些算法提高了它們區分代表不同字母或符號的神經放電模式的能力。算法對T5意圖寫的任何字母的解讀在大約“半秒的延遲”后出現在電腦屏幕上。

　　T5還被要求復制書寫算法從未接觸過的句子。他最終能夠每分鐘寫出90個字符，大約18個單詞。之后，他被要求回答開放性的問題(需要一些停頓來思考)，他每分鐘寫了73.8個字符（平均接近15個單詞），是2017年研究中自由書寫記錄速度的三倍。

　　威利特等人的算法做到了準確分類。復制書寫錯誤率大約是每18或19個字符中有一個錯誤；自由書寫錯誤率約為每11或12個字符中有一個。

　　當研究人員通過包括預測語言模型(類似于智能手機上的自動糾錯功能)后，錯誤率明顯較低：復制書寫的錯誤率低于1%，自由書寫的錯誤率略高于2%。

　　“與其他腦機接口相比，這些錯誤率相當低。”謝諾伊說。

　　訓練數據集已公開

　　接下來，該小組的目標是與無法說話或患有諸如肌萎縮性側索硬化癥（ALS）之類的退化性神經系統疾病的參與者合作，這種疾病會奪走患者的說話能力。

　　威利特和同事的研究開始兌現 BCI 技術的承諾。iBCIs 將需要提供巨大的性能和可用性收益，以證明將電極植入大腦的相關費用和風險是合理的。

　　重要的是，打字速度并不是決定是否采用這項技術的唯一因素，這種方法的壽命和魯棒性也需要分析。

　　研究人員提供了有前景的證據，證明他們的算法在有限的訓練數據下仍能表現良好，但隨著神經活動模式的改變，可能還需要進一步的研究，才能使設備在使用壽命期間保持運轉。

　　未來繼續進行研究以測試該方法是否可以推廣到其他用戶以及實驗室以外的場景也至關重要的。

　　另一個問題是這種方法將如何擴展和翻譯成其他語言。威利特和他的同事們的模擬研究突出表明，拉丁字母中的幾個字母書寫方式相似(例如 r, v和u) ，因此比其他字母更難分類。

　　拉丁字母中的幾個字母書寫方式相似(例如r,v和u)

　　另外，比如泰米爾語有247個字母，字母彼此之間密切相關，所以可能很難分類。對于那些還沒有被機器學習的語言預測模型很好地表示出來的語言來說，翻譯問題尤其重要。

　　雖然還有很多工作要做，但威利特和同事們的研究是一個里程碑，它拓寬了iBCI的應用。

　　由于它使用的機器學習方法正在迅速改進，插入最新的模型為未來的改進提供了一條有前景的道路。研究小組還將其數據集公開，以加速研究進展。

　　參考資料：

　　https://www.hhmi.org/news/brain-computer-interface-turns-mental-handwriting-into-text-on-screen

　　https://www.nature.com/articles/d41586-021-00776-8

（聲明：本文僅代表作者觀點，不代表新浪網立場。）