侵入式脑机接口,进展到哪一步了?
侵入式脑机接口,进展到哪一步了?
侵入式脑机接口技术是当前科技领域的前沿研究方向之一,它通过直接与大脑神经元交互,实现对大脑信号的精准获取和解析。这项技术不仅在医疗领域有着广泛的应用前景,还可能为人类探索大脑奥秘、实现意识永生提供新的途径。本文将为您详细介绍侵入式脑机接口的技术原理、研究现状、产业化进展及面临的挑战。
侵入式脑机组成
侵入式脑机接口技术不同于非侵入式脑机接口技术,其主要通过皮质内记录(intracortical recordings),获取的是大脑皮层下的神经元电势信号,相比于皮层信号和头皮信号来说信号信噪比会更好,分辨率会更高,从而使得对基于该路线的脑机交互任务解码算法难度大大降低。
脑机接口的三种形式示意图
侵入式脑机接口主要由“电极-前置芯片-通信采集系统-计算处理系统-指令控制单元”5个关键部分组成:
- 进行大脑组织植入的电极;
- 对电极获取大脑神经信号进行传感放大的前置芯片;
- 对采集信号进行编码与传输发送的采集主板系统;
- 对获取信号进行计算解码的计算单元;
- 对完成计算解码的信号的指令识别与反馈控制单元。
对应的,侵入式脑机接口特点:
- 信号获取层面,能够精准获取神经元信号,能够获取低噪音信号,能够获取精细信号;
- 通信传输层面,传输带宽要求大,传输速率要求快,传输稳定要求高;
- 植入方式层面,需要对头部开颅,局部有损皮层组织,需要精细手术;
- 研发体系层面,涉及专业学科多,研发流程复杂,研发人员专业要求高;
- 开发生产层面,生产制备工艺精密,开发测试难度大,生产制备环节多。
侵入式脑机接口研究现状
(1)脑与神经机制
侵入式脑机接口主要通过测量深层局部场电位(LFP)来获取神经元集体的电信号。这类信号主要是由大脑中的神经元活动会产生跨膜电流,从而可以在细胞外介质中测量到。
虽然突触后跨膜电流是细胞外信号的主要贡献者,但其他因素,如钠离子和钙离子的尖峰活动、电压门控和配体门控通道的离子流动,以及膜本身的固有振荡,也对细胞外场有显著影响。
通过在动物体内进行高密度的场活动记录,以及在人类头骨上进行电极网格记录,结合最新开发的数据处理工具和计算建模技术,我们能够更深入地了解神经元的协同活动、它们的平均突触输入与输出,从而增强我们对这些过程如何产生细胞外信号的理解。
(2)植入式电极材料
侵入式脑机接口电极部分,主要有硬质电极及柔性电极两大类。其中硬质电极以常见的犹他电极为代表被广泛使用于研究临床等场景,其特点是稳定性高,电极强度高,耐用性强,并经过长期的使用验证,且可以长期在脑部植入,但在一定程度上会对大脑皮层组织在植入过程中有一定的损伤。
对应的柔性电极主要特点是体积微小,在植入过程中对大脑皮层损伤小,但当前植入式电极研发制备技术还不完备,同时相比于硬质电极,无法较长周期稳定植入,需要继续研发提升各方面性能。
(3)植入式电路芯片系统
不同于科研场景的侵入式科学仪器设备,对于侵入式脑机产品应用方案,关键的一环是将脑机芯片与电极及其他单元一体化和微型化,这对芯片设计及微型电路系统设计具备较高需求。
作为产品应用场景的侵入式脑机接口,在植入芯片设计方面需要特别考虑体积与功耗及散热和连接封闭等问题,当前主要稳定的产品脑机芯片设计路线,为32,64,128等通道方案,而在研究领域大家更多的进行的是如256,512,1024 通道甚至到2048通道以上的高通路脑机实验系统设计。
同时在整机侵入式脑机产品设计方面,更多的会考虑芯片与电极方案的一体式设计,从而使得整机在体积层面更加微型化,方便用户植入佩戴。
(4)神经信号计算解码
在侵入式脑机应用信号解码与识别计算方面,在整体信号数据处理pipeline层面与非侵入式信号数据处理一直,也都是从原始神经电数据获取后开始进行数据预处理(降噪滤波等基础计算),特征提取与选择,最后实现模式识别与分类计算。
而近年来随着AI模型的广泛应用,侵入式脑机接口计算应用也越来越多的使用深度学习模型,如CNN模型,LSTM模型,TCN模型以及QRNN等算法模型,并且在识别准确率上有着较好的准确率和效果。
侵入式脑机接口产业化现状
(1)国外
产业应用层面来说,国外由于在侵入式脑机接口产业化应用启动较早,对应的存在的侵入式脑机接口公司也较多,如Ellon Musk创立的侵入式脑机交互科技公司Neuranlink ,及通过血管植入的医用脑科技公司synchron , 科学仪器公司BRAINGATE,脑科学仪器设备公司 g.tech,侵入式脑机芯片公司intan ,脑起搏器供应商医疗科技公司 Medtronic等。
(2)国内
对应的我国在侵入式脑机接口产业整体层面起步较晚,同时更多的是从侵入式脑机接口的某个部件层面起步,同时只有极少数相关公司完成了医学产品化的应用,如以脑起搏器为医疗场景应用的品驰医疗。
我国当前主要的侵入式方向相关的脑机主体的科技公司主要有脑虎科技,阶梯医疗,智冉医疗,微灵医疗,品驰医疗等不同发展阶段的科技公司。我国侵入式脑机接口产业化发展缓慢主要原因是因为该方向技术难题较多,需要投入的人力物力较大,投资周期较长。
侵入式脑机接口应用研究进展
(1)国外
在研究层面,国外研究团队更多聚焦复杂交互应用,如通过脑机进行外骨科移动控制研究,通过脑机接口实现视觉重建研究,通过脑机接口实现语音交互研究,通过脑机接口实现高速意念通信研究,通过脑机接口实现精细指令操作识别。
脑机外骨骼控制
Onward在《Nature》杂志上详细介绍了其脊髓刺激(SCS)疗法如何与无线 BCI 配合使用,使患者能够增强对瘫痪双腿运动的控制。次月,Precision 公司宣布成功完成了其第 7 层皮层接口的首次人体植入,这是评估该设备的试点研究的一部分:Lorach, Henri, et al. "Walking naturally after spinal cord injury using a brain–spine interface." Nature 618.7963 (2023): 126-133.
语音解码与交互
解码工作流程图,每个参与者从两个数据集(MOCHA-TIMIT,图片描述)中的一个读取句子,而神经信号用覆盖外侧大脑皮层的ECoG阵列(120–250个电极)记录。高γ信号(70–150赫兹)的分析振幅在大约200赫兹时被提取,被限幅到所说句子的长度,并作为输入提供给人工神经网络。网络的早期阶段学习时间卷积滤波器,此外,有效地对这些信号进行下采样。每个过滤器将所有电极上12个样本宽度窗口的数据(例如,红色高γ信号示例上显示的绿色窗口)映射到一个特征序列的单个样本(在蓝色特征序列的绿色方块中突出显示);然后滑动12个输入样本以产生特征序列的下一个样本;诸如此类。以这种方式产生100个特征序列,然后传递给编码器RNN,它学会在单个隐藏状态下总结它们。编码器RNN还被训练来预测语音音频信号中与ECoG数据在时间上一致的多载波通信,尽管这些在测试期间没有被使用(详见“解码器管道”)。最终的编码器隐藏状态初始化解码器RNN,它学习预测序列中的下一个字,给定前一个字和它自己的当前状态。在测试过程中,使用前面预测的单词来代替。Makin, Joseph G., David A. Moses, and Edward F. Chang. "Machine translation of cortical activity to text with an encoder–decoder framework." Nature neuroscience 23.4 (2020): 575-582.
脑机视觉感知
视觉神经假体设计的主要方法:a 视网膜横截面示意图,显示了刺激眼睛输出细胞的三种方法:1,视网膜前;2、视网膜下和 3、脉络膜上。b 基于视神经的视觉假体。c 刺激丘脑外侧膝状核 (LGN)。d 皮质方法。一般来说,所有方法都共享一组通用的组件:用于捕获图像的相机,通常安装在或多或少的标准眼镜上;第二阶段将视觉场景转换为电刺激模式,并通过射频链路将该信息传输到植入设备,以及植入视觉通路中一定水平的电极阵列,该电极阵列必须位于目标神经元附近。Fernandez, Eduardo. "Development of visual Neuroprostheses: trends and challenges." Bioelectronic medicine 4.1 (2018): 12.
意念打字
高性能言语神经假体。上图:解码算法的示意图。首先,每个电极上的神经活动被暂时合并及平滑化。然后,使用 RNN 将神经群体时间序列转换成概率时间序列,其描述了每个字符的可能性和任何新字符开始的概率。该 RNN 有 1 秒的输出延迟(d),让其在确定字符的身份之前有时间完整地观察每个字符。最后,设定字符概率的阈值,为实时使用得到原始在线输出(当新字符的概率在时间 t 超过某个阈值时,就在时间 t+0.3 秒给出最有可能的字符并将其展示在屏幕上)。在回顾性分析中,研究者将字符概率与一个具有大词汇库的语言模型组合到一起,用以解码参与者最有可能写下的文本。Willett, Francis R., et al. "A high-performance speech neuroprosthesis." Nature 620.7976 (2023): 1031-1036.
脑机精细指令操作识别
(2)国内
对应的国内研究团队更多聚焦在实际医学交互场景,如通过脑机接口实现患者自主喝水,通过脑机接口实现鼠标移动,通过脑机接口控制机械臂移动,通过脑机接口进行医学神经干预刺激等。
宣武医院-清华团队
首都医科大学宣武医院赵国光教授团队、清华大学医学院洪波教授团队日前对外宣布,我国脑机接口技术实现突破性进展,通过植入式硬膜外电极脑机接口,让一名四肢截瘫患者实现自主喝水等脑控功能,抓握准确率超过90%。
浙江大学
浙江大学脑机接口团队的最新研究成果在浙江大学医学院附属第二医院发布,成果显示,其脑机接口技术能够使 76 岁瘫痪老人实现用意念控制机械臂写汉字,且 100 个常用汉字正确率达到 96% 。
上海瑞金医院
瑞金医院正用带有脑机接口功能的脑起搏器治疗难治性抑郁症。患者通过程控器感应胸腔的脑起搏器,连上后,就能通过手机App无线切换刺激模式。
侵入式脑机接口技术难题
对应的侵入式脑机接口的技术难题主要有:
- 神经机制复杂;
- 数据传输带宽高;
- 传感采集采样率高;
- 持久使用要求高;
- 长储能低功耗;
- 高速实时计算响应快;
- 整体硬件设计体系微型化;
- 计算任务复杂难解耦。
侵入式脑机接口产业化展望
通过整体的总结与调研及行业实践,我们发现侵入式脑机接口产业主要是技术研究层面来说专业研究团队相对较少,技术成果方面来说产业化转化较弱,且产品研发工程化难度较复杂。同时该行业从业人员较少,产业资本较少,产品应用复杂度高。
特别是在产业发展端,我国该行业高级人才较为稀缺,规模化资金投入较少,核心关键技术积累较少,但整体行业政策力度再不断加大,引导更多产业和社会资本进入到该行业与领域。
就目前整体大发展趋势来看,一个侵入式脑机接口技术的发展从研发到产品化会经历3个关键阶段。第一个阶段为3年左右的基础研发期,主要完成研发团队的训练和磨合以及对基础技术体系的熟悉和理解。第二个阶段为3年左右的产品开发期,主要完成基础产品的设计与开发生产。第三个阶段为3年左右的临床测试器,主要再产品稳定后进行对应的临床植入测评。在经历3个阶段后,实现整体侵入式脑机产品的优化生产和产业化应用,所以整体下来侵入式脑机接口技术的整个产业化周期约为9-10年时间。
虽然侵入式脑机接口投入大,难度高,需要各方向专业人才多,但是这项技术确实人类对大脑信息进行长周期监测与解码的关键技术。只有在该方向进行了技术突破和产品实现,人类才会有机会保留自己的记忆,让自己的意识和思想永久的流传下去,从而实现另类永生,更进一步实现更远大的人类文明的延续。
我们希望有更多的人进入这个行业,参与到侵入式脑机接技术的研发和落地过程中来,推动该行业和技术的进步,从而让人类多一种生存可能性。
本文原文来自腾讯新闻