并非先听见声音后理解语义大脑语音处理可“多线程”工作

小电极阵列收集听觉皮层神经信号的方式，通俗来讲就是通过电极直接捕获皮层表面的神经信号，由于外侧颞上回暴露在外侧颞叶，因此可通过皮层脑电图记录方法获取。——倪广健天津大学医学部副主任、智能医学工程教育部工程研究中心副主任

　　大脑是如何听懂语言的？几十年来，科学家们一直认为听觉皮层中的语音处理就像工厂的流水线一样，按照先后不同处理工序串联在一起，最终转化成有意义的单词。

　　然而这一理论近日遭到了挑战，一项发表在《细胞》杂志上的研究结果表明，大脑对听觉和语言的处理是并行进行的。

　　这种语音处理的并行性质推翻了长期以来的相关假设，可能会为医生提供新的思路，以治疗患有阅读障碍等问题的儿童，帮助他们顺利识别语音。

　　传统假设中大脑如何“听懂”语言

　　“人脑在听觉环境中处理语音信息时，传统理论认为听觉皮质处理信息的过程是自上而下的。当含有语意的声音传到耳中，耳蜗将其转换成电信号，在初级听觉皮层分析声谱，在次级听觉区域提取音素，在外侧和腹侧颞叶皮层提取单词，顶叶和额叶区域基于语法和语义属性并结合时间信息，进行单词顺序推断并最终理解句子的含义。”天津大学医学部副主任、智能医学工程教育部工程研究中心副主任倪广健介绍。

　　“语音感知的经典层次模型是假设声音信息首先在初级听觉皮层接收，然后通过与外侧颞上回连接转化为更复杂的表征。”倪广健说，这是因为先前有关听觉机制的研究主要基于解剖模型，认为大脑遵循一种从初级到高级的层次渐进处理模式，高级听觉区域对复杂的语音和音乐有更强的反应。

　　一直以来，这一理论缺乏直接证据的支持，因为它需要整个听觉皮层在极高时空分辨率的条件下记录详细的神经生理学信息。但是初级听觉皮层位于大脑额叶和颞叶的深处，因此想进行探究并不容易。

　　此次最新研究对人类初级和次级听觉皮层功能组织的研究结论与先前一致，但在赫氏回和颞上回的起始区发现了早期独立处理的证据，而非传统认为的遵循语音简单串行的皮层处理层次。可以确定的是，皮层前部和中部颞上回，具有明显的并行处理和潜在的长潜伏期串行处理，说明听觉皮层具有分布式的专业处理单元，每个单元代表了语音信号中不同的声学和语音线索，它们的组合创造了丰富的语音理解体验。

　　非侵入技术探究大脑受限于时空分辨率

　　目前，已有一些较为成熟的非侵入式技术用于研究大脑处理听觉信息，例如具有较高空间分辨率的近红外光谱NRIS、功能性核磁共振成像fMRI、脑磁图MEG等，以及具有较高时间分辨率的脑电EEG等。

　　倪广健举例说，比如近红外光谱通过测量血氧含量表征听觉皮层的代谢状况，就可以有效反映外界刺激下听觉皮层的变化情况，具有噪声低、抗环境干扰性强、成本相对较低、安全便携、易于使用等优点。

　　功能性核磁共振成像可探索大脑处理听觉信息的过程，通过核磁共振造影来测量神经元活动所引发的血液动力的改变，实现对特定大脑活动皮层区域进行定位，具有准确定位某些区域或某些疾病发病区域（如癫痫的病灶）的优势，在脑神经科学领域应用相对较为广泛。

　　“在静息状态下脑部自发的低频活动的同步化现象广泛存在于听觉系统内，因此功能性核磁共振成像能够提供人类听觉皮层不同功能和解剖区域如何相互作用的更完整的图像，适合用于研究不同脑区之间的功能连接性。”倪广健说。

　　另一方面，具有高时间分辨率的脑电技术因为与人工耳蜗的兼容性也使得脑电逐渐展现了临床听觉客观评估研究的能力和潜力，使得大规模探索临床人工耳蜗患者听觉处理模式成为可能。

　　然而，上述非侵入式技术在空间分辨率和时间分辨率上往往无法兼具。倪广健表示，单独采用某一种非侵入性技术探索听觉信息的处理过程时，会受限于有限的时间—空间分辨率，无法更好地探究局部异质神经元间的映射结果，因此无法具体回答语音表征问题。《细胞》杂志发表的新研究通过植入小电极阵列，创新性地突破了这一局限。

　　植入电极可绘制听觉区域特征编码图

　　在此次发表的新研究中，小电极阵列被放置在受研究者的整个听觉皮层中收集神经信号。有9名患者参与了实验。因为需要切除脑部肿瘤或定位引发癫痫的病灶，这些患者接受了神经外科手术。与此同时，他们同意让医生在手术过程中将微电极阵列放置在他们的听觉皮层，收集神经信号，用于分析语言功能和定位癫痫，以及研究听觉皮层如何处理语音信息。

　　“小电极阵列收集听觉皮层神经信号的方式，通俗来讲就是通过电极直接捕获皮层表面的神经信号，由于外侧颞上回暴露在外侧颞叶，因此可通过皮层脑电图记录方法获取。”倪广健认为，植入式电极克服了以往采用功能性核磁共振成像技术研究时不能很好探明腹侧沟回等脑沟的问题。

　　在这个新研究中，皮层脑电图的高时间分辨率，能够探测赫氏回上的初级听觉皮层到颞上回的层次结构与听语音和音调数据的一致程度。

　　“其从左颞平面的636个电极部位和颞上回获取颅内记录，与以前的颅内手术方法是不同的。”倪广健解释，以前的颅内手术方法每次仅从这些区域中的一个区域进行零碎取样，而此显微手术进入外侧裂可同时记录人类听觉皮层所有区域对语音的高度异质性反应。

　　此外，该工作采用的高密度电极网格使得同时记录人类颞叶听觉皮层多个亚区的神经活动成为可能，因此能够确定听觉信息处理的流程，以及发现语音信号中的线索是如何跨听觉皮层进行映射的。

　　“这种分析需要对自然语音和实验控制的简单声音刺激的神经反应进行采样，同时对所有皮层听觉区域进行采样，在初级和高阶听觉区域绘制一张全面的特征编码图，从而能够对信息流模型和皮层表征转换进行有意义的评估。”倪广健说。

　　在这项研究中，当为参与者播放短语和句子时，位于颞上回中的某些区域的反应速度与初级听觉皮层一样快，这表明这两个区域同时开始处理声学信息。

　　倪广健介绍，该工作还进一步评估了每个区域在语音处理中的作用，探索激活的时间和顺序，每个区域中简单和复杂声音表征的性质，以及它们在功能性和外科消融的语音理解中的因果作用。

　　“植入电极的方式在大脑的其他研究领域中已有不少成功典范，例如脑控打字，准确率已达到90%以上；基于皮层脑电的语音重构，句子的整体准确率已达到60%；脑控机器人，解码运动状态实现机械臂的控制等等。”倪广健表示，植入电极有助于采集到高质量的神经电活动，具有较高的时空分辨率，比较适合机制机理方向的研究，从而探明脑部或者神经性系统疾病的成因及提供治疗手段。而非侵入式技术则由于其无创的特点，具有更加广泛的应用场景。（记者陈曦）

责任编辑：邱阳审核：戴靖

相关新闻

并非先听见声音后理解语义大脑语音处理可“多线程”工作

来源：科技日报 2021-09-09 09:55:59

小电极阵列收集听觉皮层神经信号的方式，通俗来讲就是通过电极直接捕获皮层表面的神经信号，由于外侧颞上回暴露在外侧颞叶，因此可通过皮层脑电图记录方法获取。——倪广健天津大学医学部副主任、智能医学工程教育部工程研究中心副主任大脑是如何听懂语言的？几十年来，科学家们一直认为听觉皮层中的语音处理就像工厂的流水线一样，按照先后不同处理工序串联在一起，最终转化成有意义的单词。然而这一理论近日遭到了挑战，一项发表在《细胞》杂志上的研究结果表明，大脑对听觉和语言的处理是并行进行的。这种语音处理的并行性质推翻了长期以来的相关假设，可能会为医生提供新的思路，以治疗患有阅读障碍等问题的儿童，帮助他们顺利识别语音。传统假设中大脑如何“听懂”语言“人脑在听觉环境中处理语音信息时，传统理论认为听觉皮质处理信息的过程是自上而下的。当含有语意的声音传到耳中，耳蜗将其转换成电信号，在初级听觉皮层分析声谱，在次级听觉区域提取音素，在外侧和腹侧颞叶皮层提取单词，顶叶和额叶区域基于语法和语义属性并结合时间信息，进行单词顺序推断并最终理解句子的含义。”天津大学医学部副主任、智能医学工程教育部工程研究中心副主任倪广健介绍。“语音感知的经典层次模型是假设声音信息首先在初级听觉皮层接收，然后通过与外侧颞上回连接转化为更复杂的表征。”倪广健说，这是因为先前有关听觉机制的研究主要基于解剖模型，认为大脑遵循一种从初级到高级的层次渐进处理模式，高级听觉区域对复杂的语音和音乐有更强的反应。一直以来，这一理论缺乏直接证据的支持，因为它需要整个听觉皮层在极高时空分辨率的条件下记录详细的神经生理学信息。但是初级听觉皮层位于大脑额叶和颞叶的深处，因此想进行探究并不容易。此次最新研究对人类初级和次级听觉皮层功能组织的研究结论与先前一致，但在赫氏回和颞上回的起始区发现了早期独立处理的证据，而非传统认为的遵循语音简单串行的皮层处理层次。可以确定的是，皮层前部和中部颞上回，具有明显的并行处理和潜在的长潜伏期串行处理，说明听觉皮层具有分布式的专业处理单元，每个单元代表了语音信号中不同的声学和语音线索，它们的组合创造了丰富的语音理解体验。非侵入技术探究大脑受限于时空分辨率目前，已有一些较为成熟的非侵入式技术用于研究大脑处理听觉信息，例如具有较高空间分辨率的近红外光谱NRIS、功能性核磁共振成像fMRI、脑磁图MEG等，以及具有较高时间分辨率的脑电EEG等。倪广健举例说，比如近红外光谱通过测量血氧含量表征听觉皮层的代谢状况，就可以有效反映外界刺激下听觉皮层的变化情况，具有噪声低、抗环境干扰性强、成本相对较低、安全便携、易于使用等优点。功能性核磁共振成像可探索大脑处理听觉信息的过程，通过核磁共振造影来测量神经元活动所引发的血液动力的改变，实现对特定大脑活动皮层区域进行定位，具有准确定位某些区域或某些疾病发病区域（如癫痫的病灶）的优势，在脑神经科学领域应用相对较为广泛。“在静息状态下脑部自发的低频活动的同步化现象广泛存在于听觉系统内，因此功能性核磁共振成像能够提供人类听觉皮层不同功能和解剖区域如何相互作用的更完整的图像，适合用于研究不同脑区之间的功能连接性。”倪广健说。另一方面，具有高时间分辨率的脑电技术因为与人工耳蜗的兼容性也使得脑电逐渐展现了临床听觉客观评估研究的能力和潜力，使得大规模探索临床人工耳蜗患者听觉处理模式成为可能。然而，上述非侵入式技术在空间分辨率和时间分辨率上往往无法兼具。倪广健表示，单独采用某一种非侵入性技术探索听觉信息的处理过程时，会受限于有限的时间—空间分辨率，无法更好地探究局部异质神经元间的映射结果，因此无法具体回答语音表征问题。《细胞》杂志发表的新研究通过植入小电极阵列，创新性地突破了这一局限。植入电极可绘制听觉区域特征编码图在此次发表的新研究中，小电极阵列被放置在受研究者的整个听觉皮层中收集神经信号。有9名患者参与了实验。因为需要切除脑部肿瘤或定位引发癫痫的病灶，这些患者接受了神经外科手术。与此同时，他们同意让医生在手术过程中将微电极阵列放置在他们的听觉皮层，收集神经信号，用于分析语言功能和定位癫痫，以及研究听觉皮层如何处理语音信息。“小电极阵列收集听觉皮层神经信号的方式，通俗来讲就是通过电极直接捕获皮层表面的神经信号，由于外侧颞上回暴露在外侧颞叶，因此可通过皮层脑电图记录方法获取。”倪广健认为，植入式电极克服了以往采用功能性核磁共振成像技术研究时不能很好探明腹侧沟回等脑沟的问题。在这个新研究中，皮层脑电图的高时间分辨率，能够探测赫氏回上的初级听觉皮层到颞上回的层次结构与听语音和音调数据的一致程度。“其从左颞平面的636个电极部位和颞上回获取颅内记录，与以前的颅内手术方法是不同的。”倪广健解释，以前的颅内手术方法每次仅从这些区域中的一个区域进行零碎取样，而此显微手术进入外侧裂可同时记录人类听觉皮层所有区域对语音的高度异质性反应。此外，该工作采用的高密度电极网格使得同时记录人类颞叶听觉皮层多个亚区的神经活动成为可能，因此能够确定听觉信息处理的流程，以及发现语音信号中的线索是如何跨听觉皮层进行映射的。“这种分析需要对自然语音和实验控制的简单声音刺激的神经反应进行采样，同时对所有皮层听觉区域进行采样，在初级和高阶听觉区域绘制一张全面的特征编码图，从而能够对信息流模型和皮层表征转换进行有意义的评估。”倪广健说。在这项研究中，当为参与者播放短语和句子时，位于颞上回中的某些区域的反应速度与初级听觉皮层一样快，这表明这两个区域同时开始处理声学信息。倪广健介绍，该工作还进一步评估了每个区域在语音处理中的作用，探索激活的时间和顺序，每个区域中简单和复杂声音表征的性质，以及它们在功能性和外科消融的语音理解中的因果作用。“植入电极的方式在大脑的其他研究领域中已有不少成功典范，例如脑控打字，准确率已达到90%以上；基于皮层脑电的语音重构，句子的整体准确率已达到60%；脑控机器人，解码运动状态实现机械臂的控制等等。”倪广健表示，植入电极有助于采集到高质量的神经电活动，具有较高的时空分辨率，比较适合机制机理方向的研究，从而探明脑部或者神经性系统疾病的成因及提供治疗手段。而非侵入式技术则由于其无创的特点，具有更加广泛的应用场景。（记者陈曦）