在多模态系统中，软体机械手如何实现多种意图的实时精准控制？

本文共计1272个文字，预计阅读时间需要6分钟。

脑机接口（BCI）技术在康复运动中展现出广泛潜力，主要依靠神经可塑性来恢复运动功能，并改善中风患者术后的生活质量。不同于一般单纯依赖EEG信号输入的BCI系统，通常难以自然地实时实现。

脑机接口（BCI）技术在运动康复中表现出广泛的潜力，主要依靠神经可塑性来恢复运动功能并改善中风患者术后的生活质量。不过一般单纯依靠EEG信号输入的BCI系统通常很难自然地实时传达多任务软体机器人所需的各种控制命令。而多模态人机界面系统(mHMI)，集合眼电信号(EOG)、脑电图(EEG)和肌电图(EMG)的特征来生成多维控制指令，有助于构建更友好、人性化的BCI辅助系统，帮助残疾人及运动障碍患者更便捷地完成基本动作。

1训练测试阶段

mHMI结合了EEG、EOG和EMG模式，为一个完全集成的系统。实验过程中，用脑电帽检测EEG和EOG运动，Myo臂带检测EMG信号，跟踪手臂运动。软体机器人由一个轻便舒适的手套、执行器、控制面板和一个微型气泵组成，能够安全地执行所有的关节屈伸组合。系统测试阶段为三种模式(EOG、EEG和EMG)交替过程，用户可以在任何时候反复改变并发送EOG指令给机器人。而当EOG检测到双闪烁时，系统自动进入EEG模式，而任何时候双闪都可以使系统重新进入EOG模式，从而实现三种模式的交替。

图1 实验条件和控制系统展示，mHMI在手部测试过程中的使用原理 (A)为mHMI和实验条件的原始模型；(B)为控制系统和软体机器人手的示意图。

图2训练测试范式和模式交替过程的实验结构

图2(A)为根据屏幕上的呈现或计算机发出的提示进行训练和测试阶段的试验程序，EOG、EEG和EMG模式的时间范围分别为0 ~t1、t2 ~ t3和t4 ~ t5。