机器之心报导
机器之心编辑部
在读取言语之后，脑机接口也能够实时读取人类脑中的画面了。
由俄罗斯脑机接口公司 Neurobotics、莫斯科物理技能学院（MIPT）研制的一种全新脑机接口算法最近被公之于众，它能够利用人工神经网络和脑电图将人类大脑中的图画实时显现在计算机屏幕上。并且，与马斯克脑机接口公司研制的「大脑缝纫机」不同，这种脑机接口无需开颅植入电极，在临床和日常日子中运用愈加广泛。
一位被试正在运用该脑机接口。右下角是被试观看实时画面，右上角是经过脑机接口重建的画面。
本年 7 月，Facebook 与加州大学旧金山分校（UCSF）有关脑机接口实时读取人类言语的研讨刚刚登上《Nature》子刊，其快速解码的机器学习算法作用令人惊叹。
现在看来，咱们不只有望完成「意念打字」，或许还能够运用人眼这一「精度超高」的摄像头来进行录像，完成科幻影视作品描绘的图景。不过，这篇莫斯科物理技能学院的论文还没有经过同行评定。
英剧《黑镜》一会集的男主角过海关时被要求回放自己经过某种设备肉眼录下的视觉记忆。
关于研讨者来说，新作用使得构建由脑信号操控的中风后恢复设备成为可能。研讨团队在 bioRxiv 上宣布了相关研讨论文，还发布了一段他们「读心」体系的作用视频。尽管画面比较含糊，但咱们仍然能够分辨出画面中的大致场景类别（如人、瀑布、车景）。
视频中原始图画和神经网络处理 EEG 信号重建的图画比照（因为版权原因，人像原图被替换了）。
为了构建这一设备，神经生物学家需求了解大脑怎么编码信息。其间一个要害方面是，研讨人们在观看视频时感知视觉信息的大脑活动进程。
现有的处理方案是，要么运用功用磁共振成像来提取调查到的图画，要么经过植入物直接剖析来自神经元的信号。两种办法在临床和日常日子中的运用都十分有限。
俄罗斯研讨者开发的这种脑机接口依靠的是人工神经网络和脑电图（EEG），后者是一种能够经过非侵入式电极（无需手术植入）记载脑电波的技能。经过剖析大脑活动，该体系能够实时重现人类看到的图画。
「咱们正在进行国家技能方案（National Technology Initiative）神经网络辅佐技能项目，该项目致力于构建一种脑机接口，让中风患者操控手臂外骨骼、瘫痪患者驾驭电动轮椅等，终究方针是让健康的人也能进步神经操控的准确率，」MIPT Neurorobotics 试验室负责人 Vladimir Konyshev 表明。
技能细节
该脑机接口的构建试验共分为两个阶段。
在第一阶段，神经生物学家让健康的人观看一些 10 秒的 YouTube 视频片段，一共 20 分钟。研讨团队随机挑选了 5 个视频类别：笼统形状、瀑布、人脸、移动的设备和轿车运动。
经过剖析脑电图数据，研讨者发现，每一类视频的脑电波是不同的。这使得研讨小组能够实时剖析大脑关于视频的反响。
在试验的第二阶段，研讨者从五个类别中随机挑选了三个类别并开发了一个本地反应（native feedback）模型，反应模型的中心思维是将脑机接口分类器的猜测成果以天然图画的方式出现出来，并且要尽可能与实践调查到的图画挨近。
该模型分为两个神经网络：一个用于从「噪声」中生成随机特定类别图画，另一个依据脑电图生成类似的「噪声」。接下来，该团队练习这两个网络协同作业，将脑电图信号转换为与被试观看内容类似的实践图画。
论文中说到的本地反应模型如下图所示。
图 2：本地反应模型的总体方案。
将降维后得到的 20 维脑电图特征向量映射到预先练习好的图画自编码器的潜在空间中，这个自编码器能够重建几个预学习类别的天然图画。图画解码器不依靠于任何神经生理学数据，仅考虑一组影响图画即可进行预练习。特征映射器是独自练习的，因为它既需求脑电图特征库，也需求一个练习好的图画解码器。
图画解码器
图画解码器（ID）是图画到图画卷积自编码器模型的一部分。编码器部分依据预练习的 VGG-11 模型。解码器部分由全衔接输入层组成，用于维度增强，然后是 5 个解卷积块，每个解卷积块包括一个解卷积层，然后是 ReLU 激活。终究的解卷积块包括双曲正切激活层。解码器生成 192×192×3 维的五颜六色图画（见图 3a）。
图 3. 图画解码器.a）模型结构；b）惯例练习
除了图画重建之外，解码器还有一个特定的潜在空间散布。他们经过引进一个图 3（b）所示的练习进程来处理这个问题。
脑电图特征映射器
脑电图特征映射器的方针是将脑电图特征域的数据转换成图画解码器潜在空间域。在抱负状态下，调查到的图画和此刻的脑电图记载终究会转换为同一个潜在空间矢量图，因而解码器能够依据方才看到或幻想的场景去生成一个正确的视觉图画。
另一个问题是怎么应对喧闹的数据：因为存在未检测到的伪像，或许被摄目标涣散注意力，实时记载场景中的脑电图信号特点可能会发作明显改变。此刻反应体系应防止出现紊乱的图画切换，避免给调查目标太多的压力。
人类脑中的图画是接连数据，所以运用循环神经网络就变得水到渠成了——新的算法运用了 LSTM 组件作为循环单元。此外，研讨人员还整合了注意力机制。
图 4，脑电图特征映射。a）模型结构；b）练习办法。
测验成果
为了测验该体系出现脑筋活动的才能，研讨者选了一些同一类的曾经看过的视频。正如他们看到的那样，脑电图被记载下来，然后反应给神经网络。体系经过了测验，生成了具有可信度的图画，90% 都能够很轻松地进行分类。
和大多数 AI 算法相同，研讨人员提出的神经网络模型是用 Python 完成的，运转的计算机也只需一般台式机：英特尔 i7 处理器，英伟达 GeForce 1050Ti 显卡。在读取的进程中，算法能够处理每秒 3 帧图画。一般，在分类上约有 90% 的重建图画是可辨认的程度。
「此外，咱们能够把这个当作实时脑机接口的根底。在当时的技能条件下，Elon Musk 那样的侵入式接口存在手术性质杂乱和快速退化的问题——基本上几个月内就失效了。咱们期望能够终究规划出更有用也不需求植入的神经接口。」研讨者弥补道。
论文：
https:///news/2019-10-neural-network-reconstructs-human-thoughts.html
