IBM苏黎世实验室的一组研究人员发明了一种人造神经元。这种人工神经元使用相变材料存储和处理数据,可用于大数据(基于事件的实时数据流)中的模式检测和关联发现,也可用于实现低能耗、高速的无监督机器学习。
该项研究探索在内存应用中使用相变材料,已持续进行了十多年。研究成果近期已发表在《自然纳米技术》上。研究团队由Evangelos Eleftheriou领导。
高能效、超密集集成的神经形态技术可用于认知计算领域应用,该技术的研发正在得到很多的关注。这项技术也是基于事件计算的基础,将引领高密度神经形态计算系统(模拟大脑的计算机)的发展,这类计算机具有共处一处的内存和计算单元,可以加速认知计算和物联网大数据的分析。
作为人工智能领域中一个高速发展的分支,深度学习的灵感来自于生物大脑及其组成机制。
研究团队在人工神经元上施加了一系列电子脉冲,这致使相变材料逐渐结晶,最终导致神经元“点火”,这一功能在神经科学领域被称为生物神经元的“集成—点火”属性。研究人员将数百个人工神经元组织起来构建了神经元群体,用于对快速而复杂的信号进行表示。更进一步,人工神经元展现出了对十亿级别开关操作的支持,这所对应的操作如果使用100赫兹更新频率,需要数年才能完成。神经元每次更新所需的能量少于5皮焦耳,平均功率低于120微瓦。与之相对比的是,点亮60瓦的灯泡需要六千万微瓦的能量。
在一次访谈中,作为研究团队的一员的IBM研究科学家Manuel Le Gallo谈及了神经形态计算比传统计算更加高效的原因。
传统计算模型中,内存和逻辑单元是相互独立的。一个计算需要执行时,必须首先访问存储获取数据,将数据传输到逻辑单元中,并由逻辑单元返回计算结果。计算结果一旦被获得就必须发送回内存中。这个过程是持续反复的。因此当需要处理大量的数据时,这种模型就真正地出现了问题。
在神经网络中计算和存储是共处一处的,无需构建逻辑与内存间的通信,仅需适当地建立不同神经元间的连接。这也是我们认为我们的方法之所以将会更加高效的主要原因,对于大规模数据处理尤其如此。
该技术在大数据和机器学习领域有着大量的用例。例如使用物联网中的探测器采集和分析大量最新的气象数据实现快速预报,使用人工神经元检测金融交易中的模式以发现差异,或是使用源自社会媒体的数据实时发现新的文化趋势。在具有内存和处理单元共处一处的神经形态协处理器中,可大量使用这样高速、低能耗的纳米级别神经元。
下一步研究是实验将神经元链接成网络,该网络将连接到探测器上,调整网络可以对不同类型的物联网数据进行探测,例如工厂机器的温度异常、患者心脏的电子心率、金融市场中特定类型的交易等。
这种神经元网络的更大前景是将其烧制在计算机芯片中,这可实现一种快速、节能的协处理器,这种协处理器在设计上就擅长于处理模式识别任务。而当前模式识别任务是由运行于标准电路上的软件实现,这种实现是更慢的,并且能效不高。该协处理器的目标是缩减人工大脑和真实大脑在理念上的鸿沟。
InfoQ访谈了Manuel Le Gallo,访谈内容包括这项研究的计划,以及其后关注的领域。
InfoQ: 你能向我们的读者扼要阐述一下你们的研究计划,以及近期在用于数据存储的人工神经元建立研究上的突破吗?
Manuel Le Gallo: 我们已经使用相变材料模仿了神经元的整合和点火功能。这种功能是基于事件计算的基础,大体上类似于我们的大脑对触及烫手物品这样的外部刺激所产生的激发反应。
类似于大脑中神经元的工作方式,这些人工神经元自身就可以处理数据,也可将它们组织起来构成使用协同计算能力的大规模集合体。这种技术可以引领对内存和处理单元高度同处集成的神经形态计算机研发,加速认知计算和物联网数据分析。
InfoQ: 人工神经元是如何在大数据和机器学习用例中发挥作用的?
Le Gallo: 人工神经元和神经突触在计算能力上是十分强大的,单一的人工神经元就可以用在基于事件的实时数据流中检测模式和发现相关性。例如,在物联网中,探测器可以采集和分析大规模的气象数据,这些数据是实时采集的并用于快速预报。人工神经元还可以通过检测金融交易中的模式发现差异,或是使用来自社交媒体的数据去实时发现新兴的文化趋势。大规模的高速、低能耗、纳米级别的人工神经元还可用在神经形态协处理器中,这些协处理器中具有共处一处的内存和处理单元。
InfoQ: 你能从节能和成本效益角度上比较一下神经形态技术和传统处理技术吗?
Le Gallo: 现代计算机是基于冯-诺依曼架构,计算机中的计算单元和内存单元物理上是分开的。对于具有本质上是以数据为中心特性的认知计算而言,这种架构是非常低效的,因为大量数据必须要在内存和计算单元间高速交换。为构建高效的认知计算机,我们需要从冯-诺依曼架构迁移到某种内存和逻辑共处一处的计算形态。
相比于冯-诺依曼架构计算机,神经形态计算的灵感来自于生物大脑的内在工作机制,这是一种非常有前景的方法。通过对生物神经元的工作方式的模仿,可以大幅度地降低模式识别、特征抽取及噪声环境中的数据挖掘等复杂计算任务的耗能和面积成本。
InfoQ: 你能介绍一下使用人工神经元存储和处理数据上的限制吗?
Le Gallo: 下面借用我们发表在《自然纳米科技》上的文章中的表述:
与神经科学中通用的基于尖峰脉冲的神经元、基于CMOS的神经元电路、以及更高层次平台所实现的神经元网络相比,相变神经元的功能具有一定的局限。鉴于随机特性主要是由结晶的物理特性直接产生,在最小电路需求的条件下,对随机响应、神经元参数和膜电位动力学的优化程度是受限的。特别需要指出的是,对于实现高维的参数调解与稳态、以及非线性泄漏这样的同等快速周期动力学,需要更多的专用逻辑和电子器件。另一个方法是在传统电路中使用忆阻设备作为随机信号源。此外,由于设备的可变性和纳米规模物理学特性的影响,超微工艺节点的实现展示了固有模式和随机噪声的影响与日俱增。这对于必须严格控制随机性的算法而言,可能是一个缺点。
InfoQ: 该研究计划未来将如何发展?下一个关注的领域是什么?
Le Gallo: 相变神经元可与相变神经突触无缝结合,正如我们在后续的研究所展示的(参见Tuma等发表在《IEEE Electron Device Letters》上的论文,及Pantazi等发表在《IOP Nanotechnology》上的论文)。这使得我们可以创建超密集的神经形态系统,甚至进而创建相变忆阻设备。对于从对其它的基于忆阻器的神经突触、基于忆阻器的神经炎以及其它记忆单元的研究中所获得的成果,该研究工作的成果与这些研究的成果是互补的,这些研究成果的结合将有助于实现活跃元素数量的降低及大规模计算系统密集度的增加。
查看英文原文:IBM Creates Artificial Neurons from Phase Change Memory for Cognitive Computing