暂无数据
在神经形态硬件上实现的新皮层生物学上逼真的计算原语提升了视觉变换器的性能
原标题：Biologically Realistic Computational Primitives of Neocortex Implemented on Neuromorphic Hardware Improve Vision Transformer Performance
5 分
关键词
摘要
理解大脑的计算原理并将其复制到神经形态硬件和现代深度学习架构中，对于推进神经启发的人工智能（NeuroAI）至关重要。在此，我们开发了一个实验约束的生物物理网络模型，专注于新皮质电路模式，特别是初级视觉皮层（V1）的第2-3层。我们研究了四种主要皮质中间神经元类别在竞争-合作计算原型中的作用，并验证了这些电路模式实现了用于增益调制、信号恢复和上下文依赖的多稳态的软赢家通吃（sWTA）计算。通过一种新颖的参数映射技术，我们配置了IBM的TrueNorth（TN）芯片来实现sWTA计算，模拟生物神经动态。回顾来看，我们观察到生物物理模型与TN硬件参数之间有很强的对应关系，特别是在四种关键抑制性神经元类别的作用上：Parvalbumin（前馈抑制）、Somatostatin（反馈抑制）、VIP（去抑制）和LAMP5（增益归一化）。此外，这种sWTA模式的稀疏耦合还能够在TN芯片上模拟一个两态神经状态机，复制工作记忆动态，这对于认知任务至关重要。此外，将sWTA计算作为视觉变换器（ViT）中的预处理层集成，提高了其在MNIST数字分类任务上的性能，表现出对先前未见数据的改进泛化能力，并暗示了一种类似于零样本学习的机制。我们的方法为将大脑启发的计算转化为神经形态硬件提供了一个框架，具有在英特尔的Loihi2和IBM的Northpole等平台上的潜在应用。通过将生物物理上准确的模型与神经形态硬件和先进的机器学习技术相结合，我们为将神经计算嵌入NeuroAI系统提供了一个全面的路线图。
AI理解论文
这篇论文探讨了如何通过生物物理模型和理论模型在神经形态硬件上实现新皮层功能的通用原则，特别是**软赢家通吃（sWTA）机制。研究的核心是利用IBM TrueNorth（TN）**硬件的参数（如阈值、泄漏率和交叉开关权重）来模拟皮层微电路中的计算原则。这种方法使得TN硬件能够执行类似于生物学上简化的V1皮层电路的计算，这些电路可能在V1的关键功能（如方向和方向调谐）中发挥作用。
研究目标是设计一个简化且可推广的电路模型，以验证皮层处理中的核心计算原则，而不是构建一个详尽的V1模型。通过回顾性分析，研究发现，配置TN硬件以显示sWTA动态的最佳参数与不同中间神经元类别的主要功能密切对齐。此外，研究表明，硬件优化的抽象模型可以有效地复制生物电路。
为了测试这种方法的功能性，研究进一步探讨了将这种硬件约束的sWTA计算整合到神经状态机中以实现工作记忆，或用于增强深度学习模型（如视觉变换器（ViT））性能的可能性。在工作记忆的实现中，研究通过利用稀疏耦合的sWTA模型成功地在TN硬件中实现了持续活动，这是建立工作记忆的关键要求。此外，当这种方法作为预处理层应用于ViT架构时，研究观察到对先前未见测试数据的分类准确性有显著提高。这些结果表明，将生物物理原则适应于神经形态芯片可能为**神经人工智能（NeuroAI）**性能提供一个有前景的途径。
生物物理模型的实现涉及到对新皮层电路模型的构建，特别是V1区域的感官信息处理。V1依赖于锥体神经元整合自下而上的信号与来自高阶视觉区域的自上而下反馈。关键组件包括递归兴奋、前馈和反馈抑制、去抑制和分性归一化。这些功能主要由副钙蛋白（PV）、生长抑素（SST）、**血管活性肠肽（VIP）和溶酶体相关膜蛋白5（LAMP5）**中间神经元介导，它们共同作用以选择性地放大丘脑输入。
研究还涉及到神经形态硬件的实现，特别是在IBM-INI合作下在**苏黎世神经信息学研究所（INI）**进行的TrueNorth硬件的神经形态实现。研究利用高性能GPU进行实验，以训练和测试在深度学习架构中的WTA实现。
方法部分详细描述了实验动物的使用、病毒注射和全细胞膜片钳记录技术。研究通过注射特定的病毒载体来标记自下而上的感官输入和自上而下的上下文输入，并使用光遗传学技术进行神经元的光刺激。计算建模使用NEURON 8.2仿真环境进行，优化模型的主动和被动特性以匹配实验记录。
总的来说，这篇论文通过结合生物物理模型和神经形态硬件，探索了新皮层功能的实现和应用，特别是在工作记忆和深度学习模型性能提升方面的潜力。研究结果表明，适应生物物理原则到神经形态芯片上可能为NeuroAI性能提供一个有前景的途径。
Chat Paper
当前问答基于全文