为了减轻日常琐事，麻省理工学院(MIT)和国立台湾大学的研究人员合作，在微控制器上嵌入了深度神经网络。这意味着，微小芯片形式的AI可以在智能穿戴设备和家用电器中实现，从而实现物联网（Device）和AI的高级融合。这篇题为《MCUNet：物联网设备上的微小深度学习》的研究论文将于12月在神经信息处理系统会议上发表。研究人员希望通过这种方法，在物联网设备的传感器附近进行数据分析，从而拓宽人工智能的应用范围。



了解MCUnet



研究人员发明的这种设备被称为MCUnet。它是一种神经网络架构，能够在现成的微控制器上实现ImageNet规模的深度学习。ImageNet是一个图像数据库，每个节点由数千张图像描述。在该模型中，深度学习设计和推理库进行了联合优化，以消除传统微控制器片上有限内存的挑战，降低内存使用量。



TinyNAS是一种深度学习设计，具有两阶段神经结构搜索(NAS)方法，可处理各种微控制器上微小而多样的存储限制。研究指出，TinyNAS首先自动优化搜索空间以适应微小的资源限制，然后在优化后的空间进行神经结构搜索，从而解决了这个问题。TinyNAS通过缩放输入分辨率和模型宽度来生成不同的搜索空间，然后收集搜索空间内满足网络的计算失败分布来评估其优先级。此外，TinyNAS依赖于搜索空间能够容纳的洞察力。内存限制下的失败次数越多，深度学习模型就越好。实验表明，优化后的空间提高了NAS搜索模型的准确率。TinyNAS可以在低搜索成本下自动处理与传统微控制器相关的各种约束，如设备、延迟、能源、内存等。



研究人员指出，TinyEngine是一个内存高效的推理库，消除了不必要的内存开销，因此搜索空间得到了扩展，以适应更大的深度学习模型，并具有更高的准确率。由于推理库是基于解释的，需要额外的运行时内存，TinyEngine编译了基于代码生成器的方法，消除了内存开销，并适应内存调度，而不是分层优化，以更好地为减少内存使用制定策略。最后，对不同层次进行专门的计算优化，即循环平铺、循环展开、OP融合，加快了推理速度。