Horovod实质上是Uber开发并开源的一套先进的分布式系统，它并不依赖于某个框架，而是采用目前业界广泛认可的基于环形All-reduce通信的同步SGD算法，通过计算与通信异步、梯度合并、梯度压缩等设备间通信优化手段，完成allreduce、allgather等集体操作通信工