数字技术与应用杂志社

摘要：<正>在推荐系统等应用场景中，高维稀疏数据引发了分布式训练效率方面的瓶颈难题，对此，本文提出一种创新算法，此算法将通信、计算以及存储协同进行优化。其运用稀疏感知梯度压缩技术，使通信量得以降低，幅度能达65%，并借助动态批处理与算子融合的方式，使计算吞吐量提升40%，再通过热度感知参数分区策略，使得存储访问得以优化。经实验证实，该算法应用在典型推荐模型上时，能够让收敛时间平均缩短30%，其表现明显要比主流分布式框架更为出色，从而给大规模稀疏数据的高效训练提供了具有实用性的解决方案。

专辑： 信息科技

专题： 自动化技术

分类号： TP18