济宁人才网-字节跳动开源分布式练习框架BytePS,登上GitHub热榜

Allbet 1个月前 (09-23) 热点 169 1

问耕 发自 凹非寺

量子位 出品 | 公众号 QbitAI

字节跳动开源了通用分布式练习框架BytePS,这个框架支持TensorFlow、Keras、PyTorch、MXNet,能够运转在TCP或RDMA网络合。

官方介绍称,BytePS大大优于现有的开源分布式练习框架。比方,在沟通的前提下,BytePS的练习速度是Horovod+NCCL的两倍。

BytePS也登上了GitHub趋向热榜。

性能表示

为了展现BytePS的性能,官方测试了两个模型:VGG16(通信麋集型)和Resnet50(计算麋集型),,两个模型都以fp32精度举行练习。

练习利用了公有云上的虚拟机,每一个死板有8个GPU,启用了NVLink。这些GPU都是Tesla V100 16GB型号GPU,batch size设置为64/每GPU。硬件之间以20Gbps的TCP/IP网络毗邻。

测试表白,与Horovod (NCCL)对照,BytePS在VGG16练习上的速度快100%,Resnet练习速度快44%。

东营论坛-女子带着瘫痪前夫再醮,丈夫与前夫是挚友

女子带着瘫痪前夫再醮,丈夫与前夫是挚友,三人同居糊口12年这是一对二婚伉俪,十几年前,他们团结,不行思议的

Horovod是Uber开源的深度学习东西,NCCL是英伟达宣告的多卡通信框架。

原因原由剖析

BytePS为何比Horovod更强?

官方表明称,一个主要的原因原由是BytePS是特地为云和同享集群而设计,而且抛弃了MPI。MPI是一个跨措辞的通信协议,用于编写并行计算机。

MPI是为高性能计算机而生,应付利用同类硬件构建的集群以及运转单一任务更有效。但并非云(能够内部同享集群)的最好挑选。

因而字节跳动团队重新思考了最好的通信计谋。简而言之,BytePS仅在死板内部利用NCCL,重新构建了死板内部的通信。

BytePS还集成了许多加速妙技,比方分层计谋、流水线、张量分区、NUMA感知本地通信、基于优先级的调理等等。

Allbet声明:该文看法仅代表作者自己,与本平台无关。转载请注明:济宁人才网-字节跳动开源分布式练习框架BytePS,登上GitHub热榜

网友评论

  • (*)

最新评论

  • 联博以太坊 2020-09-23 01:59:31 回复

    欧博亚洲欢迎进入欧博亚洲(Allbet Game):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。你是当代马良吗

    1