ps-lite 请问 worker 发送push后， server端是如何合并最新的参数的？

请问 worker 发送push后， server端是如何合并最新的参数的？

Open lrjocean opened this issue 6 years ago • 4 comments

我所理解的方案，模型参数合并的方法主要有: 1）在worker端更新响应的参数w后，push到server覆盖旧的参数w； 2）server接收的是delta w, 再更新参数w; 不清楚ps-lite是什么策略更新参数的？在代码中没找到参数更新的代码。。。(可能是我没理解) @mli @tqchen

Dec 17 '18 08:12 lrjocean

push的是gradient的话会加到weight上

Dec 17 '18 22:12 szha

push的是gradient的话会加到weight上

请问ps-lite代码在哪里？还是说要自己实现？ (只找到 kv_app.h中 KVServerDefaultHandle，store[key]+= req_data.vals[i];) 如果是将push的gradient直接加到weight上，那么这个gradient 应该是乘以步长之后的gradient吧？ @szha

Dec 18 '18 06:12 lrjocean

ps架构下，只能接受asgd的更新策略，实际上所有分布式机器学习梯度更新策略都是这样子。可以去看mxnet中DCASGD

Mar 12 '19 02:03 Ethan199111

对,默认的是直接加,本地应该要乘以步长

Oct 29 '19 13:10 zmxdream

ps-lite ps-lite copied to clipboard

请问 worker 发送push后， server端是如何合并最新的参数的？

ps-lite
ps-lite copied to clipboard