/chapter5/chapter5_questions&keywords

[qiwang067]

https://datawhalechina.github.io/easy-rl/#/chapter5/chapter5_questions&keywords

Description

[Strawberry47]

总结的超级好，谢谢博主！

[yyysjz1997]

总结的超级好，谢谢博主！ 谢谢～

[Strawberry47]

代码部分我有一个小小的疑问：为什么actor的输出（即输入state，产生action的概率）要命名为dist呀？是distance的简写吗？

[FulChou]

我理解成是动作的分布，所以是distribution的意思

发自我的iPhone

------------------ Original ------------------ From: Strawberry47 @.> Date: Thu,Nov 11,2021 4:00 PM To: datawhalechina/easy-rl @.> Cc: Subscribed @.***> Subject: Re: [datawhalechina/easy-rl] /chapter5/chapter5_questions&keywords (#55)

代码部分我有一个小小的疑问：为什么actor的输出（即输入state，产生action的概率）要命名为dist呀？是distance的简写吗？

— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

[Strawberry47]

@CSU-FulChou 我理解成是动作的分布，所以是distribution的意思

发自我的iPhone

------------------ Original ------------------ From: Strawberry47 @.> Date: Thu,Nov 11,2021 4:00 PM To: datawhalechina/easy-rl @.> Cc: Subscribed @.***> Subject: Re: [datawhalechina/easy-rl] /chapter5/chapter5_questions&keywords (#55)

代码部分我有一个小小的疑问：为什么actor的输出（即输入state，产生action的概率）要命名为dist呀？是distance的简写吗？

— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

啊啊，是哈，我疏忽了，Thanks♪(･ω･)ﾉ

[Strawberry47]

啊，代码部分我还有一个critic_loss计算问题：是Q_value(old)-critic_value(new)，这样算的吗？不知道理解的对不对~

[JimmyYoungggg]

请问博主PPO算法里的θk多久更新一次？如果是每次迭代都更新的话，那采样效率岂不是依然不高？

[littlebrotherdog]

@JimmyYoungggg 请问博主PPO算法里的θk多久更新一次？如果是每次迭代都更新的话，那采样效率岂不是依然不高？

update policy every n steps

    if self.sample_count % self.update_freq != 0:
        return

看代码，频率可以自己设置的。

[littlebrotherdog]

@Strawberry47 啊，代码部分我还有一个critic_loss计算问题：是Q_value(old)-critic_value(new)，这样算的吗？不知道理解的对不对~

critic_loss = (returns - values).pow(2).mean() 这里做了一个MSE,critic这个网络是用来估计V的。