Jh

I have the same problem，have you sovle the problem ?

I also encountered the same problem, did you solve it?

Thanks, I'll give it a try

Hi @JacopoPan ，Thank you for your reply. I still have the following questions: 1.In my task, the drone was only equipped with a forward-looking camera. Therefore, although the rear image...

Hi@JacopoPan,Thank you for your reply. I want to use the velocity input to control the UAV. Is there any command in gym-pybullet-drones that can make the direction of the yaw...

我也不明白，训练过程中为什么没有调用验证方法？请问您弄懂了吗

嗯嗯，好的

非常感谢您的回复，我目前计划使用gym-pybullet-drones来实现多无人机任务，采用的状态包括了gym-pybullet-drones中的KIN以及深度图。想请教您： 1.我注意到在[ def _process_observation(self, observations):](https://github.com/agi-brain/xuance/blob/0c50bcda529394b8c107bb0424dd1405e987700f/xuance/torch/agents/base/agent.py#L197)，似乎是一个状态归一化的处理，但它没有在多智能体类中实现。所以想问下，如果需要对于多智能体任务进行状态归一化，是否要参考这个进行修改？ 2.另外还想请问下，我如果在自定义的环境中直接对状态归一化，是否也是可行的？这样就不用去改动玄策的框架了呢？ 3.当我使用这种混合观测时，我是否需要对玄策的表征网络部分进行修改呢？

非常感谢您的详细解答，还想请问您： 1.关于您提到的“一系列问题”： 您指出在自定义环境中直接进行状态归一化可能存在数据与策略一致性、更新时机等问题。请问这个警告是否主要针对需要根据训练数据动态更新统计量（如运行均值/标准差）的自适应归一化方法？对于固定范围归一化（例如，在 _computeObs 中直接将角度除以 np.pi，将速度除以预设的 MAX_SPEED），这种方法在自定义环境内部实现是否合理呢？ 2.关于 Callback 的推荐： 您推荐使用 Callback 来处理归一化。请问这个建议是专门针对实现自适应归一化（运行均值/标准差）的吗？还是说，即便是固定范围归一化，通过 Callback 实现（而不是在 _computeObs 中）也会有额外的好处（或者甚至是必要的）？ 3.自适应归一化的必要性： 考虑到我的任务中，我计划在 _computeObs 中先进行必要的固定范围归一化。我是否还需要额外通过 Callback 添加自适应归一化（运行均值/标准差）？是否有特定的训练现象（例如，训练非常不稳定、收敛极其缓慢、对学习率等超参数特别敏感）可以作为判断是否需要添加自适应归一化的指标？ 4.您提供的这个自定义callback的链接似乎没有内容：

非常感谢您的回答，我在自定义环境时，参照了multi_agent_env中的drones.py，遇到了以下问题，希望能得到您的帮助： 1.根据文档，在创建新的多智能体环境时，需要继承自RawMultiAgentEnv。我比较疑惑的是，新的环境中对于observation_space，action_space以及obs和action有什么特定的形式要求吗？例如，对于observation_space，文档中给出例子的是： `self.observation_space = {k: Box(-np.inf, np.inf, obs_shape_i) for k in self.agents}` 然而，在我自己定义的环境中，观测空间是一个字典，且其中的每个分量都有不同的范围，并非都是[-np.inf, np.inf,]，如下： ``` return spaces.Dict({str(i): spaces.Dict({"state": spaces.Box(low=obs_lower_bound, high=obs_upper_bound, dtype=np.float32 ), # 深度图 "dep": spaces.Box(low=0.0, high=1.0, shape=(self.IMG_RES[1], self.IMG_RES[0], 1),...