qlib
qlib copied to clipboard
dump_update error
I met an error when I tried to use dump_update to update my data. I have two datasets:one is the data of prices including open,high ... between 20220801 and 20220822,the other is the data of other factors between 20220801 and 20220822 .these two datasets have the same daterange. When I use dump_update to update price data first time,it works . but when I tried to use dump_update to update other data after price data ,it does not work . I find that it passes the dump feature period. So how can I update data in multiple times?
我有两个数据集:一个是量价,例如open,high,low,close,时间区间为20220801-20220822;另一个是其他基础数据集,时间区间为20220801-20220822 当我用dump_update 首次更新量价数据时是正常更新的,但是当我再次使用dump_update 更新其他基础数据集时,会出现跳过 dump features阶段导致无法正常update的情况。

通过qlib源码看,update时,只会更新比上次时间段多出来的时间,如果没有多出来时间,则不会做任何处理(即便特征集合不一样). 比如上次是0801-0820,这次是0728-0824,则只会将0821-0824的数据进行更新处理.就算是0728-0731区间的数据的都不会处理的. 你这个两次时间截止日期一模一样,所以不会做任何处理.
你这里应该用dump_fix
感谢您的回复,但是用dump fix 更新数据的话会导致之前的数据被覆盖,例如之前已经有特征总市值2002年0801到2022年0801区间的数据,但是用dump fix 更新0802到0820的数据的时候,会导致此前的数据被覆盖,所以每次如果用dumpfix更新的话,会导致更新时间过于漫长,这个问题该怎么解决呀
按照你的描述,2002年0801到2022年0801第一次使用dump_all,然后更新0802到0820,这是新增数据,因此你用update为何会有问题呢?为何又用fix 了呢?
最开始你的描述是因为你时间上重叠了,所以我回复的update没效果,只能用fix。 但是之后你的回复,时间上是不相同的,update会有效果,不需要用fix