TzeSing
TzeSing
> 抱歉,刚看到,tfrecord本身存在一些缺陷,低层采用pb,解析速度较慢,而且工业界分布式hadoop/spark生成tfrecord,int型只提供int64,所以可能tfrecord样本比原始csv样本还大很多,占用存储空间, 由于推荐模型本身网络比较简单,再加上tfrecord格式解析慢,可能用GPU训练并不比cpu快多少。 你这个相差这么多,感觉应该不至于,你检查看看应该是其他什么问题导致的,另外,你可以看看tensorflow的dataset API, 有一些参数可以调调,比如sloppy参数设为true等等。 谢谢作者回复,我现在优化过后的tfrecord读取速度是200-300ms,相比也还是慢点,能接受,我再认真研读一下dataset的api
> @TzeSing 要注意map的位置,放的不对会非常慢 我是batch后map(tf.io.parse_example)的
同问这个,训练了非常久,因为这个退出了
> 可以的,只要加上两个标签, 甲方、乙方,然后准备你自己的数据集就可以 谢谢你
I encounter the same problem, the memory does not release after the requests completed
I meet the same problem! Hope the team can deal with it!