D-FCN
D-FCN copied to clipboard
lixiang-ucas
训练集数据
作者你好～ 请问这里的“train_f = open('./Data/train_merge_min_norm_fea.pickle', 'rb')”这个训练集的pickle文件是怎么得到的 我看了您的其他评论 如果从原始数据中读取，那么train_xyz怎么定义呢？ num_batches = len(train_xyz)//BATCH_SIZE 这一部分怎么处理。以及代码中带有的训练数据 userdata的含义是什么？是#height above ground 那如何得到？论文里好像没有提及不是很明白 期待您的回复
模型训练的时候数据没有做切片处理，每次直接从原始数据中切一个30m30m的patch，然后采样固定数量的点（比如8192）。测试的时候用的pickle：你把数据按照30m30m切片，然后把边缘特别小的和周边的合并。测试时因为每个切片点数不一样，所以batch size设置为1。
train_xyz直接读训练集坐标就好了。 num_batches = len(train_xyz)//BATCH_SIZE这里是每个训练epoch需要的step数量，每个step处理BATCH_SIZE个小patch。训练的时候BATCH_SIZE>1。 userdata：模型中用到了reflectance，原始数据集里面有。height above ground使用lastool计算得到的。
作者你好，十分感谢您的回复！num_batches = len(train_xyz)//BATCH_SIZE对于这里，我还是有些不理解。train_xyz直接读训练集坐标的话，那len(train_xyz)的值就是753876，我在训练时设置的batchsize=2,训练的过程中会有“Current batch/total batch num: 0/376938”，也就是总共376938个batch，这个感觉好奇怪。我的电脑大概跑了三个小时，一直显示这一行。不知道是不是我没有理解您的意思。期待您的回复。
------------------ 原始邮件 ------------------ 发件人: "lixiang-ucas/D-FCN" <[email protected]>; 发送时间: 2020年8月20日(星期四) 下午4:20 收件人: "lixiang-ucas/D-FCN"<[email protected]>; 抄送: "王利媛"<[email protected]>;"Author"<[email protected]>; 主题: Re: [lixiang-ucas/D-FCN] 训练集数据 (#5)
模型训练的时候数据没有做切片处理，每次直接从原始数据中切一个30m30m的patch，然后采样固定数量的点（比如8192）。测试的时候用的pickle：你把数据按照30m30m切片，然后把边缘特别小的和周边的合并。测试时因为每个切片点数不一样，所以batch size设置为1。
train_xyz直接读训练集坐标就好了。 num_batches = len(train_xyz)//BATCH_SIZE这里是每个训练epoch需要的step数量，每个step处理BATCH_SIZE个小patch。训练的时候BATCH_SIZE>1。 userdata：模型中用到了reflectance，原始数据集里面有。height above ground使用lastool计算得到的。
— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.
line 285: train_xyz, train_label, train_feats = pickle.load(train_f, encoding='bytes')这行其实没啥作用，只有len(train_xyz)有用。一开始我们把train也做了切片，后来发现每次随机采样效果会更好。len(train_xyz)的意思是，假如我们对train切片的话会有多少个小切片，我们把他作为总共训练样本的数量。
line 344: print('Current batch/total batch num: %d/%d'%(batch_idx,num_batches)) 这行是一开始当时debu用的，没啥作用，用来看看跑了多少个step。
