xiaoshui240
xiaoshui240
我尝试使用Rosetta在transformer模型上,使用rtt.PrivateTextLineDataset的方式读取数据集,在普通代码下测试没有问题,加上Rosetta出现类型和维度的问题。 1.有些计算依赖tensor是int或者float,而Rosetta返回的都是string类型,我进行了强制转换; 2.还出现了维度的问题,返回的rtttensor好像是掩去了tensor的shape,显示为unknown类型,但有些tensor是在训练过程中才计算shape,但后续有些计算要求tensor的rank或者shape必须是已知的,我中途使用reshape方式强制添加shape,但后续也报错。 报错:ValueError: Input 0 of layer rtt_dense_1 is incompatible with the layer: its rank is undefined, but the layer requires a defined rank. 3.还发现一个问题,我代码里面用了tf.train.get_or_create_global_step(),引入Rosetta后直接报错 ValueError: Tensor conversion requested...
我尝试运行三维tensor相乘,在tensorflow中,只需要第一个维度相同,得到结果是后面两个维度相乘。但Rosetta似乎不支持? 报错: ValueError: Shape must be rank 2 but is rank 3 for 'RttMatmul' (op: 'RttMatmul') with input shapes: [2,2,3], [2,3,2]. 代码如下: ``` #!/usr/bin/env python3 # Import rosetta package import...