lucifer

tks, 我试了下确实可以，不过碰到了另外的问题，代码如下 ``` towhee.dc['text'](["A teddybear on a skateboard in Times Square."]) .runas_op['text', 'vec'](func=lambda x: text2emb(x)) .tensor_normalize['vec','vec']() .select['text', 'vec']() .show() ``` text2emb是我自定义的encoder，随后做了tensor_normalize，我理解这个地方的tensor_normalize应该做了L2_norm正则化，但是上述代码运行后结果如下： A teddybear on a skateboard in Times Square. |...

NB!

> 你是不是设置了 --max_steps 3000，把这个去掉就行了 是官方给的例子带了这个参数

> There are null values in the data, just clean up the data. I checked that there are no null values in my data.

+1

作者在之前的issue里好像说过，chatglm2是causal llm，不是prefix llm，所以似乎没有双向注意力部分，都是单向注意力;也就是说GLM本身在设计的时候，是prefix-llm，但是应用在chatGLM时，讲双向注意力部分去掉了?

> > 作者在之前的issue里好像说过，chatglm2是causal llm，不是prefix llm，所以似乎没有双向注意力部分，都是单向注意力;也就是说GLM本身在设计的时候，是prefix-llm，但是应用在chatGLM时，讲双向注意力部分去掉了? > > > 作者在之前的issue里好像说过，chatglm2是causal llm，不是prefix llm > > 感觉这个比较符合我的认知，哈哈哈哈，还能找到对应的链接吗？想看看👁👁 > > glm论文的研究目标是想提出一个在nlu和nlg效果都比较好的、统一3种模型结构的模型，按照论文的掩码示意图感觉就是一个encoder-decoder的结构。之前看的文章也基本会从causal llm和prefix llm两个维度介绍llm，prefix llm都会举例chatglm。我是直接触的chatglm2，结果感觉它模型结构一直跟之前的介绍对不上，强迫症都要犯了💊💊🤣🤣 > > 感觉1->2还是有结构上的调整，中间的变换过程应该是没论文吧？我好像没找到2对应的论文😅 https://github.com/THUDM/ChatGLM2-6B/issues/64#issuecomment-1608693056 here

> > > > 作者在之前的issue里好像说过，chatglm2是causal llm，不是prefix llm，所以似乎没有双向注意力部分，都是单向注意力;也就是说GLM本身在设计的时候，是prefix-llm，但是应用在chatGLM时，讲双向注意力部分去掉了? > > > > > > > > > > 作者在之前的issue里好像说过，chatglm2是causal llm，不是prefix llm > > > > > > > > > 感觉这个比较符合我的认知，哈哈哈哈，还能找到对应的链接吗？想看看👁👁...