ERNIE
ERNIE copied to clipboard
ernie-doc 超长文本的拆分、memory 传递、文档传入两次,这些具体应该怎么做呢?
trafficstars
- task_reader 里的 self.features_all 里面的特征只存了按 segment 切分的一遍特征,模型里好像没有看到哪里做了特殊处理,这个读两遍机制具体应该怎么实现啊?
- memory 传递倒是看到了相关代码,可是没有看到同一个 query 不同 segment 之间 memory 的传递具体是怎么传的呢?是训练的时候手动判断文档是否结束,然后初始化 memory ?
- Ernie3.0 好像编码方式和 ernie-doc 是一样的?如果是的话,Ernie3.0 能对超长文本做类似的操作吗?