Chinese_segment_augment
Chinese_segment_augment copied to clipboard
计算左右熵算法问题
假设有两个词串分别是[a,b,c]和[b,c,a],[a,b,c]在计算左熵的时候会转换成b->c->a存储到树中,[b,c,a]在顺序存储的时候也会转换成b->c->a存储到树中,那么这个时候计算bc的左熵的时候会有问题把,额外把a的次数多加了一。
Hi BucherLi,
感谢你的问题,十分抱歉这么久才回复。 我们使用isback()函数来区分这种情况。
Best, Zecheng