[Feature] 不使用memory pool

[sunpengsdu]

Describe the feature

实际使用过程中，不需要memory_pool，memory pool的逻辑可能和其他芯片的显存分配策略有冲突，建议统一去除memory pool的实现和使用，包括moe对memory pool的使用

Will you implement it?

• [ ] I would like to implement this feature and create a PR!

[sunpengsdu]

@blankde @huangting4201