Patrick6663

大规模数据集的构建知识图谱的"超级节点"时候，如何很好的解决OOM的问题

4

[2025-10-26 14:35:51] ERROR main:159 - Failed to build knowledge graph for 数据集: CUDA out of memory. Tried to allocate 43.43 GiB. GPU 0 has a total capacity of 79.15 GiB...

输入超出LLM接受的限制

1

翻看chunk_text方法，chunks = [str(text)] 如果遇到单条json过大，拼接后的chunk直接超过输入限制的错误，建议是文本预处理将json切分，还是在chunk_text方法切分chunk呢？