搜索结果在转给大模型的时候会出现超出 Prompt tokens length 错误

[damoyelang1992]

搜索结果在转给大模型的时候会出现超出 Prompt tokens length 错误，这里能不能加个判断或者参数，还是说选用更长上下文的大模型？ 目前使用 国际流动的DeepSeek V3 ： File "D:\PycharmProjects\deer-flow\.venv\Lib\site-packages\openai\_base_client.py", line 1767, in post return await self.request(cast_to, opts, stream=stream, stream_cls=stream_cls) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\PycharmProjects\deer-flow\.venv\Lib\site-packages\openai\_base_client.py", line 1461, in request return await self._request( ^^^^^^^^^^^^^^^^^^^^ File "D:\PycharmProjects\deer-flow\.venv\Lib\site-packages\openai\_base_client.py", line 1562, in _request raise self._make_status_error_from_response(err.response) from None openai.BadRequestError: Error code: 400 - {'code': 20015, 'message': 'length of prompt_tokens (143644) must be less than max_seq_len (65536).', 'data': None}

谢谢~

[clin421]

以下三种方式可以解决： 1.把迭代次数减少 2.把爬虫工具屏蔽 3.替换长token的模型

[PasserByJia]

代码中哪个地方可以设置max_token这个参数呢

[ZJL0111]

代码中哪个地方可以设置max_token这个参数呢

没有max_token这个参数，可以设置的是 max_plan_iterations 、max_step_num 以及.env中的AGENT_RECURSION_LIMIT； 但我都调小以后还是超过长度限制，我用的deepseek API；感觉随便问问就30w+的输入 ，我现在在找 替换deepseek 支持长输入（百万上下文）的API啦

[ZJL0111]

搜索结果在转给大模型的时候会出现超出 Prompt tokens length 错误，这里能不能加个判断或者参数，还是说选用更长上下文的大模型？ 目前使用 国际流动的DeepSeek V3 ： File "D:\PycharmProjects\deer-flow\.venv\Lib\site-packages\openai\_base_client.py", line 1767, in post return await self.request(cast_to, opts, stream=stream, stream_cls=stream_cls) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\PycharmProjects\deer-flow\.venv\Lib\site-packages\openai\_base_client.py", line 1461, in request return await self._request( ^^^^^^^^^^^^^^^^^^^^ File "D:\PycharmProjects\deer-flow\.venv\Lib\site-packages\openai\_base_client.py", line 1562, in _request raise self._make_status_error_from_response(err.response) from None openai.BadRequestError: Error code: 400 - {'code': 20015, 'message': 'length of prompt_tokens (143644) must be less than max_seq_len (65536).', 'data': None}

谢谢~

您好，解决了么

[ZJL0111]

代码中哪个地方可以设置max_token这个参数呢

没有max_token这个参数，可以设置的是 max_plan_iterations 、max_step_num 以及.env中的AGENT_RECURSION_LIMIT； 但我都调小以后还是超过长度限制，我用的deepseek API；感觉随便问问就30w+的输入 ，我现在在找 替换deepseek 支持长输入（百万上下文）的API啦

观察运行结果发现搜索结果中的raw_content长度很长，猜测这也是导致输入长度激增的一个原因；将src/tools/search.py中的include_raw_content参数改为False，成功运行！

[dartisanc]

代码中哪个地方可以设置max_token这个参数呢

没有max_token这个参数，可以设置的是 max_plan_iterations 、max_step_num 以及.env中的AGENT_RECURSION_LIMIT； 但我都调小以后还是超过长度限制，我用的deepseek API；感觉随便问问就30w+的输入 ，我现在在找 替换deepseek 支持长输入（百万上下文）的API啦

观察运行结果发现搜索结果中的raw_content长度很长，猜测这也是导致输入长度激增的一个原因；将src/tools/search.py中的include_raw_content参数改为False，成功运行！

有用，按这个改解决了！