ipex-llm icon indicating copy to clipboard operation
ipex-llm copied to clipboard

Ollama ipex-llm Code Generation quality issue

Open juan-OY opened this issue 7 months ago • 3 comments

Describe the bug It is an performance issue, running 0llama-0.5.4-ipex-llm-2.2.0b20250226, the code generation quality is lower than others

How to reproduce DS14B本地模型运行情况(以生成可以在网页上运行的俄罗斯方块游戏为例): Flowy2.1.3-beta1: 1、 使用本地模型生成可以在网页上运行的俄罗斯方块代码,代码运行后游戏不能正常启动; 2、 基于以上生成从代码进行追问,模型不能结合之前的回答来解决追问的问题,而是会作为一次新的对话进行思考和回答。 0llama-0.5.4-ipex-llm-2.2.0b20250226: 1、 使用本地模型生成可以在网页上运行的俄罗斯方块代码,代码运行后游戏不能正常启动; 2、 基于以上生成从代码进行追问,模型不能结合之前的回答来解决追问的问题,而是会作为一次新的对话进行思考和回答。 Using other tools: 1、 使用本地模型生成的游戏代码可以正常运行体验; 2、 对已生成的代码进行追问增加游戏难度,模型可以理解问题并结合之前的代码给出进阶版游戏完整代码。

juan-OY avatar Mar 31 '25 01:03 juan-OY

使用0llama-0.5.4-ipex-llm-2.2.0b20250226的时候,前端使用的是openWebUI的界面

juan-OY avatar Mar 31 '25 02:03 juan-OY

Could you try latest ollama-ipex-llm-2.2.0b20250318-win.zip ?

qiuxin2012 avatar Apr 01 '25 02:04 qiuxin2012

使用最新版本ollama-ipex-llm-2.2.0b20250318-win.zip的webui进行了14B模型质量测试,分别测试了①生成可以在HTML上正常运行的俄罗斯方块代码;②生成可以在HTML上正常运行的五子棋游戏代码;③帮我用HTML设计一个好玩的贪吃蛇游戏,均不能生成可以正常体验游戏的代码。

juan-OY avatar Apr 01 '25 02:04 juan-OY