KiwiHana

> Have you got the oneAPI env activated? Yes， I have. The device has iGPU no Arc DGPU. (ipex-pip) PS C:\Program Files (x86)\Intel\oneAPI> .\setvars.bat :: initializing oneAPI environment... Initializing Visual...

@bouachalazhar You can install OneAPI 2024.0 and ipex 2.1, may work. I have tried on MTL.

Human: 桌子有左中右3个抽屉；张三，李四，王五，赵六都看到桌子上有一袋巧克力。张三让李四和王五出门后，在赵六面前把这袋巧克力放进了右抽屉；王五回来后，张三让赵六出门去找李四，并在王五面前从左抽屉拿出一盒饼干放进中抽屉里；等李四和赵六返回，张三又让王五和赵六出去买酱油，等二人走后，他告诉李四刚才已将一盒饼干放进中抽屉；张三等了很久，发现王五和赵六还没回来，就派李四去寻找，可最后只有王五和李四回来了。王五告诉张三，一开始他们没有找到卖酱油的店，所以只好分头去买，后来赵六走丢了；回来的路上，王五碰上了李四，两人便先赶了回来。于是，张三让两人出门去找赵六；为防再次走丢，张三叮嘱李四和王五要时刻同行，就算酱油买不到，也要找回赵六。结果，李四和王五在外面找到了赵六，发现他已经买了酱油。三人觉得张三从来不出门跑腿，十分气愤，讨论并达成共识，回去见到张三后，不要告诉他买到了酱油的事情，并让王五把酱油藏到自己的背包里。等三人一同回来后，他们按照计划谎称没有买到酱油，并希望张三以后买东西也要一同出门，不能偷懒，张三答应了。当大家最后站在桌子前，四人分别写下自己知道的物品清单和物品所在位置。问，这四人写下的物品和位置信息是否一致，为什么？ > c:\program files\aigc assistant\resources\audiollm\chat_chatglm3_kv.py(155)chatglm3_stream_chat() -> if user_input == "stop": (Pdb) c BigDL-LLM: 这是一个有趣的逻辑谜题。我们可以按照描述的步骤来逐步进行分析： 1. 张三、李四、王五都看到桌子上有一袋巧克力。 2. 张三让李四和王五出门后，在赵六面前把这袋巧克力放进了右抽屉。 3. 王五回来后，张三让赵六出门去找李四，并在王五面前从左抽屉拿出一盒饼干放进中抽屉里。 4. 李四和赵六返回，张三又让王五和赵六出去买酱油，等二人走后，他告诉李四刚才已将一盒饼干放进中抽屉。 5. 张三等了很久，发现王五和赵六还没回来，就派李四去寻找，可最后只有王五和李四回来了。 6. 王五告诉张三，一开始他们没有找到卖酱油的店，所以只好分头去买，后来赵六走丢了。 7. 回来的路上，王五碰上了李四，两人便先赶了回来。 8....

Both exists Chatglm3-6B and Baichuan2-7B on Arc and MTL iGPU on windows.

bigdl-llm 20240128 You can solve by putting libsycl-fallback-bfloat16.spv to your_env\Lib\site-packages\intel_extension_for_pytorch\bin C:\Program Files\AIGC Assistant\resources\audiollm>..\llmsd_env\python.exe chat_0205.py C:\Program Files\AIGC Assistant\resources\llmsd_env\lib\site-packages\torchvision\io\image.py:13: UserWarning: Failed to load image Python extension: ''If you don't plan on using...

我用bigdl0128版本with ipex2.1，代码不改动（max past token = 512），https://github.com/intel-analytics/BigDL/pull/10007/files MTL 16GB内存机器，每次输入400 token，输出大概是300token。chatglm3-6B跑到第12次的时候，就报错Native API returns: -999 (Unknown PI error)，观察iGPU显存占用从第一次对话到第12次都在5.1~5.4GB之间，显存没有不停增加了，报错的时候是在第12次回答输出的中途报错的。 以下是出现报错的第12次对话 ``` Human: 桌子有左中右3个抽屉；张三，李四，王五，赵六都看到桌子上有一袋巧克力。张三让李四和王五出门后，在赵六面前把这袋巧克力放进了右抽屉；王五回来后，张三让赵六出门去找李四，并在王五面前从左抽屉拿出一盒饼干放进中抽屉里；等李四和赵六返回，张三又让王五和赵六出去买酱油，等二人走后，他告诉李四刚才已将一盒饼干放进中抽屉；张三等了很久，发现王五和赵六还没回来，就派李四去寻找，可最后只有王五和李四回来了。王五告诉张三，一开始他们没有找到卖酱油的店，所以只好分头去买，后来赵六走丢了；回来的路上，王五碰上了李四，两人便先赶了回来。于是，张三让两人出门去找赵六；为防再次走丢，张三叮嘱李四和王五要时刻同行，就算酱油买不到，也要找回赵六。结果，李四和王五在外面找到了赵六，发现他已经买了酱油。三人觉得张三从来不出门跑腿，十分气愤，讨论并达成共识，回去见到张三后，不要告诉他买到了酱油的事情，并让王五把酱油藏到自己的背包里。等三人一同回来后，他们按照计划谎称没有买到酱油，并希望张三以后买东西也要一同出门，不能偷懒，张三答应了。当大家最后站在桌子前，四人分别写下自己知道的物品清单和物品所在位置。问，这四人写下的物品和位置信息是否一致，为什么？ BigDL-LLM: 这是一个经典的逻辑谜题。我们可以通过分析每个人的陈述来找出答案。 首先，我们可以看到四个人的陈述如下： 1. 张三：没有找到卖酱油的店。 2. 李四：没有找到卖酱油的店。 3. 王五：分的的开发票。 4. 赵六：没有找到卖酱油的店，在右抽屉。...

``` $/home/test/intel/dl_streamer/samples/ffmpeg_openvino_decode_resize_inference/build/ffmpeg_openvino_decode_resize_inference -i /home/test/kiwi/test_1080p_15.mp4 -m /home/test/kiwi/yolov5s_openvino_model/yolov5s.xml terminate called after throwing an instance of 'ov::AssertFailure' what(): Check 'it != m_names.end()' failed at src/core/src/layout.cpp:203: W dimension index is not defined Aborted (core...

> Does it work with another model, like the default model `face-detection-adas-0001` from the build-script, "https://github.com/dlstreamer/dlstreamer/blob/master/samples/ffmpeg_openvino/cpp/decode_resize_inference/build_and_run.sh#L9C33-L9C57"? ``` :~/intel/dl_streamer/samples/ffmpeg_openvino_decode_resize_inference/build$ ./ffmpeg_openvino_decode_resize_inference -i /home/test/kiwi/test_1080p_15.mp4 -m /home/test/kiwi/face-detection-adas-0001/FP32/face-detection-adas-0001.xml model /home/test/kiwi/face-detection-adas-0001/FP32/face-detection-adas-0001.xml read model ffmpeg_openvino_decode_resize_inference: /home/dlstreamer/dlstreamer/src/vaapi/vaapi_batch_proc/vaapi_batch_proc.cpp:65: virtual...

> hello, @brmarkus you are right this part is part of Architecture 2.0 which is under development now. @KiwiHana we can fix your issue in release planned at the end...

upgrade to ffmpeg version> 6.0, still build the same error ``` $ ffmpeg -v ffmpeg version 6.1.1 Copyright (c) 2000-2023 the FFmpeg developers built with gcc 11 (Ubuntu 11.4.0-1ubuntu1~22.04) configuration:...