docker-llama2-chat

docker-llama2-chat copied to clipboard

通过容器启动后，我如果想通过api调取模型应该如何处理，是需要将容器进行变更，更改dockerfile中相应的内容么

songbotao

docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]].

1

guozhangbin

接下来一些计划折腾的事（可以评论提你的想法）

5

- [ ] 接入体验更好的前端客户端，让本地体验更好。 - [ ] 接入可以私有化部署的 “ChatGPT”，在原生 Web Client 中玩 :-D - [ ] 接入 RSS Can 降低信息流数据处理成本。 - [ ] “一键包”，部署还是太烦了，有好多同学反馈下载慢，除了之前的场景外： - [x] MacOS ，M1 / M2...

soulteary

llama2量化后版本加载报错

1

llama2-7b-chat-hf，按照提供的量化步骤，得到4bit版本的模型并补齐模型文件，通过AutoModelForCausalLM.from_pretrained方式加载时，报NotImplementedError: Cannot copy out of meta tensor; no data! 环境配置： accelerate==0.21.0 bitsandbytes==0.40.2 gradio==3.37.0 protobuf==3.20.3 scipy==1.11.1 sentencepiece==0.1.99 transformers==4.31.0 torch==1.13.0a0+340c412 cuda==11.7

WheatJH

bash scripts/run-7b-cn.sh ,Attempting an error:docker: invalid reference format: repository name must be lowercase. See 'docker run --help'.

China-First-KY

OSError: You seem to have cloned a repository without having git-lfs installed 按照教程里做的： https://soulteary.com/2023/07/21/use-docker-to-quickly-get-started-with-the-chinese-version-of-llama2-open-source-large-model.html **运行容器：sh scripts/run-7b-cn.sh 报错：** Various files include modifications (c) NVIDIA CORPORATION & AFFILIATES. All rights reserved. This...

darek-ai

Apple M系列 docker 运行出错

4

参考 https://soulteary.com/2023/07/23/build-llama2-chinese-large-model-that-can-run-on-cpu.html 使用 Apple M2, 用最后的 docker `soulteary/llama2:runtime` 运行 `Chinese-Llama-2-7b-ggml-q4.bin` ```bash main: build = 0 (unknown) main: seed = 1690425690 qemu: uncaught target signal 4 (Illegal instruction) - core dumped...

lslzl3000

xiagw

尊敬的 [docker-llama2-chat](https://github.com/soulteary/docker-llama2-chat) 开发者您好，我是 InternLM 社区开发者&志愿者 尖米, 您的工作非常对我的帮助很大，感觉也可以很好的在 InternLM 中使用，我的微信是 mzm312，希望取得联系

JimmyMa99

仔细阅读教程，教程可以通过十分钟阅读完毕，仔细阅读将节约几个小时、甚至一天的时间。 参考教程或文档中的命令，进行镜像构建即可。

soulteary