step_into_llm
step_into_llm copied to clipboard
MindSpore online courses: Step into LLM
目前感觉大模型还是指的LLM,视觉方面的大模型定义感觉不是很清晰
RLHF没有代码吗?
半个小时运行了半个epoch,下面是配置静态图加速的 mindspore.set_context(mode=mindspore.GRAPH_MODE,device_target='Ascend') 不知道fp16怎么配置
请问能讲讲RetNet吗?似乎很有潜力的样子。
目前只知道在mindspore2.0.0和mindspore2.0.0rc版本中,运行gpt2_summarization出现错误如下: from mindspore.amp import init_status, all_finite, DynamicLossScaler ImportError: cannot import name 'init_status' from 'mindspore.amp'
二期课程建议
1.底座模型GLM详解和核心源码解读 2.大模型训练方法finetune 3.大模型训练方法Lora和rank确定方法 4.大模型训练方法p-tuning 5.大模型训练方法RHLF原理详解 6.基于LangChain的知识库搭建 7.基于大模型的知识压缩 8.Prompt工程和技巧 9.大模型采样原理解析 10.Transformer的底层逻辑详解 11.大模型内容审核系统搭建 12.羊驼大模型详解 13.百川大模型详解
1.基于GPT-3.5的端到端语音聊天机器人项目实战——ChatGPT API后台开发实战 2.基于GPT-3.5的端到端语音聊天机器人项目实战——使用FastAPI构建语音聊天机器人后端实战 3.基于GPT-3.5的端到端语音聊天机器人项目实战——使用React 构建语音聊天机器人前段实战 4.基于GPT-3.5的端到端语音聊天机器人项目实战——ChatGPT 语音聊天机器人项目测试 5.基于GPT-3.5的端到端语音聊天机器人项目实战——ChatGPT 语音聊天机器人改进 6.基于GPT-3.5的端到端语音聊天机器人项目实战——企业级 ChatGPT 开发的三大核心 Models、Tools、Data 剖析 7.基于LLM 的SQL应用程序开发案例实战——SQLon LLMs 案例演示及日志分析 8.基于LLM 的SQL应用程序开发案例实战——Prompting分析 9.基于LLM 的SQL应用程序开发案例实战——后台源码逐行剖析 10.基于LLM 的SQL应用程序开发案例实战——从应用程序到 Backend 到 OpenAl 全生命周期源码剖析 11.基于LLM 的SQL应用程序开发案例实战——测试和调试SQLon...
I am a freshman in RLHF, so will you upload a demo code of RLHF? or slide file of RLHF?
将矩阵乘法和全连接dense放在fp16下速度快很多