Elric
Elric
很棒的课程，期待老师的更新
how to convert qwen.tiktoken to tokenzier.model
### 起始日期 | Start Date 08/01/2024 ### 实现PR | Implementation PR 无 ### 相关Issues | Reference Issues 无 ### 摘要 | Summary 无 ### 基本示例 | Basic Example 无 ###...
### Motivation InternVL2-1b is quiet good for out task, but we want to deploy itl to Android devices？ Any framework to support it? ### Related resources _No response_ ### Additional...
在 llmexport.py 文件中并没有看到 Multimodal Rotary Position Embedding (M-ROPE) 相关的处理 所有的 position id 都是这样的： ``` python def get_position_ids(self) -> torch.Tensor: if self.model_type == 'chatglm': return self.chatglm_position_ids() if self.token_len: return torch.tensor([[self.seq_len -...
论文中有提到： 不同后端对算子存在差异化的实现与优化方式，而移动设备或云服务器往往配备多种可用后端。半自动搜索的全局目标在于识别成本最低的后端——每个后端的成本即为其所有算子采用最优实现时的成本总和。 要为特定后端上的特定算子确定最优实现算法，需要找出每个候选算法的最优参数组合。该问题可转化为能快速求解的约束优化问题：以计算或内存成本为目标函数，约束条件则包含后端硬件限制及算法输入尺寸 相比之下，MNN 的张量计算引擎设计本质上利用了针对异构后端的手动算子级优化，从而缩小半自动搜索空间，这使得模型能作为常规资源文件部署，并进一步支持 Python 虚拟机中的运行时优化和每日 ML 任务迭代。另一优势在于：随着 ML 任务数量持续增长，移动应用的安装包体积不会长期递增。 但是翻了很久代码，不确定上述的实现具体在哪里？希望有大佬提供一些思路
**Please Describe The Problem To Be Solved** 在现有数据类型支持的情况下，有办法将代码仓库接入知识库吗