Mocode-1B-Model
Mocode-1B-Model
模型描述
Mocode 统一模型，集成 7 个 embedding+MLP 子模型，采用 GGUF v3 格式封装为单一文件。
子模型
| 前缀 | 模型名 | 任务 | 类别数 |
|---|---|---|---|
| deepseek | DeepSeekQualityClassifier | 数据质量分类 | 2 |
| disclaw | DisclawClassifier | 法律任务分类 | 10 |
| intent | TrainedIntentClassifier | 意图分类 | 8 |
| math | MathIntentClassifier | 数学意图分类 | 5 |
| muice | MuiceClassifier | 对话意图分类 | 5 |
| qiaojie | QiaojieClassifier | 中文主题分类 | 10 |
| wikitext | WikiTextTopicClassifier | 英文主题分类 | 10 |
架构
- 每个子模型: Embedding(128000, 1024) + MLP(2048→1024→512) + Classifier
- 共享词表: 128,000 tokens
- 总参数量: 950,685,255
- 张量数: 168 (7 子模型 × 24)
- 张量命名:
{子模型前缀}.{层名}(如intent.embedding.weight) - 32 字节对齐，F32 精度，兼容 llama.cpp
元数据
- 全局元数据: model.name, model.vocab, model.submodels 等
- 子模型元数据:
submodel.{key}.*(name/type/task/n_classes/labels/hidden_dims 等)
框架
PyTorch 训练，GGUF v3 格式封装。