dots.llm1 ：小红书hi lab开源的文本大模型

186 0 0

AI智库导航-aiguide.cc为您提供最新的AI新闻资讯和最新的AI工具推荐，在这里你可以获得用于营销的AI聊天机器人、AI在商业管理中的应用、用于数据分析的AI工具、机器学习模型、面向企业的AI解决方案、AI在商业客户服务中的应用、AI和自动化工具等。

主要介绍

dots.llm1 是小红书 hi lab（Humane Intelligence Lab）开源的中等规模文本大模型，采用 MoE（Mixture of Experts）架构，总参数量为 1420 亿，激活参数量为 140 亿。该模型在 11.2 万亿高质量非合成 token 数据上进行预训练，性能可与 Qwen2.5-72B 等更大规模模型媲美。dots.llm1 支持中英文多轮对话、知识理解、问答、复杂指令遵循以及数学和编码推理任务，适用于多种自然语言处理场景。

功能特点

高效稀疏激活：
- MoE 架构通过动态路由机制，仅激活部分专家网络，显著降低计算成本，同时保持高性能。
高质量训练数据：
- 使用 11.2 万亿非合成高质量 token 数据，涵盖中英文，数据经过严格筛选和处理，确保多样性和知识性。
长上下文支持：
- 支持 32K 上下文长度，适用于长文本生成和理解任务。
多任务能力：
- 在多语言多轮对话、知识问答、数学推理和代码生成等任务上表现优异。

优缺点

优点：

高效性：稀疏激活机制大幅降低计算成本，适合资源受限场景。
高质量：非合成训练数据确保模型输出真实可靠。
灵活性：支持多种任务，适用于多种应用场景。

缺点：

模型规模限制：相比更大规模的密集模型，参数总量较小，可能影响复杂任务的表现。
依赖数据质量：模型性能高度依赖训练数据的质量，数据偏差可能影响输出。

如何使用

环境准备：
- 安装 Python 和 PyTorch，确保支持 CUDA。
- 安装依赖库：transformers、vllm、accelerate 等。
模型加载：from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained(“rednote-hilab/dots.llm1.base”, trust_remote_code=True) tokenizer = AutoTokenizer.from_pretrained(“rednote-hilab/dots.llm1.base”)
推理示例：inputs = tokenizer(“Write a poem about AI.”, return_tensors=”pt”) outputs = model.generate(**inputs, max_new_tokens=512) print(tokenizer.decode(outputs[0], skip_special_tokens=True))
部署选项：
- 使用 vLLM 或 SGLang 进行高效推理。
- 支持通过 Docker 镜像快速部署。

框架技术原理

MoE 架构：
- 模型由 128 个路由专家和 2 个共享专家组成，每个专家网络是一个两层前馈网络，使用 SwiGLU 激活函数。
- 动态路由机制根据输入标记选择 6 个最相关的专家网络，加上 2 个共享专家，总共激活 8 个专家网络。
注意力机制：
- 采用多头注意力机制（MHA），并引入 RMSNorm 归一化操作，提升模型稳定性。
负载平衡策略：
- 引入无辅助损失的负载平衡策略，通过动态调整偏置项确保专家网络负载均衡。
训练优化：
- 使用 AdamW 优化器，结合 warmup-stable-decay 学习率计划，逐步增加批量大小以提升训练效率。