🫣 Hugging Face |
🖥️ Official Website |
🕖 HunyuanAPI |
🕹️ Demo |
模型介绍
随着人工智能技术的快速发展，大型语言模型（LLMs）在自然语言处理、计算机视觉和科学任务等领域取得了显著进展。然而，随着模型规模的扩大，如何在保持高性能的同时优化资源消耗成为一个关键挑战。为了应对这一挑战，我们研究了混合专家（MoE）模型，当前亮相的 Hunyuan-A13B 模型，拥有800亿总参数和130亿激活参数。不仅在效果上达到了高标准，而且在尺寸上也做到了极致的优化，成功平衡了模型性能与资源占用。
核心特性与优势
- 小参数量，高性能：仅激活130亿参数（总参数量800亿），即可在多样化基准任务中媲美更大规模模型的竞争力表现
- 混合推理支持：同时支持快思考和慢思考两种模式，支持用户灵活选择
- 超长上下文理解：原生支持256K上下文窗口，在长文本任务中保持稳定性能
- 增强Agent能力：优化Agent能力，在BFCL-v3、τ-Bench等智能体基准测试中领先
- 高效推理：采用分组查询注意力（GQA）策略，支持多量化格式，实现高效推理
为何选择Hunyuan-A13B？
作为兼具强大性能与计算效率的大模型，Hunyuan-A13B是研究者与开发者在资源受限条件下追求高性能的理想选择。无论学术研究、高性价比AI解决方案开发，还是创新应用探索，本模型都能提供强大的基础支持。
新闻
- 2025.6.26 我们在Hugging Face开源了 Hunyuan-A13B-Instruct，Hunyuan-A13B-Pretrain, Hunyuan-A13B-Instruct-FP8， Hunyuan-A13B-Instruct-GPTQ-Int4。并发布了技术报告和训练推理操作手册，详细介绍了模型能力和训练与推理的操作。
模型结构
Hunyuan-A13B采用了细粒度混合专家（Fine-grained Mixture of Experts，Fine-grained MoE）架构，包含800亿参数和130亿激活参数，累计训练了超过 20T tokens。该模型支持 256K 的上下文长度，以下为模型结构细节:
- 总参数: 80B
- 激活参数: 13B
- 层数: 32
- Attention Heads: 32
- 共享专家数: 1
- 非共享专家数: 64
- 路由策略: Top-8
- 激活函数: SwiGLU
- 隐层维度: 4096
- 专家隐层维度: 3072
Benchmark评估榜单
Hunyuan-A13B-Pretrain 在 12/14 个任务上超越了Hunyuan上一代52B激活参数的MoE模型Hunyuan-Large，证实了它在预训练任务上出色的能力。与业界更大参数量的Dense和MoE模型相比, Hunyuan-A13B在多个代码和数学任务上都取得了最高分数。在MMLU, MMLU-PRO等诸多众聚合任务上, Hunyuan-A13B达到了与Qwen3-A22B模型同等的水平，表现出优秀的综合能力。
| Model | Hunyuan-Large | Qwen2.5-72B | Qwen3-A22B | Hunyuan-A13B |
|---|---|---|---|---|
| MMLU | 88.40 | 86.10 | 87.81 | 88.17 |
| MMLU-Pro | 60.20 | 58.10 | 68.18 | 67.23 |
| MMLU-Redux | 87.47 | 83.90 | 87.40 | 87.67 |
| BBH | 86.30 | 85.80 | 88.87 | 87.56 |
| SuperGPQA | 38.90 | 36.20 | 44.06 | 41.32 |
| EvalPlus | 75.69 | 65.93 | 77.60 | 78.64 |
| MultiPL-E | 59.13 | 60.50 | 65.94 | 69.33 |
| MBPP | 72.60 | 76.00 | 81.40 | 83.86 |
| CRUX-I | 57.00 | 57.63 | - | 70.13 |
| CRUX-O | 60.63 | 66.20 | 79.00 | 77.00 |
| MATH | 69.80 | 62.12 | 71.84 | 72.35 |
| CMATH | 91.30 | 84.80 | - | 91.17 |
| GSM8k | 92.80 | 91.50 | 94.39 | 91.83 |
| GPQA | 25.18 | 45.90 | 47.47 | 49.12 |
Hunyuan-A13B-Instruct 在多项基准测试中取得了极具有竞争力的表现，尤其是在数学、科学、agent等领域。我们与一些强力模型进行了对比，结果如下所示。
| Topic | Bench | OpenAI-o1-1217 | DeepSeek R1 | Qwen3-A22B | Hunyuan-A13B-Instruct |
|---|---|---|---|---|---|
| Mathematics | AIME 2024 AIME 2025 MATH |
74.3 79.2 96.4 |
79.8 70 94.9 |
85.7 81.5 94.0 |
87.3 76.8 94.3 |
| Science | GPQA-Diamond OlympiadBench |
78 83.1 |
71.5 82.4 |
71.1 85.7 |
71.2 82.7 |
| Coding | Livecodebench Fullstackbench ArtifactsBench |
63.9 64.6 38.6 |
65.9 71.6 44.6 |
70.7 65.6 44.6 |
63.9 67.8 43 |
| Reasoning | BBH DROP ZebraLogic |
80.4 90.2 81 |
83.7 92.2 78.7 |
88.9 90.3 80.3 |
89.1 91.1 84.7 |
| Instruction Following |
IF-Eval SysBench |
91.8 82.5 |
88.3 77.7 |
83.4 74.2 |
84.7 76.1 |
| Text Creation |
LengthCtrl InsCtrl |
60.1 74.8 |
55.9 69 |
53.3 73.7 |
55.4 71.9 |
| NLU | ComplexNLU Word-Task |
64.7 67.1 |
64.5 76.3 |
59.8 56.4 |
61.2 62.9 |
| Agent | BDCL v3 τ-Bench ComplexFuncBench $C^3$-Bench |
67.8 60.4 47.6 58.8 |
56.9 43.8 41.1 55.3 |
70.8 44.6 40.6 51.7 |
78.3 54.7 61.2 63.5 |
快速入门
llama.cpp
你可以克隆 llama.cpp 并按照其官方指南进行安装。通过下方参考代码运行推理。
llama-cli -hf tencent/Hunyuan-A13B-Instruct-GGUF:Q4_0 -p "Write a short summary of the benefits of regular exercise" -n 4096 temp 0.7 --top-k 20 --top-p 0.8 --repeat-penalty 1.05 --no-warmup
ollama
未来将会支持。当前建议使用 llama.cpp 进行推理。
联系我们
如果你想给我们的研发和产品团队留言，欢迎联系我们腾讯混元LLM团队。你可以通过邮件（hunyuan_opensource@tencent.com）联系我们。