Transformers
GGUF
conversational
manaestras commited on
Commit
3385db8
·
verified ·
1 Parent(s): e9cb36c

Upload README_CN.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README_CN.md +107 -0
README_CN.md ADDED
@@ -0,0 +1,107 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ <p align="center">
2
+ <img src="https://dscache.tencent-cloud.cn/upload/uploader/hunyuan-64b418fd052c033b228e04bc77bbc4b54fd7f5bc.png" width="400"/> <br>
3
+ </p><p></p>
4
+
5
+ <p align="center">
6
+ 🫣&nbsp;<a href="https://huggingface.co/tencent/Hunyuan-A13B-Instruct"><b>Hugging Face</b></a>&nbsp;&nbsp;|&nbsp;&nbsp;
7
+ 🖥️&nbsp;<a href="https://llm.hunyuan.tencent.com/" style="color: red;"><b>Official Website</b></a>&nbsp;&nbsp;|&nbsp;&nbsp;
8
+ 🕖&nbsp;<a href="https://cloud.tencent.com/product/hunyuan"><b>HunyuanAPI</b></a>&nbsp;&nbsp;|&nbsp;&nbsp;
9
+ 🕹️&nbsp;<a href="https://hunyuan.tencent.com/?model=hunyuan-a13b"><b>Demo</b></a>&nbsp;&nbsp;|&nbsp;&nbsp;
10
+ <img src="https://avatars.githubusercontent.com/u/109945100?s=200&v=4" width="16"/>&nbsp;<a href="https://modelscope.cn/models/Tencent-Hunyuan/Hunyuan-A13B-Instruct"><b>ModelScope</b></a>
11
+ </p>
12
+
13
+ <p align="center">
14
+ <a href="https://github.com/Tencent/Hunyuan-A13B"><b>GITHUB</b></a>
15
+ </p>
16
+
17
+
18
+
19
+
20
+ ## 模型介绍
21
+
22
+ 随着人工智能技术的快速发展,大型语言模型(LLMs)在自然语言处理、计算机视觉和科学任务等领域取得了显著进展。然而,随着模型规模的扩大,如何在保持高性能的同时优化资源消耗成为一个关键挑战。为了应对这一挑战,我们研究了混合专家(MoE)模型,当前亮相的 Hunyuan-A13B 模型,拥有800亿总参数和130亿激活参数。不仅在效果上达到了高标准,而且在尺寸上也做到了极致的优化,成功平衡了模型性能与资源占用。
23
+
24
+
25
+ ### 核心特性与优势
26
+ - ​**小参数量,高性能**​:仅激活130亿参数(总参数量800亿),即可在多样化基准任务中媲美更大规模模型的竞争力表现
27
+ - ​**混合推理支持**​:同时支持快思考和慢思考两种模式,支持用户灵活选择
28
+ - ​**超长上下文理解**​:原生支持256K上下文窗口,在长文本任务中保持稳定性能
29
+ - ​**增强Agent能力**​:优化Agent能力,在BFCL-v3、τ-Bench等智能体基准测试中领先
30
+ - ​**高效推理**​:采用分组查询注意力(GQA)策略,支持多量化格式,实现高效推理
31
+
32
+
33
+ ### 为何选择Hunyuan-A13B?
34
+ 作为兼具强大性能与计算效率的大模型,Hunyuan-A13B是研究者与开发者在资源受限条件下追求高性能的理想选择。无论学术研究、高性价比AI解决方案开发,还是创新应用探索,本模型都能提供强大的基础支持。
35
+
36
+
37
+ &nbsp;
38
+
39
+ ## 新闻
40
+ <br>
41
+
42
+ * 2025.6.26 我们在Hugging Face开源了 **Hunyuan-A13B-Instruct**,**Hunyuan-A13B-Pretrain**, **Hunyuan-A13B-Instruct-FP8**, **Hunyuan-A13B-Instruct-GPTQ-Int4**。并发布了技术报告和训练推理操作手册,详细介绍了模型能力和训练与推理的操作。
43
+
44
+ ## 模型结构
45
+
46
+ Hunyuan-A13B采用了细粒度混合专家(Fine-grained Mixture of Experts,Fine-grained MoE)架构,包含800亿参数和130亿激活参数,累计训练了超过 20T tokens。该模型支持 256K 的上下文长度,以下为模型结构细节:
47
+ * 总参数: 80B
48
+ * 激活参数: 13B
49
+ * 层数: 32
50
+ * Attention Heads: 32
51
+ * 共享专家数: 1
52
+ * 非共享专家数: 64
53
+ * 路由策略: Top-8
54
+ * 激活函数: SwiGLU
55
+ * 隐层维度: 4096
56
+ * 专家隐层维度: 3072
57
+
58
+ ## Benchmark评估榜单
59
+
60
+ **Hunyuan-A13B-Pretrain** 在 12/14 个任务上超越了Hunyuan上一代52B激活参数的MoE模型Hunyuan-Large,证实了它在预训练任务上出色的能力。与业界更大参数量的Dense和MoE模型相比, Hunyuan-A13B在多个代码和数学任务上都取得了最高分数。在MMLU, MMLU-PRO等诸多众聚合任务上, Hunyuan-A13B达到了与Qwen3-A22B模型同等的水平,表现出优秀的综合能力。
61
+
62
+ | Model | Hunyuan-Large | Qwen2.5-72B | Qwen3-A22B | Hunyuan-A13B |
63
+ |------------------|---------------|--------------|-------------|---------------|
64
+ | MMLU | 88.40 | 86.10 | 87.81 | 88.17 |
65
+ | MMLU-Pro | 60.20 | 58.10 | 68.18 | 67.23 |
66
+ | MMLU-Redux | 87.47 | 83.90 | 87.40 | 87.67 |
67
+ | BBH | 86.30 | 85.80 | 88.87 | 87.56 |
68
+ | SuperGPQA | 38.90 | 36.20 | 44.06 | 41.32 |
69
+ | EvalPlus | 75.69 | 65.93 | 77.60 | 78.64 |
70
+ | MultiPL-E | 59.13 | 60.50 | 65.94 | 69.33 |
71
+ | MBPP | 72.60 | 76.00 | 81.40 | 83.86 |
72
+ | CRUX-I | 57.00 | 57.63 | - | 70.13 |
73
+ | CRUX-O | 60.63 | 66.20 | 79.00 | 77.00 |
74
+ | MATH | 69.80 | 62.12 | 71.84 | 72.35 |
75
+ | CMATH | 91.30 | 84.80 | - | 91.17 |
76
+ | GSM8k | 92.80 | 91.50 | 94.39 | 91.83 |
77
+ | GPQA | 25.18 | 45.90 | 47.47 | 49.12 |
78
+
79
+ **Hunyuan-A13B-Instruct** 在多项基准测试中取得了极具有竞争力的表现,尤其是在数学、科学、agent等领域。我们与一些强力模型进行了对比,结果如下所示。
80
+
81
+ | Topic | Bench | OpenAI-o1-1217 | DeepSeek R1 | Qwen3-A22B | Hunyuan-A13B-Instruct |
82
+ |:-------------------:|:-----------------------------:|:-------------:|:------------:|:-----------:|:---------------------:|
83
+ | **Mathematics** | AIME 2024<br>AIME 2025<br>MATH | 74.3<br>79.2<br>96.4 | 79.8<br>70<br>94.9 | 85.7<br>81.5<br>94.0 | 87.3<br>76.8<br>94.3 |
84
+ | **Science** | GPQA-Diamond<br>OlympiadBench | 78<br>83.1 | 71.5<br>82.4 | 71.1<br>85.7 | 71.2<br>82.7 |
85
+ | **Coding** | Livecodebench<br>Fullstackbench<br>ArtifactsBench | 63.9<br>64.6<br>38.6 | 65.9<br>71.6<br>44.6 | 70.7<br>65.6<br>44.6 | 63.9<br>67.8<br>43 |
86
+ | **Reasoning** | BBH<br>DROP<br>ZebraLogic | 80.4<br>90.2<br>81 | 83.7<br>92.2<br>78.7 | 88.9<br>90.3<br>80.3 | 89.1<br>91.1<br>84.7 |
87
+ | **Instruction<br>Following** | IF-Eval<br>SysBench | 91.8<br>82.5 | 88.3<br>77.7 | 83.4<br>74.2 | 84.7<br>76.1 |
88
+ | **Text<br>Creation**| LengthCtrl<br>InsCtrl | 60.1<br>74.8 | 55.9<br>69 | 53.3<br>73.7 | 55.4<br>71.9 |
89
+ | **NLU** | ComplexNLU<br>Word-Task | 64.7<br>67.1 | 64.5<br>76.3 | 59.8<br>56.4 | 61.2<br>62.9 |
90
+ | **Agent** | BDCL v3<br> τ-Bench<br>ComplexFuncBench<br> $C^3$-Bench | 67.8<br>60.4<br>47.6<br>58.8 | 56.9<br>43.8<br>41.1<br>55.3 | 70.8<br>44.6<br>40.6<br>51.7 | 78.3<br>54.7<br>61.2<br>63.5 |
91
+
92
+
93
+ &nbsp;
94
+
95
+ ## 快速入门
96
+
97
+ ### llama.cpp
98
+
99
+ 你可以克隆 [`llama.cpp`](https://github.com/ggerganov/llama.cpp) 并按照其官方指南进行安装。通过下方参考代码运行推理。
100
+
101
+ ```shell
102
+ llama-cli -m Hunyuan-A13B-Instruct-Q4_0.gguf -p "Write a short summary of the benefits of regular exercise" -n 4096 --temp 0.7 --top-k 20 --top-p 0.8 --repeat-penalty 1.05 --no-warmup
103
+ ```
104
+
105
+
106
+ ## 联系我们
107
+ 如果你想给我们的研发和产品团队留言,欢迎联系我们腾讯混元LLM团队。你可以通过邮件(hunyuan_opensource@tencent.com)联系我们。