Transformers
GGUF
conversational
manaestras commited on
Commit
fab91ed
·
verified ·
1 Parent(s): 6fdedab

Upload README_CN.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README_CN.md +4 -1
README_CN.md CHANGED
@@ -99,9 +99,12 @@ Hunyuan-A13B采用了细粒度混合专家(Fine-grained Mixture of Experts,F
99
  你可以克隆 [`llama.cpp`](https://github.com/ggerganov/llama.cpp) 并按照其官方指南进行安装。通过下方参考代码运行推理。
100
 
101
  ```shell
102
- llama-cli -m Hunyuan-A13B-Instruct-Q4_0.gguf -p "Write a short summary of the benefits of regular exercise" -n 4096 --temp 0.7 --top-k 20 --top-p 0.8 --repeat-penalty 1.05 --no-warmup
103
  ```
104
 
 
 
 
105
 
106
  ## 联系我们
107
  如果你想给我们的研发和产品团队留言,欢迎联系我们腾讯混元LLM团队。你可以通过邮件(hunyuan_opensource@tencent.com)联系我们。
 
99
  你可以克隆 [`llama.cpp`](https://github.com/ggerganov/llama.cpp) 并按照其官方指南进行安装。通过下方参考代码运行推理。
100
 
101
  ```shell
102
+ llama-cli -hf tencent/Hunyuan-A13B-Instruct-GGUF:Q4_0 -p "Write a short summary of the benefits of regular exercise" -n 4096 temp 0.7 --top-k 20 --top-p 0.8 --repeat-penalty 1.05 --no-warmup
103
  ```
104
 
105
+ ### ollama
106
+
107
+ 未来将会支持。当前建议使用 llama.cpp 进行推理。
108
 
109
  ## 联系我们
110
  如果你想给我们的研发和产品团队留言,欢迎联系我们腾讯混元LLM团队。你可以通过邮件(hunyuan_opensource@tencent.com)联系我们。