update readme
Browse files
README.md
CHANGED
|
@@ -7,9 +7,9 @@ tags:
|
|
| 7 |
- chatglm
|
| 8 |
- thudm
|
| 9 |
---
|
| 10 |
-
# ChatGLM-6B
|
| 11 |
## 介绍
|
| 12 |
-
ChatGLM-6B-INT4-Slim是在ChatGLM-6B-INT4的基础上通过裁剪词表构建的。因为ChatGLM-6B使用了icetk，在其词表中，前20000个token是预留给图片的，在文本模型中没有用到这些图片token，但是在infer和微调的时候，这些token对应的embedding依然需要被加载，并且在解码每一个token的时候需要多计算20K个logits，会占用不少显存。因此将这一部分token裁剪掉以节省显存。
|
| 13 |
|
| 14 |
除了词表外，ChatGLM-6B-INT4-Slim的其他结构与ChatGLM-6B-INT4完全一致，性能也完全一样，可以认为是ChatGLM-6B-INT4的一个低显存版等价平替。
|
| 15 |
|
|
|
|
| 7 |
- chatglm
|
| 8 |
- thudm
|
| 9 |
---
|
| 10 |
+
# ChatGLM-6B-INT4-Slim: 低显存版ChatGLM-6B-INT4
|
| 11 |
## 介绍
|
| 12 |
+
ChatGLM-6B-INT4-Slim是在[ChatGLM-6B-INT4](https://huggingface.co/THUDM/chatglm-6b-int4)的基础上通过裁剪词表构建的。因为ChatGLM-6B使用了icetk，在其词表中，前20000个token是预留给图片的，在文本模型中没有用到这些图片token，但是在infer和微调的时候，这些token对应的embedding依然需要被加载，并且在解码每一个token的时候需要多计算20K个logits，会占用不少显存。因此将这一部分token裁剪掉以节省显存。
|
| 13 |
|
| 14 |
除了词表外，ChatGLM-6B-INT4-Slim的其他结构与ChatGLM-6B-INT4完全一致，性能也完全一样，可以认为是ChatGLM-6B-INT4的一个低显存版等价平替。
|
| 15 |
|