chatglm-6B 如何在 Mac M2 上微调
- 可以在 m2 基于原始版本进行推理测试，但是真正执行 微调的时候，由于没有办法使用 gpu，想体验 torch.device("mps")，看起来无法执行？
我测试很多次，应该不能完成，我现在有有Google colab
google colab 免费版的应该跑不起来微调？
你用chatglm-6B-int4 来做，显存7～9G差不多了。
好的，非常感谢指导，我现在还是在mac上用 cpu 微调 chatglm-6b-int4 模型。
目前还没有报错，只是时间会长点，我的电脑是 m2 内存有 96G，用不了 gpu 加速感觉好可惜。
你微调的效果怎么养？
好的，非常感谢指导，我现在还是在mac上用 cpu 微调 chatglm-6b-int4 模型。
目前还没有报错，只是时间会长点，我的电脑是 m2 内存有 96G，用不了 gpu 加速感觉好可惜。
我的M1 MAX 64G的MEM，能RUN起来么？微调效果怎么样？
好的，非常感谢指导，我现在还是在mac上用 cpu 微调 chatglm-6b-int4 模型。
目前还没有报错，只是时间会长点，我的电脑是 m2 内存有 96G，用不了 gpu 加速感觉好可惜。
请问是如何微调chatglm6b int4模型的呢，我没有找到在mac上用cpu微调的方法
好的，非常感谢指导，我现在还是在mac上用 cpu 微调 chatglm-6b-int4 模型。
目前还没有报错，只是时间会长点，我的电脑是 m2 内存有 96G，用不了 gpu 加速感觉好可惜。
请问是如何微调chatglm6b int4模型的呢，我没有找到在mac上用cpu微调的方法
cpu 的运行方法很简单，就是微调的时候，这里的 model.half() 改成 float()
if model_args.pre_seq_len is not None:
# P-tuning v2
# model = model.half()
model = model.float()
model.transformer.prefix_encoder.float()
好的，非常感谢指导，我现在还是在mac上用 cpu 微调 chatglm-6b-int4 模型。
目前还没有报错，只是时间会长点，我的电脑是 m2 内存有 96G，用不了 gpu 加速感觉好可惜。
我的M1 MAX 64G的MEM，能RUN起来么？微调效果怎么样？
老实说，效果一般，感觉很多内容的回复没有什么效果感觉，也不知道问题出在哪里。
我测试很多次，应该不能完成，我现在有有Google colab
请问可以给一个colab环境微调的代码示例吗？目前在Tesla T4 GPU上运行量化8等级经常报错，并提示缺乏配置文件。
我测试很多次，应该不能完成，我现在有有Google colab
请问可以给一个colab环境微调的代码示例吗？目前在Tesla T4 GPU上运行量化8等级经常报错，并提示缺乏配置文件。
colab 免费的，我尝试了，run 不起来。
我测试很多次，应该不能完成，我现在有有Google colab
请问可以给一个colab环境微调的代码示例吗？目前在Tesla T4 GPU上运行量化8等级经常报错，并提示缺乏配置文件。
colab 免费的，我尝试了，run 不起来。
好的感谢。我打算买计算单元用colab pro 的A100跑
我测试很多次，应该不能完成，我现在有有Google colab
请问可以给一个colab环境微调的代码示例吗？目前在Tesla T4 GPU上运行量化8等级经常报错，并提示缺乏配置文件。
colab 免费的，我尝试了，run 不起来。
好的感谢。我打算买计算单元用colab pro 的A100跑
这个我也准备尝试的，一个月10美元，感觉还好。
我测试很多次，应该不能完成，我现在有有Google colab
请问可以给一个colab环境微调的代码示例吗？目前在Tesla T4 GPU上运行量化8等级经常报错，并提示缺乏配置文件。
colab 免费的，我尝试了，run 不起来。
好的感谢。我打算买计算单元用colab pro 的A100跑
这个我也准备尝试的，一个月10美元，感觉还好，方便加我微信 deepl12345 我们继续交流。
我测试很多次，应该不能完成，我现在有有Google colab
请问可以给一个colab环境微调的代码示例吗？目前在Tesla T4 GPU上运行量化8等级经常报错，并提示缺乏配置文件。
colab 免费的，我尝试了，run 不起来。
好的感谢。我打算买计算单元用colab pro 的A100跑
colab pro 感觉不太稳定，最近也在看可以用的云服务器商，Google coleb免费的可以用chatglm-6b-int4 模型，配置文件和模型用Google drive 上传好，可以直接加载。
我测试很多次，应该不能完成，我现在有有Google colab
请问可以给一个colab环境微调的代码示例吗？目前在Tesla T4 GPU上运行量化8等级经常报错，并提示缺乏配置文件。
colab 免费的，我尝试了，run 不起来。
可能是配置问题，用chatglm-6b-int4 模型 可以跑的
我测试很多次，应该不能完成，我现在有有Google colab
请问可以给一个colab环境微调的代码示例吗？目前在Tesla T4 GPU上运行量化8等级经常报错，并提示缺乏配置文件。
colab 免费的，我尝试了，run 不起来。
好的感谢。我打算买计算单元用colab pro 的A100跑
这个我也准备尝试的，一个月10美元，感觉还好，方便加我微信 deepl12345 我们继续交流。
我测试很多次，应该不能完成，我现在有有Google colab
请问可以给一个colab环境微调的代码示例吗？目前在Tesla T4 GPU上运行量化8等级经常报错，并提示缺乏配置文件。
colab 免费的，我尝试了，run 不起来。
好的感谢。我打算买计算单元用colab pro 的A100跑
colab pro 感觉不太稳定，最近也在看可以用的云服务器商，Google coleb免费的可以用chatglm-6b-int4 模型，配置文件和模型用Google drive 上传好，可以直接加载。
嗯，能加载推理，不能微调。
我测试很多次，应该不能完成，我现在有有Google colab
请问可以给一个colab环境微调的代码示例吗？目前在Tesla T4 GPU上运行量化8等级经常报错，并提示缺乏配置文件。
colab 免费的，我尝试了，run 不起来。
好的感谢。我打算买计算单元用colab pro 的A100跑
这个我也准备尝试的，一个月10美元，感觉还好，方便加我微信 deepl12345 我们继续交流。
我测试很多次，应该不能完成，我现在有有Google colab
请问可以给一个colab环境微调的代码示例吗？目前在Tesla T4 GPU上运行量化8等级经常报错，并提示缺乏配置文件。
colab 免费的，我尝试了，run 不起来。
好的感谢。我打算买计算单元用colab pro 的A100跑
colab pro 感觉不太稳定，最近也在看可以用的云服务器商，Google coleb免费的可以用chatglm-6b-int4 模型，配置文件和模型用Google drive 上传好，可以直接加载。
嗯，能加载推理，不能微调。
嗯嗯，是的，我也不能把微调模型和大模型同时加载，哎，可能要付费去找云商来实现了，
我测试很多次，应该不能完成，我现在有有Google colab
请问可以给一个colab环境微调的代码示例吗？目前在Tesla T4 GPU上运行量化8等级经常报错，并提示缺乏配置文件。
colab 免费的，我尝试了，run 不起来。
好的感谢。我打算买计算单元用colab pro 的A100跑
这个我也准备尝试的，一个月10美元，感觉还好，方便加我微信 deepl12345 我们继续交流。
我测试很多次，应该不能完成，我现在有有Google colab
请问可以给一个colab环境微调的代码示例吗？目前在Tesla T4 GPU上运行量化8等级经常报错，并提示缺乏配置文件。
colab 免费的，我尝试了，run 不起来。
好的感谢。我打算买计算单元用colab pro 的A100跑
colab pro 感觉不太稳定，最近也在看可以用的云服务器商，Google coleb免费的可以用chatglm-6b-int4 模型，配置文件和模型用Google drive 上传好，可以直接加载。
嗯，能加载推理，不能微调。
嗯嗯，是的，我也不能把微调模型和大模型同时加载，哎，可能要付费去找云商来实现了，
加我微信，平时也能聊聊 LLM 的事情，感觉千头万绪，特别想找些人讨论讨论。
好的，非常感谢指导，我现在还是在mac上用 cpu 微调 chatglm-6b-int4 模型。
目前还没有报错，只是时间会长点，我的电脑是 m2 内存有 96G，用不了 gpu 加速感觉好可惜。
请问是如何微调chatglm6b int4模型的呢，我没有找到在mac上用cpu微调的方法
cpu 的运行方法很简单，就是微调的时候，这里的 model.half() 改成 float()
if model_args.pre_seq_len is not None:
# P-tuning v2
# model = model.half()
model = model.float()
model.transformer.prefix_encoder.float()
请问这段代码 model = model.float() 是在 ptuning 文件夹中的 main.py 的代码吗？