进行P-Tuning V2微调后推理时出现的问题：ValueError: not enough values to unpack (expected 2, got 1)

[LittleGreenYuan]

Traceback (most recent call last):
  File "end_finally_test.py", line 80, in <module>
    response, history = model.chat(tokenizer,MutilTalk_Prompt,history=[])
  File "/root/miniconda3/lib/python3.8/site-packages/torch/utils/_contextlib.py", line 115, in decorate_context
    return func(*args, **kwargs)
  File "/root/.cache/huggingface/modules/transformers_modules/chatglm3-6b-32k/modeling_chatglm.py", line 1042, in chat
    response, history = self.process_response(response, history)
  File "/root/.cache/huggingface/modules/transformers_modules/chatglm3-6b-32k/modeling_chatglm.py", line 1006, in process_response
    metadata, content = response.split("\n", maxsplit=1)
ValueError: not enough values to unpack (expected 2, got 1)

所使用的是官方的微调脚本，在使用带有<|assistant|>和不带的prompt模板微调，在最新的实验中为每一次的回复添加了<|assistant|>\n，但都会在之后推理中出现该问题。

[mzh1996]

看到有人说 在代码里加一个检查 如果response里没有"\n",就 response = "\n" + response

[LittleGreenYuan]

非常感谢您的建议，我去尝试一些这种方法，同时也对微调的answer进行格式化处理~

[SherryGiii]

请问你解决了吗？

[LittleGreenYuan]

请问你解决了吗？

这种方法是可以的绕过这个错误的，
将下载模型文件夹中的modeling_chatglm.py文件，大约1006行的位置如下操作

for response in output.split("<|assistant|>"):
            metadata, content = response.split("\n", maxsplit=1)

修改成

for response in output.split("<|assistant|>"):
            if('\n' not in response):
                response = '\n'+response
            metadata, content = response.split("\n", maxsplit=1)

相当于对产生的结果进行安全判断一次，但是这种情况出现的原因仍然没办法在微调后解决，即便已经输出的文本前添加了'\n'。

[Solenyalyl]

修改完之后，下次跑的时候代码会恢复为没有安全判断的样子，该怎么办？

[Solenyalyl]

已解决，是修改modelscope文件夹下的modeling_chatglm.py，而不是衍生文件夹下的