用Python程序自制微调数据集

[KevinFanng]

Python程序读取Excel，自制微调数据集，经验证，完成微调。微调过程https://zhuanlan.zhihu.com/p/681326841
Python程序代码如下：
import pandas as pd
import json

def process_excel(file_path, output_json_file):
# 读取 Excel 文件
xls = pd.ExcelFile(file_path)

# 存储所有数据的列表
all_data = []

# 遍历每个 sheet
for sheet_name in xls.sheet_names:
    # 读取每个 sheet 中的数据
    df = pd.read_excel(xls, sheet_name, header=None)

    # 读取数据
    for index, row in df.iterrows():
        if index >= 4:
            # 读取单元格数据
            cell_value1 = row.iloc[1] if pd.notna(row.iloc[1]) else ""
            cell_value2 = row.iloc[2] if pd.notna(row.iloc[2]) else ""
            cell_value3 = row.iloc[3] if pd.notna(row.iloc[3]) else ""
            cell_value4 = row.iloc[4] if pd.notna(row.iloc[4]) else ""
            cell_value5 = row.iloc[5] if pd.notna(row.iloc[5]) else ""

            #关键代码部分
            # 组成字符串data
            content = f"安全控制点#{cell_value1}*检测项#{cell_value2}*检测结果#{cell_value3}"
            summary = f"检测问题#{cell_value4}*符合情况#{cell_value5}"
            data = {"content": content, "summary": summary}

            # 添加到列表
            all_data.append(json.dumps(data, ensure_ascii=False))

# 将列表写入 JSON 文件
with open(output_json_file, 'w', encoding='utf-8') as json_file:
    json_file.write("\n".join(all_data))

excel_file_path = '测试.xlsx' # 替换成你的 Excel 文件路径
output_json_file_path = 'train.json' # 替换成你想要保存的 JSON 文件路径

process_excel(excel_file_path, output_json_file_path)