f1.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-05-15T12:41:10.476087Z",
     "start_time": "2024-05-15T12:41:10.464809Z"
    }
   },
   "outputs": [],
   "source": [
    "import re\n",
    "import string\n",
    "\n",
    "import jieba\n",
    "import difflib\n",
    "import os\n",
    "from typing import List\n",
    "from collections import Counter\n",
    "\n",
    "def normalize_answer(s):\n",
    "    \"\"\"Lower text and remove punctuation, articles and extra whitespace.\"\"\"\n",
    "\n",
    "    def remove_articles(text):\n",
    "        return re.sub(r\"\\b(a|an|the)\\b\", \" \", text)\n",
    "\n",
    "    def white_space_fix(text):\n",
    "        return \" \".join(text.split())\n",
    "\n",
    "    def remove_punc(text):\n",
    "        exclude = set(string.punctuation)\n",
    "        return \"\".join(ch for ch in text if ch not in exclude)\n",
    "\n",
    "    def lower(text):\n",
    "        return text.lower()\n",
    "\n",
    "    return white_space_fix(remove_articles(remove_punc(lower(s))))\n",
    "\n",
    "\n",
    "def normalize_zh_answer(s):\n",
    "    \"\"\"Lower text and remove punctuation, extra whitespace.\"\"\"\n",
    "\n",
    "    def white_space_fix(text):\n",
    "        return \"\".join(text.split())\n",
    "\n",
    "    def remove_punc(text):\n",
    "        cn_punctuation = \"！？｡。＂＃＄％＆＇（）＊＋，－／：；＜＝＞＠［＼］＾＿｀｛｜｝～｟｠｢｣､、〃》「」『』【】〔〕〖〗〘〙〚〛〜〝〞〟〰〾〿–—‘’‛“”„‟…‧﹏.\"\n",
    "        all_punctuation = set(string.punctuation + cn_punctuation)\n",
    "        return \"\".join(ch for ch in text if ch not in all_punctuation)\n",
    "\n",
    "    def lower(text):\n",
    "        return text.lower()\n",
    "\n",
    "    return white_space_fix(remove_punc(lower(s)))\n",
    "\n",
    "def count_score(prediction, ground_truth, **kwargs):\n",
    "    numbers = re.findall(r\"\\d+\", prediction)\n",
    "    right_num = 0\n",
    "    for number in numbers:\n",
    "        if str(number) == str(ground_truth):\n",
    "            right_num += 1\n",
    "    final_score = 0.0 if len(numbers) == 0 else right_num / len(numbers)\n",
    "    return float(final_score)\n",
    "\n",
    "def retrieval_score(prediction, ground_truth, **kwargs):\n",
    "    pattern = r'Paragraph (\\d+)'\n",
    "    matches = re.findall(pattern, ground_truth)\n",
    "    ground_truth_id = matches[0]\n",
    "    numbers = re.findall(r\"\\d+\", prediction)\n",
    "    right_num = 0\n",
    "    for number in numbers:\n",
    "        if str(number) == str(ground_truth_id):\n",
    "            right_num += 1\n",
    "    final_score = 0.0 if len(numbers) == 0 else right_num / len(numbers)\n",
    "    return float(final_score)\n",
    "\n",
    "def retrieval_zh_score(prediction, ground_truth, **kwargs):\n",
    "    pattern = r'段落(\\d+)'\n",
    "    matches = re.findall(pattern, ground_truth)\n",
    "    ground_truth_id = matches[0]\n",
    "    numbers = re.findall(r\"\\d+\", prediction)\n",
    "    right_num = 0\n",
    "    for number in numbers:\n",
    "        if str(number) == str(ground_truth_id):\n",
    "            right_num += 1\n",
    "    final_score = 0.0 if len(numbers) == 0 else right_num / len(numbers)\n",
    "    return float(final_score)\n",
    "def f1_score(prediction, ground_truth, **kwargs):\n",
    "    common = Counter(prediction) & Counter(ground_truth)\n",
    "    num_same = sum(common.values())\n",
    "    if num_same == 0:\n",
    "        return 0\n",
    "    precision = 1.0 * num_same / len(prediction)\n",
    "    recall = 1.0 * num_same / len(ground_truth)\n",
    "    f1 = (2 * precision * recall) / (precision + recall)\n",
    "    return f1\n",
    "\n",
    "def qa_f1_score(prediction, ground_truth, **kwargs):\n",
    "    normalized_prediction = normalize_answer(prediction)\n",
    "    normalized_ground_truth = normalize_answer(ground_truth)\n",
    "\n",
    "    prediction_tokens = normalized_prediction.split()\n",
    "    ground_truth_tokens = normalized_ground_truth.split()\n",
    "    return f1_score(prediction_tokens, ground_truth_tokens)\n",
    "\n",
    "\n",
    "def qa_f1_zh_score(prediction, ground_truth, **kwargs):\n",
    "    prediction_tokens = list(jieba.cut(prediction, cut_all=False))\n",
    "    ground_truth_tokens = list(jieba.cut(ground_truth, cut_all=False))\n",
    "    prediction_tokens = [normalize_zh_answer(token) for token in prediction_tokens]\n",
    "    ground_truth_tokens = [normalize_zh_answer(token) for token in ground_truth_tokens]\n",
    "    prediction_tokens = [token for token in prediction_tokens if len(token) > 0]\n",
    "    ground_truth_tokens = [token for token in ground_truth_tokens if len(token) > 0]\n",
    "    return f1_score(prediction_tokens, ground_truth_tokens)\n",
    "def scorer(predictions, answers):\n",
    "    total_score = 0.\n",
    "    for (prediction, ground_truths) in zip(predictions, answers):\n",
    "        score = 0.\n",
    "\n",
    "        for ground_truth in ground_truths:\n",
    "            score = max(score, qa_f1_score(prediction, ground_truth,))\n",
    "        total_score += score\n",
    "\n",
    "    return round(100 * total_score / len(predictions), 2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['厦门大学。', '地方财政过去五年用于社会保障支出的金额是6.5亿元。', '二审法院确定了赔偿金额为57081.86元。', '外戚庾亮的建议。', '奇力锅炉公司支付了10万元的预付款。', '10mm', '邓某因为在狱中接触到毒品，并在网络赌博中输掉近二十万元，导致一发不可收拾，最终学会了制造冰毒的技术，成为毒品贩子。', '文章主要讲了织田信长和丰臣秀吉这两位历史人物。', '在2012年，铜仁市的财政总收入增长了25.89%。', '禹在治理九州的过程中遇到了水灾的困难，经过九年的努力治水，但效果不佳，最后舜殛鯀於羽山以解决问题。', '美女姐姐、女总裁、交际花、女警花。', '许茂忠是在2014年1月23日将此案诉至法院的。', 'Brother Industries, Ltd。', '被告人王德山在2013年11月1日9时许被公安机关抓获。', '根据提供的文本内容，2018年韶关市的重点工作包括：\\n1. 经济平稳增长，固定资产投资增长5%。\\n2. 优化政务服务环境，推行“一门式一网式”政务服务模式，企业开办时间缩短至3.5个工作日。\\n3. 改善群众民生福祉，民生投入增长5.4%，居民人均可支配收入增长8%。\\n4. 实现预脱贫，6471户1.97万人脱贫。\\n5. 推进教育现代化，新增学位1.29万个。\\n6. 公立医院综合改革效果排名全省第三。\\n\\n这些是2018年韶关市的重点工作内容。', '40754.95元', '湖南省湘潭市中级人民法院', '凤凰是通过钢铁侠制造的机器将凤凰之力打散，然后附体到镭射眼等X战警身上的。', '万小霞提供的第二组证据证明了同一事实，能够互相印证。', '规档云的联系电话是021-50710282。', '黃智海居士的解釋方法有兩種：一種是解釋，另一種是釋解。', '一审判决认为郭海燕、范舒炜之间不存在真实的股权转让关系，而是股权赠与关系。', '25%', '导师培训考核采用积分制，每三学年为一轮次。每位导师每一轮次至少获得3个培训积分，同种培训方式最多只计1次。导师培训情况将与导师资格聘任及招生资格审核挂钩，并纳入导师聘期考核指标体系。', '从提供的内容中无法确定西北农林科技大学图书馆何时开始使用计算机流通管理系统。', '万小霞提供的第二组证据证明了她向相关职能部门提交了信访材料并得到了反馈意见，要求开发商为业主办理产权证的请求。', '被告人王海江的主要手段是虚构人物并通过微信与被害人联系，谎称欠款人同意替其偿还债务，并骗取被害人转账。', '教师需要对照“双师双能型”教师资格条件，于每年4月上旬向所在二级学院提出书面申请，填写《浙江科技学院“双师双能型”教师资格认定申请表》，并提交相关证明材料。然后，二级学院组织学术委员会和教学指导委员会审核申报者的材料，并形成明确的考核意见。审核通过后，学校颁发“浙江科技学院双师双能型”教师资格证书。', '2010年金华市的人均生产总值相比于2005年增加了21479元。', '3.6%', '1.12万户。', '农民人均纯收入增长13%。', '湛江的总面积是1.32万平方公里。', '湖南省', '根据上下文中提到的内容，无法确定2007年金华市的失业率是多少。', '6%', '徽州在洪武十年(1377)被降为徽县。', '2012年规划建设了28个农业产业园区。', '标准模式、悬挂模式、侧握模式、低机位模式。', '本案法院判决原告胜诉。', '产品应该放置在温度保持在10°C至35°C之间，湿度保持在20%至80%之间(无凝露)的环境中。同时，不应将产品暴露于阳光直射、温度过高、有明火、有腐蚀性气体、潮湿或多尘的环境中。产品也不应该放置在化学品附近或可能会泄漏化学品的地方。', '防城港市', '\"10\"在格网大小中代表每个格网的尺寸为10米。', '八集小花生、丁庄大菜、泗阳白酥梨、泗阳膘鸡、御珍酒、王集小团饼、新袁羊肉、穿城大饼', '钢铁项目的设备订购进展加快，全面启动炼铁系统高炉、焦化、烧结等工程，加快设备订购，并完成海域吹填，完善厂区道路、排水等设施。', '《桂林电子科技大学学生社团指导教师聘任及考核办法（试行）》的实施时间是2021年5月12日。', 'AchiveX 控件', '韩庚在2012年在MTV欧洲音乐奖上获得了全球最佳艺人奖。', '郑永涛购买的房屋位于漳平市菁××××东路（香樟美地）小区。', '2012年全市规模以上工业企业的增加值增长了70亿元，增长了21%。', '邓某经常往返公厕是因为他与吸毒人员接触密切，这些人频繁光顾公厕进行毒品交易。', '2009年全市城镇居民人均可支配收入增长了10.8%。', '清代康熙、乾隆的甲子年(即公元1684年、1744年)都曾大修。自此以后，孔氏族谱命名为《孔子世家谱》。它最后一次大修是民国十七年(公元1928年)，在曲阜孔府组成了以七十六代衍圣公孔德成任总裁的修谱筹备处，着手全国孔氏家族的合修家谱工作，历时七年，完成了现存的从孔子至七十六代近两千五百年的108卷家谱档案。家族谱是古代谱牒的一种，它记述了家族始祖源起，受姓情况，对于研究家族，特别是人物、礼俗等均有重要意义。如《孔子世家谱》中的孔子年谱、孔子姓源考等对于研究孔子的学术思想和生平事迹就具有重要的学术价值。', '为保障飞航安全，健全民航制度，符合国际民用航空标准法则，促进民用航空的发展。', '企业暂停的处理流程共有三步。', '玉溪市的旅游总收入增长了35.1%。', '浙江省的出口额增长了9.1%。', '金昌日提出的赵长山在放羊期间不尽心的主张没有得到支持。', '19.01%', '第二产业增加值增长了7.7%左右。', '墨子的基本價值取向是平等兼愛、力行和節約。', '3.2万人', '事故发生的日期是2012年6月2日。', '镇原县在元时叫镇原直隶州。', '该产品可以帮助企业掌握档案动态，通过总览企业档案管理概况，清晰了解企业各部门档案管理情况，辅助管理决策。企业管理者可以查看企业整体档案数据统计，及时了解企业档案管理情况。部门管理者可以查看部门档案数据统计，及时了解部门档案管理情况。此外，还可以洞悉企业档案利用趋势变化，定向查看企业各部门档案使用频率，了解工作动态。管理者可以根据自身需求查看和对比不同类目的档案操作情况，了解企业档案整体利用趋势，从而全局掌握企业档案动态。', '是的，陈瑜认为自己已经尽到了协调停车位的义务。', '古人根据天象预测人事，将天象与人间的吉凶祸福联系起来。例如，他们认为彗星是预兆兵灾的凶象，月亮的盈亏圆缺则被比喻为人事之聚散离合。通过对天象的观测，他们将其与人间的情感和事件联系在一起，从而进行占卜和预测。', '请访问以下网站获取购买耗材或清洁材料的联系方式：\\nhttps://imagescanner.fujitsu.com/r/ctl/21', '新增绿色食品基地的面积为120万亩。', '赵长山不同意按照劳务合同内容履行。', 'The \"营改增\" reform has achieved the following specific results:\\n1. Reduction of local taxes and fees for enterprises by 180 billion yuan.\\n2. Implementation of the reform, leading to stable growth in industrial investment, especially in the manufacturing sector.\\n3. Promotion of innovation and improvement of the quality of exports.\\n4. Creation of a regional international trade center.\\n5. Advancement of cross-border e-commerce comprehensive pilot zone construction.', '原告刘长生受伤的原因是在工作期间，因木料枝疤飞出击中左眼。', '27天。', '区域名校长的成长', '上诉人的上诉请求没有成功，应予以驳回，维持原判。', '被告向原告支付了保证金50万元。', '要进行讲义学习，可以在线阅读，也可以下载到本地进行阅读。', '郑新家述称，同意上诉人的意见。', '根据提供的上下文信息，龙门石窟包含以下景点：西山石窟、东山石窟、香山寺、白园。', '报告强调要坚持科学发展观。', '本报告从六个方面总结了工作。', '刘英在中共浙江临时省委以及浙江正式省委任职期间，具体工作包括统一领导浙江党的工作，贯彻党的统一战线政策，组织领导开展抗日斗争，颁布《浙江省战时政治纲领》，建立统战部并担任部长，推动国共合作的浙江抗日救亡运动，与国民党浙江省政府建立上层统战关系，协商有关挺进师部队改编的事宜，并在各地成立办事处和通讯处以及分发军需物资。', '150元/人（旺季：3月1日到11月30日）\\n60元/人（淡季：12月1日到2月底）', '潮热、关节痛、疲乏、发热、肿瘤局部疼痛、虚弱、肌痛、恶心、乏力、头痛、失眠、口干、低血红蛋白、食欲减退、体重减轻等。', '第83届奥斯卡金像奖最佳女主角。', '中文', '该产品在220°C的温度开始热分解。', '77.3亿美元', '成人应该按照医生的处方来服用阿诺新，通常每日一次，剂量为25毫克，餐后服用。如果同时服用细胞色素P-450 3A4诱导剂如利福平，剂量可能需要调整为50毫克每日一次。应避免与其他含雌激素的药物一起服用，因为这可能会降低阿诺新的药效。最重要的是要遵循医生的指示并定期进行复诊。', '梧州市环城高速公路的工程复杂性较高，主要体现在桥梁、隧道等工程的比例较高，需要采用一定的技术和设计标准。', '原告总共支付了419001元的房款。', '博丽灵梦的职业是博丽神社的现有巫女，负责解决在幻想乡中发生的各种异变。', '首次单独演唱会在首尔蚕室室内体育馆举行。', 'SPARC', '2018年韶关居民人均可支配收入增长了8%。', '利息应从郭海燕起诉之日2017年7月4日起计算，利率按同期银行贷款利率计算。', '4.6万户', '一审判决是由北京市通州区人民法院给出的。', '飞航是指航空器的起飞、航行、降落以及在航空站和飞行场滑行前后所需的活动。', '报废机动车在进行拆解作业之前不得侧放或倒放。', '长沙市在交通方面采取了多项措施来推动城乡融合，其中包括：\\n1. 京广、沪昆高铁在长沙“十字交汇”。\\n2. 地铁1、2号线及磁浮快线、长株潭城际铁路开通运营。\\n3. 地铁3、4、5号线加快建设，6号线启动建设。\\n4. 长韶娄、长浏等高速公路建成通车，新增高速公路153.7公里。\\n5. 新增过江通道4条。\\n6. 湘江新区综合交通枢纽、万家丽快速干道、火车南站东广场等重大基础设施建成。\\n7. 芙蓉北大道、黄兴北路、洞株公路建成通车，打通断头路瓶颈路47条。', '经济社会发展还面临着经济下行压力加大、转型任务艰巨、风险隐患不容忽视以及自身建设需要加强等困难和挑战。', '《孔子世家谱》的编修工作历时7年。', '港口货物吞吐量在\"十一五\"时期增长了2.2倍。', 'W', '附卡持卡人就其本人與附卡持卡人使用信用卡所生應付帳款之全部負清償責任。貴行對正卡持卡人依本約定條款所為之調整信用額度、拒絕授權、調整循環信用最低應繳比率或金額、暫時停用或強制停用正卡持卡人使用信用卡及貴行對正卡持卡人主張之其他權利，其效力均及於附卡持卡人。如果正卡持卡人未依約定清償時，附卡持卡人僅对附卡所生应付帐款负清偿责任。', '被告人郑术文被指控犯了盗窃罪。', 'AppStore。', '青岛市2018年举办了上海合作组织成员国元首理事会第十八次会议。', '是，该产品对环境有害。', '市的“双百工程”有246个项目正在建设中。', '腾讯教育应用平台的产品手册内容介绍。', '富兰克林·罗斯福患有脊髓灰质炎，这是因为在1921年8月，在扑灭了一场林火后，他跳进了冰冷的海水，导致这种疾病的发病。', '纪念碑的后面介绍了承平宁抗日游击根据地的历史。', '城镇登记失业率是2.94%。', '使用原装 Brother 墨盒可以取得最佳效果。', '鲁明公司成立了十五周年。', '2.13万平方公里', '嵩山少林寺武术馆每天有7个场次的武术表演，分别为上午09:30、10:30、11:30；下午14:00、15:00、16:00、17:00。', '12个农产品获得绿色食品标志使用权。', '故事发生在二十一世纪末的日本。', '文太极的女儿。', '巴斯夫是由BASF (China) Co., Ltd. 公司生产的。', '小说，短篇小说，散文。', '双击电脑屏幕右下端出现的红色字母 A，然后点击“确定”断开连接，退出客户端。', '谢震宏负主要责任。', '影像星下点的分辨率应优于5m。', '根据上下文提供的信息，本市的固定资产投资在过去五年中增长了4.4倍。', '汪涛应承担50%的赔偿责任，赵玉国应承担50%的责任。', '不适用。', '使用湿抹布擦拭本产品，但是请先从墙上插座中拔出本产品的电源插头，切勿使用液体或喷雾清洁剂清洁本产品。', '常见的错误消息有：\\n- J1:5A\\n- U5:4A\\n- U6:B4\\n- U7:B9\\n- A1:B3\\n- A3:B6\\n- A4:B8\\n- A2:B5\\n- H6:B1', '郗鉴在永嘉之乱时避难于峄山和邹山，招抚流民，抵抗石勒等部，聚集了数万人。', '原告和被告在2014年11月签订了劳动合同。', '贷款利率是10.08％。', '根据提供的上下文，清洁打印盒的步骤如下：\\n1. 关闭扫描仪。\\n2. 取出打印盒。\\n3. 轻轻擦去喷嘴金属板上过量的油墨。\\n4. 确认已擦去过量的油墨，然后再重装打印盒。', '高压变频器。', '根据上下文无法确定具体数字，建议查看完整文档以获取准确信息。', '桂阳支公司请求改判（2015）蓝法民一初字第414号民事判决书第一、二项，理由是一审判决认定事实不清。永州市分公司请求改判（2015）蓝法民一初字第414号民事判决书第一项。', '税收收入60.2亿元，增长11.3%。', '威宁彝族回族苗族自治县的气候特点是属于亚热带季风性湿润气候，四季分明，春暖风和，冬无严寒，夏无酷暑，雨量充沛，雨热同季，湿度较大，季风气候明显，无霜期长，垂直差异较大，立体气候明显。', '样本指印的提取方式包括使用专用指印捺印油墨进行提取、使用专用掌印捺印油墨进行提取、以及使用专用指印捺印提取仪进行提取。', '依西美坦。', '是的，汤三林在二审中要求补充的一节事实未被法院认可。', '这篇文章主要从经济发展、改革创新、生态环境治理、脱贫攻坚、人民生活水平提高、基础设施建设等方面对武威市的情况进行了报告。', '汉服体验等。', 'MBLAQ在韩国以《Oh Yeah》作品出道，在日本以《Your Luv》作品出道。', '陈某1没有按约定履行合同义务，未进行还款，因此其行为构成违约。', '图书馆建立了多媒体网络电子文献阅览室是在1999年4月。', '承平宁抗战纪念碑是为了纪念抗战时期在承平宁抗日游击根据地中牺牲的革命先烈而建立的。', '是的，DKVM-22U产品支持热插拔功能。', '本文作者认为刘向提倡《春秋》穀梁学，并且兼用《公羊》《左氏》二传，并非是为了取代公羊学，而是为了补充公羊学。他认为刘向兼用《公羊》《左氏》二传是出于义理上的考虑，目的并不相同，对于《左传》的使用仅仅是出于史料方面的原因。', '在贵州省的基础设施建设中，取得了以下重大突破：\\n1. 推进交通强国建设，高速公路通车里程达7607公里，高速铁路通车里程达1527公里。\\n2. 加快推进水利、能源基础设施建设，包括建成黔中水利枢纽一期工程、76个县中型水库投运、发电装机容量突破7000万千瓦等。\\n3. 大力推进新基建，包括建设一批超大型数据中心、贵州·中国南方数据中心示范基地等。', '原告的起诉请求是要求被告丹东海关承担各项损失合计42967元。', '根据提供的信息找不到梧州市环城高速公路A标段、B标段和C标段的招标控制价合计的具体数字。', '漳平市属于亚热带季风气候，中部河谷地带受海洋性季风影响，具有温热湿润的特点。冬天短暂而不严寒，夏天长而不酷热，垂直气候明显，干湿季节分明，有时会发生灾害性天气。', '至强Nocona的前端总线频率是800MHz。', '报废机动车拆解、破碎企业的建设地点应该避开城市居民区、商业区及其他环境敏感区。', '原告和被告之间的买卖合同关系是关于胶合板材料。', '根据提供的文本内容，除草剂可以保存60个月。', '原告向本院提出了被告晁国勤偿还借款本金并支付利息，以及被告李喜令承担连带保证责任的诉讼请求。', '在过去五年中，邯郸市的生产总值从2361.6亿元增加到3145.4亿元，年均增长8.6%。', '上议院领袖由首相指派产生。', '这份技术规范的实施日期是2020年08月27日。', '2.2万人。', '汉文帝采取了以下措施来利国利民：\\n1. 减省租赋，激发农民的生产积极性。\\n2. 减轻徭役，成年男子的徭役减为每三年服役一次。\\n3. 令列侯归国，减轻人民的负担。\\n4. 弛山泽之禁，开放山林川泽，促进农民的副业生产。\\n5. 废除过关用传制度，促进商品流通和经济联系。\\n6. 巩固皇权，封赏功臣和宗室，坚决镇压叛乱。', '使用前需要注意使用推荐浏览器：360极速浏览器、谷歌浏览器。', '《银河铁道999》是由松本零士创作的作品。', '奇力锅炉公司未按合同约定支付的是货款。', '监测飞灰处理过程中废水的频次应为至少每个季度1次。', '施嘉明在政府任职了近四十年。', '是的，被告王某1、刘某同意原告建行鄂尔多斯分行的诉讼请求。', '父亲在浙江临时省委任职期间贯彻了党的抗日民族统一战线政策，组织领导开展抗日斗争，专门成立了统战部，兼任统战部长。此外，他与省长黄绍�f合作，推动了制定了《浙江省战时政治纲领》并促进了抗日进步力量的发展。同时，他还与黄绍�f协商了挺进师部队改编后的相关事宜，确立了在各地设立新四军办事处和通讯处等举措。', '悉尼在澳大利亚拥有重要的经济地位，是澳大利亚和南半球最大的金融中心之一。同时也是国际主要旅游胜地，以海滩、歌剧院和港湾大桥等著名景点而闻名。悉尼也是许多跨国集团的地区总部所在地。', '1979年，水土保持研究所将图书室与资料室合并成立情报研究室。情报研究室的成立，解决了图书与情报资料工作对期刊需求上交叉的矛盾问题，统一了领导，理顺了关系，加快了各方面工作的进展。1995年，水土保持研究所情报研究室更名为情报期刊研究室。', '10%', '被告华安财险河南分公司赔偿原告的责任比例是60%。', '鄂尔多斯市在2004年的主要预期目标是：GDP增长31.4%，达到360亿元。其中一产36.8亿元，增长11.2%；二产218.2亿元，增长39%；三产105亿元，增长25.2%。其它方面的预期目标包括财政收入增长39.9%，达到40亿元，城镇居民人均可支配收入增长18%，农牧民人均纯收入增长29.4%。', '在巴基斯坦，协定中所说的国家银行是指巴基斯坦国家银行。', '5.4%', '2007年的亚洲冬季运动会在中国的长春市举行。', '81兆瓦。', '被上诉人的误工费金额是25110.7元。', '是，被告人自首。', '被告需要做以下支付义务：\\n1. 向原告返还借款本金70万元，并承担自2014年5月18日起至履行完毕之日止按年利率15%计算的利息。\\n2. 盐城市南星纺织新材料有限公司、江苏南星科技实业有限公司对上述款项承担连带清偿责任。', '曹方的首张个人音乐专辑是《黑色香水》。', '第一季共40集。', '100元。', '公共职业介绍服务的内容包括日常服务、招聘会服务和信息服务。其中，日常服务包括求职登记和岗位推荐、招聘登记和用人推荐、就业援助等；招聘会服务包括组织现场招聘会、网络招聘会、直播带岗；信息服务包括信息采集、信息发布、信息维护。', '2003年鄂尔多斯市的固定资产投资增长了97.7%。', '二审法院对汤三林的诉讼请求做出了驳回的判决，维持了原判。', '2011年8月2日。', '国家环境保护总局批准了该标准。', '电子版说明书可以从\"http://www.95105369.com\"获取。', '根据上下文，上议院中的常任上诉法官限额为12名。', '通过以下命令可以读取夹爪的夹持状态：\\n设备地址 功能代码 寄存器起始地址 寄存器内容 CRC校验码 \\n01 03（HEX） 00 41 00 01 D4 1E \\n回复：01 03 02 00 00 B8 44 \\n（00 00表示到位，0：到位，1：运动中，2：夹持，3：掉落）', '麦克斯韦建立了剑桥大学的第一个物理实验室——卡文迪许实验室。', '在过去五年中，城镇居民人均可支配收入增长了15.9%，农民人均纯收入增长了16.6%。', '全市农业发展的成果包括农业总产值达到90亿元，增长5%，实现了粮食增产，推广了甘蔗套种技术，并且种植了红金系列特色种植物等。', '在1571年，织田信长击败了富有战斗性的天台宗僧人。']\n",
      "[['厦门大学。'], ['6.5亿元。'], ['人民币57081.86元。'], ['郗鉴拒绝了外戚庾亮废王导的建议。'], ['10万元。'], ['10mm。'], ['出狱后接触到毒品并输掉大量赌资。'], ['织田信长和丰臣秀吉。'], ['2012年，铜仁市的财政总收入增长了25.89%。'], ['禹遇到了山川地势复杂、土壤贫瘠、水患频繁等问题。'], ['主人公身边陆续出现了众多美女，有邻家可人的大姐姐，冷艳高贵的女总裁，妩媚动人的交际花，还有火爆热辣的女警花。'], ['2014年1月23日。'], ['兄弟工业株式会社。'], ['2013年11月1日9时许。'], ['三大主题工作、三大重点民生和三大基础工程。'], ['40754.95元。'], ['湖南省湘潭市中级人民法院。'], ['钢铁侠制造的机器将凤凰之力打散，使凤凰附体到镭射眼身上。'], ['证明了王年方等三人与隆泉公司为挂靠关系。'], ['19901949665。'], ['一種是直接解釋，是照了經的字句，簡簡單單解釋；一種是用來根解釋，要把來根大略說幾句。'], ['没有。'], ['25%。'], ['采用积分制，每位导师每一轮次至少获得3个培训积分。'], ['1994年4月。'], ['证明了王年方等三人与隆泉公司为挂靠关系。'], ['虚构“高乐”、“赵佳”、“刘律师”、“胡建国”等人物，并以虚构人物的名义对被害人进行诈骗。'], ['在每年4月向所在二级学院提出书面申请，填写《浙江科技学院“双师双能型”教师资格认定申请表》，并提交相关证明材料。'], ['21479元。'], ['3.6%。'], ['1.12万户。'], ['13%。'], ['12471平方公里。'], ['九嶷山位于中国湖南省境内。'], ['2.9%。'], ['按年利率6%支付逾期利息。'], ['1377年。'], ['28个。'], ['包括运动延时、延时摄影、动态变焦、慢动作、视频、照片、全景拍摄和Story模式。'], ['原告胜诉。'], ['温度10°C至35°C，湿度20%至80%。'], ['防城港市。'], ['10m格网。'], ['泗阳膘鸡、御珍酒、穿城大饼、八集小花生、丁庄大菜、泗阳白酥梨、王集小团饼、新袁羊肉等。'], ['钢铁项目的设备订购正在加快进行。'], ['从公布之日起实施。'], ['AchiveX控件。'], ['韩庚于2012年在MTV欧洲音乐奖获得了全球最佳艺人奖。'], ['漳平市菁××××东路（香樟美地）小区。'], ['2012年全市规模以上工业企业的增加值增长了21%。'], ['邓某是贩毒团伙的一员，他利用公厕作为交易场所。'], ['10.8%.。'], ['8世孙，孔腾被汉高祖刘邦封为奉祀君。'], ['为保障飞航安全，健全民航制度，符合国际民用航空飞行法则，促进民用航空发展。'], ['3步。'], ['35.1%。'], ['9.1%。'], ['没有。'], ['19.01%。'], ['7.7%左右。'], ['平等兼愛、力行和節約。'], ['3.2万人。'], ['事故发生的日期是2012年6月2日。'], ['镇原直隶州。'], ['提供总览企业档案管理概况、掌握企业档案借阅流向等功能。'], ['是的，陈瑜认为自己已经尽到了协调停车位的义务。'], ['古人常用天象来预测人事，把天象与人间的吉凶祸福联系起来，如：彗星的出现被认为是预兆兵灾的凶象；月亮的盈亏圆缺被比附于人事之聚散离合。古代占星家为了用天象变化来占卜人间的吉凶祸福，还将天上星空区域与地上的州国互相对应，称作“分野”。'], ['访问网站：https://imagescanner.fujitsu.com/r/ctl/21。'], ['2013年新增绿色食品基地的面积达到30万亩。'], ['是的。'], ['全年为企业减少地方税费180亿元。'], ['刘长生受伤的原因是在工作期间，因木料枝疤飞出击中左眼。'], ['27天。'], ['论坛的主题是区域名校长的成长。'], ['没有成功。'], ['50万元。'], ['讲义学习可以在线阅读，或下载到本地阅读。'], ['原审第三人郑新家同意上诉人的意见。'], ['龙门石窟包括西山石窟、东山石窟、香山寺和白园等景点。'], ['报告强调要坚持科学发展观。'], ['6个方面。'], ['父亲担任省委书记，统一领导浙江党的工作，贯彻党的统一战线政策，组织领导开展抗日斗争；大张旗鼓地发动群众开展抗日救亡运动，成立统战部，亲自兼任统战部长，推动与国民党浙江省政府合作，推动颁布了以中共《抗日救国十大纲领》为基础制定的《浙江省战时政治纲领》，促进了抗日进步力量的发展。'], ['旺季门票价格150元/人，淡季门票60元/人。'], ['阿诺新的常见不良反应包括潮热、关节痛和疲乏等。'], ['83届和89届。'], ['中文。'], ['220 °C。'], ['77.3亿美元。'], ['每日一次，每次一片，建议餐后服用。'], ['桥梁、隧道在工程中所占比例较高，工程复杂。'], ['419001元。'], ['幻想乡境内博丽神社的的巫女，负责解决在幻想乡中发生的各种异变。'], ['首尔蚕室室内体育馆。'], ['SPARC。'], ['8%。'], ['二审法院认为从郭海燕起诉之日2017年7月4日起，利息应按同期银行贷款利率计算。'], ['4.6万户。'], ['北京市通州区人民法院。'], ['航空器的起飞、航行、降落和滑行。'], ['不可以。'], ['启动南、北横线建设，基本实现乡镇30分钟上高速，行政村、自然村100%通水泥路。'], ['鹤壁市的经济社会发展还面临着经济下行压力加大、转型任务艰巨、风险隐患不容忽视、自身建设需要加强等困难和挑战。'], ['7年。'], ['2.2倍。'], ['南北半球均为\"W\"。'], ['正卡持卡人未依規定清償時，附卡持卡人負責該附卡所生的應付帳款。'], ['盗窃罪。'], ['可以通过AppStore或文档提供的客户端链接下载MotionPro客户端。'], ['上海合作组织成员国元首理事会第十八次会议。'], ['是的，该产品对水生生物毒性极大并具有长期持续影响。'], ['市的“双百工程”有246个项目正在建设中。'], ['这段文字主要是关于状元魔方K12产品手册的内容介绍。'], ['富兰克林·罗斯福在扑灭了一场林火后，因跳进了冰冷的海水，而患上了脊髓灰质炎症。'], ['介绍了承平宁抗日游击根据地的历史。'], ['2.94%。'], ['原装Brother墨盒。'], ['鲁明公司成立了15年。'], ['2.13万平方公里。'], ['7个场次。'], ['2005年全市新增了3个农产品获得绿色食品标志使用权。'], ['故事发生在二十一世纪末的日本。'], ['文婧是文太极与佰夷族族长女儿的独生女。'], ['巴斯夫(中国)有限公司中国。'], ['意识流文学主要的作品类型为小说，但也表现在戏剧和诗歌等作品类型中。'], ['点击右上方的“注销”按钮，断开连接。'], ['谢震宏。'], ['分辨率优于5m。'], ['市的固定资产投资增长了4.4倍。'], ['根据法院的判决书，法院认定了聂红雨和于峰对事故负有同等责任。'], ['阿诺新不适用于儿童。'], ['使用柔软的无绒干抹布。'], ['常见的错误消息包括卡纸、无打印盒、背书器错误等。'], ['郗鉴避难于峄山，招抚流民，抵抗石勒等部，聚众至数万。'], ['2014年11月4日。'], ['10.08％年利率。'], ['关闭扫描仪，取出打印盒，使用无尘干布轻轻擦去喷嘴金属板上过量的油墨，重装打印盒。'], ['高压变频器。'], ['2110户。'], ['桂阳支公司：要求依法改判第一项；永州分公司：要求依法改判第一、二项。'], ['11.3%。'], ['威宁彝族回族苗族自治县属亚热带季风性湿润气候，年日照时数1812小时，年温差小，日温差大，冬暖夏凉，年降雨量较多。'], ['有滚动捺印、平面捺印和局部捺印三种。'], ['1.4-二烯-3，17-二酮-6-甲基雄烷。'], ['没有被法院认可。'], ['从经济实力提升、脱贫攻坚成就、生态环境治理、基础设施条件改善、城乡面貌改观、改革创新推进、人民生活水平提高等方面进行报告。'], ['洛阳市以汉服体验等为依托，增强游客的沉浸式体验，加快打造全国沉浸式文旅目的地。'], ['MBLAQ在韩国以作品《Oh Yeah》正式出道，在日本以作品《Your Luv》正式出道。'], ['陈某1偿还了部分借款本金及利息。'], ['1999年4月。'], ['承平宁抗日革命先烈。'], ['是的。'], ['刘向虽然提倡穀梁学，但其目的并非是为了取代公羊学，而是为了补充公羊学。'], ['开展交通建设，推进水利、能源基础设施建设，并推进新基建。'], ['要求被告赔偿各项损失共计48543元。'], ['6264.77万元。'], ['漳平市属亚热带季风气候，中部河谷地带为南亚热带气候。漳平市气候具有具有温热湿润，雨水充足，冬短无严寒，夏长无酷暑，垂直气候显著，干湿季节分明，灾害性天气时有发生等特点。'], ['800MHz。'], ['城市居民区、商业区及其他环境敏感区。'], ['胶合板材料的买卖合同。'], ['60个月。'], ['被告偿还借款及利息，享有抵押权，连带清偿责任，承担诉讼费。'], ['从2361.6亿元增长到3145.4亿元，年均增长8.6%。'], ['上议院领袖由首相指派产生。'], ['2020-08-27。'], ['2.2万人。'], ['汉文帝采取了减省租赋、减轻徭役、令列侯归国、弛山泽之禁、废除过关用传制度、入粟拜爵、躬修节俭等措施来利国利民。'], ['推荐用户使用360极速浏览器或谷歌浏览器。'], ['《银河铁道999》是由松本零士创作的作品。'], ['货款17万元及逾期利息。'], ['至少每个季度1次。'], ['施嘉明在政府任职了近40年。'], ['是的，被告王某1、刘某同意原告建行鄂尔多斯分行的诉讼请求，对起诉状中的事实和理由无异议。'], ['成立统战部，推动与国民党浙江省政府合作。'], ['悉尼是澳大利亚第一大城市，也是商业、贸易、金融、旅游和教育中心，悉尼在澳大利亚国民经济中的地位举足轻重。'], ['1979年。'], ['10%。'], ['60%。'], ['GDP增长31.4%,达到360亿元。财政收入增长39.9%，达到40亿元。城镇居民人均可支配收入8500元，增长18%，农牧民人均纯收入4000元，增长29.4%。全社会固定资产投资增长85.9%，达到252亿元。'], ['巴基斯坦国家银行。'], ['5.4%。'], ['在中国长春市举行。'], ['81兆瓦。'], ['34413.33元。'], ['是的。'], ['归还借款本金和支付利息。'], ['黑色香水。'], ['动画的第一季共有40集。'], ['100元。'], ['包括日常服务、招聘会服务、信息服务。'], ['97.7%。'], ['二审法院驳回了汤三林的上诉请求，维持了原判。'], ['2011年8月2日15时许。'], ['国家环境保护总局。'], ['http://www.95105369.com。'], ['12人。'], ['发送读取夹持状态的命令即可。'], ['卡文迪许实验室。'], ['城镇居民人均可支配收入、农民人均纯收入年均分别增长15.9%和16.6%。'], ['农业总产值达90亿元。粮食实现增产，甘蔗套种技术在全区推广。防城金花茶被评为国家地理标志保护产品，华石镇火龙果基地列入全国第七批农业标准化示范区等，农业产业化重点龙头企业达13家。'], ['天台宗。']]\n",
      "accuracy:  47.61\n"
     ]
    }
   ],
   "source": [
    "import json\n",
    "predictions, answers,inputs = [], [],[]\n",
    "dataset='multifieldqa_zh'\n",
    "# if os.path.exists(filename):\n",
    "folder='data/multifieldqa_zh'\n",
    "answer_folder='data/zh_answer'\n",
    "num=len(os.listdir(folder))\n",
    "for i in range(num):\n",
    "    file=f'data/multifieldqa_zh/output_{i}.json'\n",
    "    answer_file=f'data/zh_answer/aoutput_{i}.json'\n",
    "    if os.path.exists(file) and os.path.exists(answer_file):\n",
    "        with open(file, 'r', encoding='utf-8') as f:\n",
    "            file_data = json.load(f)\n",
    "            with open(answer_file, 'r', encoding='utf-8') as answerf:\n",
    "                answerf_data = json.load(answerf)\n",
    "                input=file_data['input']\n",
    "                answer=file_data['answers']\n",
    "                prediction=answerf_data['answer']\n",
    "                predictions.append(prediction)\n",
    "                answers.append(answer)\n",
    "print(predictions)\n",
    "print(answers)\n",
    "score = scorer(predictions, answers)\n",
    "print('accuracy: ', score)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "accuracy:  10.24\n"
     ]
    }
   ],
   "source": [
    "print('accuracy: ', score)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "import json\n",
    "# predictions, answers,inputs = [], [],[]\n",
    "def count_answer_f1(folder,answer_folder):\n",
    "    predictions, answers = [], []\n",
    "    num=len(os.listdir(folder))\n",
    "    for i in range(num):\n",
    "        file=f'{folder}/output_{i}.json'\n",
    "        answer_file=f'{answer_folder}/aoutput_{i}.json'\n",
    "        if os.path.exists(file) and os.path.exists(answer_file):\n",
    "            with open(file, 'r', encoding='utf-8') as f:\n",
    "                file_data = json.load(f)\n",
    "                with open(answer_file, 'r', encoding='utf-8') as answerf:\n",
    "                    answerf_data = json.load(answerf)\n",
    "                    input=file_data['input']\n",
    "                    answer=file_data['answers']\n",
    "                    prediction=answerf_data['answer']\n",
    "                    predictions.append(prediction)\n",
    "                    answers.append(answer)\n",
    "    score = scorer(predictions, answers)\n",
    "    return score\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "multifieldqa_en_answer_DFS_512_256 accuracy:  46.12\n",
      "-------------------\n"
     ]
    }
   ],
   "source": [
    "folders=[\n",
    "    # 'data/multifieldqa_zh',\n",
    "    #      'data/multifieldqa_zh',\n",
    "    #      'data/multifieldqa_zh',\n",
    "        # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en',\n",
    "        # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en',\n",
    "        # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en',\n",
    "        # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en',\n",
    "        # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en',\n",
    "        # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en',\n",
    "        # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en',\n",
    "        # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en',\n",
    "        # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en',\n",
    "        # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en',\n",
    "        # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en',\n",
    "        # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en',\n",
    "        # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en',\n",
    "        # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en',\n",
    "        # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en',\n",
    "        # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en',\n",
    "        # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en',\n",
    "        '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en',\n",
    "         ]\n",
    "answer_folders=[\n",
    "    # 'data/zh_answer',\n",
    "    #             'data/zh_answer_1024',\n",
    "    #             'data/zh_answer_2048',\n",
    "                # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en_bench/multifieldqa_en_answer_DFS_512_64',\n",
    "                # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en_bench/multifieldqa_en_answer_DFS_512_128',\n",
    "                # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en_bench/multifieldqa_en_answer_DFS_1024_128',\n",
    "                # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en_bench/multifieldqa_en_answer_DFS_1024_256',\n",
    "                # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en_bench/multifieldqa_en_answer_DFS_1024_512',\n",
    "                # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en_bench/multifieldqa_en_answer_DFS_2048_128',\n",
    "                # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en_bench/multifieldqa_en_answer_DFS_2048_512',\n",
    "                # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en_bench/multifieldqa_en_answer_FFS_512_64',\n",
    "                # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en_bench/multifieldqa_en_answer_FFS_512_128',\n",
    "                # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en_bench/multifieldqa_en_answer_FFS_512_256',\n",
    "                # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en_bench/multifieldqa_en_answer_FFS_1024_128',\n",
    "                # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en_bench/multifieldqa_en_answer_FFS_1024_256',\n",
    "                # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en_bench/multifieldqa_en_answer_FFS_1024_512',\n",
    "                # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en_bench/multifieldqa_en_answer_FFS_2048_256',\n",
    "                # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en_bench/multifieldqa_en_answer_FFS_2048_512',\n",
    "                # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en_bench/multifieldqa_en_answer_FFS_2048_1024',\n",
    "                # '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en_bench/multifieldqa_en_answer_DFS_2048_1024'\n",
    "                '/Users/wangyantong/Desktop/未命名文件夹 4/SW-RAG/packages/rag-ollama-multi-query/data/multifieldqa_en_bench/multifieldqa_en_answer_DFS_512_256'\n",
    "\n",
    "                ]\n",
    "for folder,answer_folder in zip(folders,answer_folders):\n",
    "    answer_dataset=answer_folder.split('/')[-1]\n",
    "    print(f'{answer_dataset} accuracy: ', count_answer_f1(folder,answer_folder))\n",
    "    print('-------------------')\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "torch",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.18"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}