一、评估专家线上评估工作要点
(一)线上评估目的
线上评估是新一轮审核评估方法手段的创新,体现了评估思想理念的丰富和发展。与上轮审核评估不同,新一轮审核评估增加线上评估环节,目的是充分发挥线上评估考察不受时间、空间限制的灵活优势,调动更多的国内外、业内外专家参与,拉长线上评估时间,便于专家投入更多精力,有利于专家更加全面、深入地对参评高校本科教育教学工作进行审核,为入校评估打下良好基础。
(二)线上评估任务与要求
线上评估要求专家网上认真审阅参评高校的自评报告及相关支撑材料,以“普通高等学校本科教育教学审核评估指标体系”中二级指标为基准点,结合每个指标的审核重点,做全做深、做精做细。其主要任务概括起来说:
一是划“句号”。即对线上评估支撑材料充分、能够审定的指标和审核重点,给出明确的问题和结论,入校评估时不再核查。
二是划“破折号”。即对线上评估支撑材料不足、不能明确给定结论的指标和审核重点,需要进一步补充调阅材料或开展随机暗访、线上访谈等,以便给出明确的问题和结论。
三是划“问号”。即对线上评估支撑材料和访谈过程存在疑问、不能给出明确结论的指标和审核重点,需要列出入校考察问题清单,将待核查的问题延伸到入校评估时做深度考察,以对存疑问题进行全面查证。
线上评估要注重评估的全面性。聚焦审核评估一级、二级指标和审核重点,通过阅读自评报告,系统调阅、审阅高校各类评估材料,对参评学校本科教育教学工作“全貌”进行全方位审核,查找本科教育教学存在的问题,列出明确的问题清单,并确定需要入校深入考察的存疑问题,形成专家个人线上评估意见。
线上评估要注重评估的深入性。深挖资源,运用互联网、大数据、人工智能等现代信息技术手段,充分挖掘高校自评报告、上轮评估整改报告、本科教育教学质量报告、高等教育质量监测国家数据平台等常态资源;深度问诊,通过开展线上访谈,随机实地暗访等,精准研判、找准问题,并对发现的问题进行深入分析、刨根问底,确保提出的问题切中要害、体现评估的科学性、专业性和客观性。
与上轮审核评估不同,新一轮审核评估不设定专家审核评估的“规定动作”,充分尊重专家的自由裁量权,仅规定专家应该完成的评估环节,不限定专家具体考察方式和听课、调阅材料等的数量。线上评估期间,专家是否听课、调阅学生试卷和论文,由专家组和专家视评估工作需要和高校信息化条件确定,不搞“一刀切”和强制性要求,只要专家认为做出判断和结论的依据充分即可。但对于首次参加审核评估的高校,每位专家至少要听课看课2门次,调阅2门课程的试卷及相关资料,调阅1个专业(全部或部分)学生的毕业论文(设计),并填写相应的评价表。
对于参评高校通过教育部专业认证(评估)并在有效期内,且已经申请免评的专业,专家不再评估考察。
(三)线上评估流程
1.线上评估准备
审核评估专家组包括评估专家15-21人(其中组长1人、副组长1人)、项目管理员1人、秘书1-2人。其中,第一类评估可视情况配备境外专家若干人,还可视情况另外增配青年教师1人、学生观察员1人。审核评估专家组全体成员都要参加线上评估。专家组成员接到线上评估任务并同意参加后,需要签订“承诺书”。
项目管理员要与参评高校对接,做好系统测试,核查“全国普通高等学校本科教育教学评估系统”(以下简称评估系统)中参评高校自评报告及其他材料的提交情况。
专家组全体成员要调整好自己的工作安排,确保为审核评估期间工作的顺利开展留有充足的时间,并做好线上评估工作计划和任务安排。
2.线上评估布置会
线上评估开始一周内,专家组组长负责组织召开专家组线上评估布置会,明确评估要求及时间安排,分配工作任务,提出工作要求。专家组成员根据分配的工作任务和要求,制定个人评估工作计划和任务安排。
线上评估布置会的具体形式、时长不作统一要求,由专家组组长确定。
3.研读评估材料
专家开始线上评估时,应本着客观、公正、对参评高校负责的态度,认真细致地研读参评高校和评估单位(部门)提供的有关评估材料。
(1)研读材料
包括1个《自评报告》(含支撑材料),3个教学报告即《教学状态数据分析报告》 《在校生学习体验调查报告》 《教师教学体验调查报告》,3个就业报告即《就业数据分析报告》 《毕业生跟踪调查报告》《用人单位跟踪调查报告》,简称“1+3+3”。
(2)研读要求
①要注重全面系统
围绕高校自主选择的评估类型、评估指标和审核重点,认真对照一级指标和二级指标的内涵要求,全面分析、综合诊断,审核参评高校各项教育教学工作对评估指标的达成情况。重点关注高校“该说的是否说了” “说了的是否做了” “做了的是否有效”“无效的是否改了”等,从定性和定量两个方面,深入全面了解参评高校的发展状况和教育教学工作情况,特别是对参评高校人才培养效果与培养目标的达成度、办学定位和人才培养目标与国家和区域经济社会发展需求的适应度、教师和教学资源条件的保障度、教学和质量保障体系运行的有效度、学生和社会用人单位的满意度等“五个度”进行初步判断。在此基础上,深入思考、深刻分析,为参评高校精准“画像”。
②要注重问题导向
聚焦审核指标和审核重点的内涵要求,深入查找参评高校存在的问题,列出问题清单。特别是要重点分析和找出影响学校发展和人才培养质量的根本问题、学校教育教学工作中存在但自评中没有反映的问题、上轮评估和专业认证中专家指出过但尚没有完成整改的问题。问题要明确,既不能泛化,也不能碎化;诊断要有依据,对于依据不充分、不能明确定论的问题,需要进一步通过补充调阅材料或开展随机暗访、线上访谈等给出结论;“开方”要对症,针对问题,给出精准、可行的意见建议。
③要注重发展变化
否县关注参评高校教育教学状态的变化及发展趋势情况,包括专业调整情况以及专业招生规模的变化情况,专任教师数量、教育教学经费、实验室设施条件和校内外实训基地、学生发展等状态数据的变化趋势等。通过数据对比,分析学校质量保障措施是否发挥作用。对数据变化较大的相关指标,在研读《自评报告》时,重点要看参评高校在相应指标项上具体实施了哪些积极有效的措施,或哪些政策制度没有落实到位,以此判断该信息是参评高校亮点、还是不足或者是数据失真。
④要注重个性差异
查要把参评高校放在所处的社会环境中进行综合分析,把握参评高校所处的地域和经济发展环境的特殊性和特色点、学校所背靠的行业发展状况及对学校事业发展和人才培养工作的影响,包括经费支持、教师引进、生源质量和学生就业等,关注参评高校培养目标和社会需求的契合度,人才培养对社会的贡献度,从而给出符合学校实际的审核意见和切实有效地改进建议。
(3)研读时间
专家可自行安排,不做统一规定,一般为评估开始的前3周。第4周由秘书汇总专家个人的问题清单和考察方式,整理形成专家组重点考察问题。专家组组长、副组长根据本组问题清单统筹调整专家组线上评估侧重点和考察活动。期间专家组组长视工作需要决定是否召开专家组在线工作会议。
4.线上调阅材料
专家线上调阅材料一般应相对集中于线上评估第3周。专家如需线上调阅课程大纲、课程考卷、课程评价总结材料、毕业论文(设计)等资料,要由专家组秘书汇总后形成调阅材料清单,统一向参评高校提出补充调阅需求。若参评高校不具备线上调阅材料的条件,可向专家组进行说明,专家组不强制要求参评高校提交。专家根据个人作出评估判断和结论的需要,可选择填写《试卷评价表》 《本科毕业论文(设计)评价表》。如作为问题判断依据,则专家必须填写;对于首次参加审核评估的高校,专家必须填写。
5.在线访谈座谈
专家根据评估需要,可以在线上评估第2-5周自行安排在线访谈座谈环节,通过访谈和座谈,对拿不准、看不透、仍存疑的问题和数据进行证据收集,以便做进一步的核准和验证。访谈座谈的对象包括校领导、管理人员、教师、学生等。对校领导的访谈一般可视学校的意见和校领导的时间集中安排。访谈前,专家需确定访谈座谈对象名单、日程和要求,根据访谈问题拟定访谈提纲、准备探讨性话题或设计线上调查问卷等。如果需要召开小型在线座谈会,需要控制座谈会规模,一般不超过15人。
专家需要在线访谈座谈时,需由专家组秘书提前与参评高校沟通。如果参评高校不具备在线访谈座谈条件或不便于安排在线访谈座谈环节时,而专家觉得确有必要,则可把该任务、目的和要求提交给入校评估专家组,进行实地访谈和座谈。
如能进行在线访谈和座谈,以一对一、一对多、多对一、多对多的形式由秘书通过适当方式连线访谈人员。访谈结束后,专家对访谈和座谈记录进行总结分析,及时把各种信息重新梳理,对访谈和座谈中获得的信息及时去伪存真,提炼出有价值的信息。专家可选择填写《访谈座谈工作记录表》。如作为问题判断依据,则专家必须填写。
6.线上听课看课及随机暗访
专家线上听课看课可视学校信息化条件建设情况自行安排,由秘书提前与参评高校沟通。如果参评高校不具备线上听课看课条件,专家组组长可根据需求性和必要性,就近安排1-3名专家分散入校进行实地暗访、听课看课。专家听课看课后必须填写《课堂教学评价表》。专家也可入校暗访核查核实问题。专家计划暗访听课看课,或者暗访核查核实问题,可由秘书告知学校,但不告知所选课程、核查问题和具体行程,时间一般可安排在线上评估第2-5周。青年教师专家和学生观察员如有需要可安排实地暗访。
7.专家提交个人线上评估意见
专家完成线上评估任务后,需认真撰写《专家个人线上评估意见》,并在线上评估总结会召开前提交给专家组秘书。其中在问题清单中要说明问题来源,即:是来自学校自评报告、来自学校各类数据分析报告(包括《教学状态数据分析报告》 《在校生学习体验调查报告》 《教师教学体验调查报告》 《就业数据分析报告》 《毕业生跟踪调查报告》 《用人单位跟踪调查报告》),还是专家依据研读材料、在线访谈座谈、听课看课、调阅资料、随机暗访等得出的个人基本判断。
专家组秘书收集全部专家个人线上评估意见后进行汇总,采取删减重复项、合并同类项、分解混合项、移动错位项等方法,对专家个人线上评估所提的各项问题进行梳理和整理,提交给专家组组长。
8.线上评估总结会
评估开始后的第6周,专家组组长需要组织召开线上评估总结会,全面总结专家组线上评估工作情况。会议主要内容包括:讨论确定专家组线上评估发现的问题,既要反复核查并确认线上评估已经坐实的问题,又要认真讨论并明确需要入校考察求证的存疑问题,最终形成《专家组线上评估问题汇总表》。同时还要确定入校评估专家(5-9人)。
线上评估总结会的具体形式、时间不作统一要求,由专家组组长确定。
二、评估专家入校评估工作要点
(一)入校评估目的
专家入校评估与线上评估同为评估的两个环节,相互补充,相辅相成。线上评估是入校评估的基础,入校评估是线上评估的补充与深化。专家在线上评估的基础上,入校进一步对存疑的问题进行重点求证,以形成对学校本科教育教学工作全面、客观、准确、公平、公正的评价。
(二)入校评估任务与要求
入校评估通过现场考察、实地调研、文档查阅等手段,对专家组线上审核存疑的问题进行重点求证,对参评高校人才培养的关键指标和核心要素进行重点核实,对线上无法审查的指标和考察环节以及不具备线上考察条件的关键环节进行现场核查。
入校评估要求专家首先要认真梳理、明确入校要核查的问题,精心设计问题核查的路线与方法。线上评估已经给出明确结论、划“句号”的问题,入校评估时不再核查;对线上评估支撑材料不足、不能明确给定结论,且因学校信息化条件所限,无法补充调阅材料的划“破折号”问题需入校实地核查,变“破折号”为“句号”;对线上评估支撑材料和访谈过程存在疑问的划“问号”的问题或关键指标和核心要素,需入校评估时做深度考察,全面查证,变“问号”为“句号”。入校评估要突出重点,以问题为导向,围绕重点问题开展核查工作,不面面俱到,不全面考察。
新一轮审核评估突出立德树人,增设了专家组审核立德树人负面清单的任务。因此,专家组入校后要重点核查学校党委落实教育方针、意识形态、管党治校、治学办校、立德树人根本任务的主体责任是否到位,立德树人落实制度体系是否健全,立德树人渠道模式创新是否有效,立德树人管理体制机制是否顺畅,立德树人师资队伍建设是否达标,师德师风问题频发是否整改,立德树人工作的考核评价是否存在“软、弱、碎”等七个方面的问题,重点关注有没有出现负面清单,出现了学校是否能及时发现和妥当处置。
(三)入校评估流程
1.入校评估准备
入校评估由专家组组长根据线上评估情况,从线上评估专家中确定5一9位入校评估专家,原则上应包括专家组组长或副组长、有较多存疑问题的专家,同时适当考虑入校评估任务和学校学科专业布局需要。项目管理员指定至少1名秘书入校协助专家开展工作。青年教师专家和学生观察员原则上不参加入校评估工作。
“进校前,专家组组长需制定《专家组入校评估方案》,内容包括入校考察时间、天数、环节和重点考察内容等,并就拟定的入校考察时间、天数、环节与参评高校进行商榷,取得一致意见后,安排入校评估考察。
入校评估专家需针对专家组线上评估发现问题,认真思考入校重点核查、求证的问题,以及核查的方式,制定《专家个人入校问题核查表》。
2.入校评估布置会
入校评估专家组全体成员应在正式考察前1天,按规定时间抵达参评高校,并于当天晚上召开入校评估布置会。
入校评估布置会的主要内容包括:专家组组长介绍基本情况,提出工作要求;研讨确定入校评估方案,分解落实评估任务;讨论专家组的考察环节、重点考察内容及工作模式;明确专家各自的工作计划、内容和重点。专家组组长可根据实际情况,统一协调,以保证专家既独立工作又能够相互配合。
专家制定各自的工作计划后,由秘书统计汇总后告知参评高校并协调解决安排上的冲突。
3.入校评估工作
专家入校开展的评估工作分为必做内容和环节以及选做内容和环节。
必做内容和环节:线上评估无法开展或没有进行的内容和环节;线上评估存疑问题;入校评估方案中的重点考察内容(若为首次参评高校,应将高校办学条件列入考察重点内容)和环节;按要求填写《专家个人入校问题核查表》。
选做内容和环节:评估说明会、评估意见交流会等不作统一要求,由专家组组长与参评高校协商决定是否召开、会议形式以及参加人员范围。为尊重参评高校意见,体现为高校服务,入校评估方案中没有列入的考察内容,若参评高校有需要,在评估时间和任务许可的情况下可适度安排,由专家组组长决定。
4.入校评估总结会
入校评估总结会在入校评估结束前召开,会议时间和形式由专家组组长确定。
会议内容:讨论并确定专家组入校评估的问题核查情况;综合线上评估情况确定最终的“问题清单”;讨论是否推荐“本科教育教学示范案例”,如确定推荐,专家组组长需指定推荐材料撰稿人;如学校需要召开评估意见交流会,专家组要讨论商议会上发言内容。
入校评估总结会之后,专家需提交《专家个人入校问题核查表》。