教科文摘|任春荣:如何有效反馈教育质量监测结果
地方教育质量监测旨在改进和提升本地教育教学质量,回答学生学得怎么样、教师教得怎么样、政府管得怎么样等问题。而反馈就是将教育质量监测的数据分析结果分享给评价对象以及相关人员的一个过程,通过对数据分析结果的解释说明促进反馈对象对评价内容的理解、纠正错误,制订下一步工作学习计划并实施。但是由于认识不到位、监测设计存在缺陷、数据分析能力有限等原因,很多地方的反馈往往是开一次反馈会、给学校排排队,缺少交流互动以及跟进指导。在服务教学改进方面,反馈不看对象、不分层次,教师感到反馈信息用处不大;在服务地方教育决策方面,反馈信息与决策者的兴趣、政策重点不匹配。同时,还存在反馈报告可读性不强、反馈对象不知如何依据数据制订行动计划、反馈改进的职责分工不明确等问题。反馈决定了监测工作的影响力和影响方向,本文将从反馈是什么、反馈内容、反馈方法和原则,以及改善支持性要素的角度讨论如何做好监测结果的反馈,从而提高质量监测结果的使用效益。
对教育质量监测结果反馈要有科学的认识
反馈本质上是一个以促进学习为目的的信息分享过程,针对不同评价目标和反馈对象分享不同内容,是监测评价发挥影响力的起点。
(一)从多元责任者角度认识反馈的目的和作用
1. 反馈以促进学习为目的
从测量科学性要求的角度来看,不同的评价对象和目的应采取不同的测验设计,问责性测验要考虑评价的公平性,诊断性测验应注重问题的发现和改进。事实上,由于测验成本的限制,一个测验往往同时服务于诊断和问责。经济合作与发展组织(OECD)在对 28 个国家使用教育质量监测数据改进政策工作情况进行评估之后,建议采取综合方法将评估和评估的所有组成部分——学生评估、教师评估、学校评估、学校领导评估和教育系统评估等形成一个连贯的整体。地方教育质量监测不承担选拔任务,不论问责定位还是诊断定位,各个层面责任者即使承担的具体责任不同,但最终目的都是指向促进学生发展,监测工作中各领域的评价应围绕共同目标加强协同,增强育人工作的整体性,并降低评价负担。
当问责占据了核心位置而诊断指导不足时,学校会产生避险行为,甚至一味追求成绩;当问责不足时,又易于导致改进动力不足。因此,反馈应平衡问责和诊断的分量,既应给评价对象一定压力,也应注意尺度,那些在外界帮助下也无法改进而只能带来沮丧、抵触情绪的内容没必要反馈。传递的信息、作出的判断和营造的氛围要具有教育性和建设性,让评价对象感到有收获并具有发展动力是反馈成功的标志。
2. 反馈对象应包括所有相关群体
传统反馈对象集中于校长和教师,但影响教育质量的责任者是多元的,有学生的学习职责、家庭的教育职责、教师的教育职责、学校和政府的管理职责、教研和教师进修机构的研究指导职责,等等。有些群体可能是反馈者也可能是反馈对象,向教育系统的不同参与者提供反馈,有助于形成合力,进而改进教育教学。因此,针对不同反馈对象要有不同的侧重。
对教师来说,教师首先是反馈对象,需要了解自己的教育教学质量如何,与标准或其他教师相比存在的优缺点,了解影响学生表现的学生个人因素、家庭因素、学校管理因素等,更重要的是与教师本人有关的因素,为教师提供依据,调整对当前学生的教育教学计划,与家长和同事共同制定干预措施或者下一届学生的教育教学计划。同时,教师也是反馈者,将监测结果反馈并解释给学生,要让学生了解自己对学习内容和技能的掌握程度、在学业标准中所处的位置,验证他们的努力并指导他们未来的行动。
对于学校和政府来说,反馈是展示教育质量的重要措施和制订工作计划的依据来源,一方面判断教师教育教学绩效如何,另一方面判断学校和政府的投入与管理是否有效。
监测结果对家长的反馈常被忽视,将家长屏蔽在外会加重其焦虑情绪,从而影响教师的教育教学以及社会氛围。对家长的反馈要注意从多方面解释监测结果及其含义,最后落脚于如何帮助学生。
(二)从单向信息提供到互动共塑
传统反馈方式中,反馈对象在反馈流程中是听众角色,信息呈一个单向传递态势。将反馈看作一个教学过程,反馈者与被反馈者之间缺乏互动就变成了满堂灌,如果反馈对象没有理解反馈信息的意义,觉得与自己无关,则不会采取相应的后续行动。在抽测方式下教师和学生难以将集体表现与个人表现联系起来,尤其需要加强反馈双方的互动。
第四代教育评价理论认为,所有参与评价的人都是平等合作的伙伴,强调通过评价者与评价对象进行对话和协商并逐步达成共识。单向的反馈责任全部由反馈者承担,而互动的反馈强调责任分担,从反馈者驱动到反馈对象驱动,反馈者不仅要考虑什么信息对反馈对象是重要的,还要考虑如何让反馈对象理解和参与,反馈对象也可以提出对反馈的信息需求和反馈判断的质询。
对作为局内人的反馈对象来说,监测结果是其工作的显性化和规律探索,作为局外人的反馈者解释监测结果时应尊重反馈对象的意见。互动式反馈不是一次性的,互动过程中反馈对象可能不断挑战或丰富对监测结果的解释,也可能提出更多问题需要进一步分析数据再进行反馈。由于教育质量监测缺乏个体层面的针对性,教师和学生的改进计划需要经过多次互动才能判断其是否合理。
(三)反馈是评价发挥导向作用的关键环节
监测评价最终要进行价值判断,反馈环节是价值传播的起点,反馈信息必然要表扬好的表现并批评存在的问题。依据标准和规范实施的评价反馈,其过程也是反馈对象学习和体验标准的良机。监测评价发挥什么样的作用与如何反馈密切相关,反馈要报告分数但重点不在分数本身,而在于如何解释分数的含义以及依据分数采取的行动建议。
如果反馈不当,则有误用或者加重滥用监测结果的风险,从而打击学校和教师积极性。数据采集和分析方法的缺陷、结果的简化、解释的不充分、背景信息的不准确或被忽视、仅仅依靠单一的衡量标准等,会降低结论的科学性。反馈阶段既要深入分析、反复核对不同来源提供的定量和定性数据,斟酌反馈信息有无歧义和滥用风险,也要引导公众和所有反馈对象客观公正看待监测结果。
反馈内容的三个基本维度
教育质量监测是对教育工作的系统性体检,报告内容超出了以往学情检测的学业表现范畴,指向教育事业发展的价值观。
(一)效率维度
当前,教育质量监测效率反馈有四个方面是重点,一是学业成就水平,即学生对所测试学科的学习结果 ;二是达标情况,所测试学科有学业标准和课程标准的情况下,学生的水平是否达到了预期标准,多少学生达到合格标准、多少学生达到较高标准;三是进步情况,与同等起点的学生和学校相比进步幅度如何 ;四是发现学生学习时间和教育经费投入较少但学业表现优秀的高效能学校。
(二)教育质量维度
教育质量维度是对贯彻党的教育方针、落实课程标准和有关政策要求的情况反馈,也是对学生全面发展程度的评价。测量内容不仅包括语数英等文化学科考试,也包括体育、艺术、劳动等 ;测量维度应全面反映认知与技能、过程与方法、学科实践、情感态度和价值观等方面,以此促进深度学习和教育教学的发生,发展水平的划分应显示能力的等级。
(三)公平维度
教育质量监测不仅要反映总体发展水平,也要反映学生、学校之间的差距,尤其是弱势群体的发展水平。教育公平情况的反馈是地方教育监测反馈的软肋和敏感点,需要从几个方面入手改进 :一是抽测样本必须包含一定数量的少数群体,确保少数群体的参与率,如流动儿童、贫困生、学困生、随班就读学生等 ;二是少数群体的成绩要单独报告,反映出与总体达标率、平均水平的差距 ;三是报告均值、优秀率时还要报告校内差异、校际差异,将后 20%、10% 的学生数据单独报告,等等。
有效反馈的方法和原则
质量监测的诊断和问责作用并不是必然发生的,前提条件是反馈有效。
(一)反馈者与反馈对象要建立信任关系
只有在反馈者与反馈对象之间建立信任关系,双方才能够顺利开展反馈、对话、计划、行动等环节的有效合作。反馈者首先要阐明反馈立场,讲明反馈的目的、意义和计划,解读评价标准和规范 ;然后说明反馈对象的亮点,鼓励其坚持,感谢其付出的努力;反馈内容和问题必须是有意义、能改进的,基于反馈对象所处现实环境指出其与标准、与同伴同行的差距。问题的提出要有客观依据,也要有同理心,从理性和感性上建立反馈者与被反馈对象的合作关系。
(二)合理把握反馈的时间节点
及时反馈是一个重要的原则。反馈等待时间过长,反馈对象不仅可能忘记了评价的内容,有问题不能及时改正,还会导致问题行为固化。反馈对象本身也有可能变化。虽然以改进宏观管理为直接目标的反馈受学生和教师变化的影响很小,但也可能错过了政策制定的最佳时间节点,降低了评价的效率。因此,监测和反馈的安排应考虑时间节点的效应,反馈之后要求反馈对象制订行动计划和时间表,并在下一轮监测反馈会议上点评反馈对象上一轮监测发现问题的改进情况。
(三)坚持因材施教、因地制宜
政府工作人员、教师和校长、学生是核心反馈受众,信息传递要简单、直观、具体,要尽量用大众熟悉的语言表达,让没有统计基础的反馈对象容易理解,避免因追求统计的复杂性、创新性而忽略了信息交流的重要性。
反馈形式的选择也应考虑反馈对象的特点,可以对信息权限进行等级划分、对反馈内容加以分类,总体情况和普遍特征方面的内容可正式会议发布、集中反馈 ;与教学活动密切相关的内容在日常教研活动中持续反馈效果更好 ;涉及具体单位和人员的敏感信息应个别反馈或内部反馈 ;需要宣传和引导的信息可由媒体公开发布,等等。
反馈还应考虑最近发展区,即反馈对象面临的挑战刚好足以让他们保持专注和动力,但又不至于让他们不知所措、感觉太难而打退堂鼓。反馈者应帮助反馈对象确定下一步工作的切入点,帮助他们分析未来面临的挑战。
反馈建议要考虑反馈对象的基础,如根据学生的准备情况和学习偏好调整建议,对教师和学校的反馈也是如此。同时,对政府的建议也应考虑当地的教育和经济发展基础。
不同反馈对象即使问题表现相同也可能需要采取不同的对策。反馈不能简单指出问题表现就结束,要分析背景因素并探索原因,将监测结果转化为有针对性的政策或者行动建议。
(四)反馈关键问题与影响因素
面面俱到的反馈容易让反馈对象无所适从。一次大规模的质量监测可以发现很多问题,但反馈不能将其一一列举,可以采取逐步反馈策略,先反馈最重要的几个问题。同时,要指导反馈对象认识达到改进目标需要哪些条件。对于能力和基础较好的反馈对象反馈问题可以多一些,对于基础薄弱的反馈对象虽然其问题更多但反馈问题不宜过多。
反馈关键问题要有关系意识,即问题不是独立存在的,而是与其他因素相互关联的,从个体的、系统的内在外在因素多角度解释关键问题出现的原因。以学生的成绩为例,内在因素要看知识的衔接是否存在问题,外在看家庭和学校的影响。不仅监测指标之间是相互关联的,还有一些没有纳入监测的因素也可能影响指标表现,补充分析这些因素同样有助于提升工作计划的科学性。
反馈质量的支持性要素
(一)提高反馈参与者的评价素养
教师准备不足是有效使用监测结果的一个重要障碍。联合国教科文组织提出,增强大规模测评的可持续性应在职前和在职培训计划中帮助教师建立和获得更多关于学习评估的实践知识,提升教师在教学计划和实施中使用监测结果的能力,促进评价与课程建设和教学活动的结合。教研员、督学、教育行政领导也是常见的反馈者,提高相关人员的测评素养,让其了解大规模测评技术有助于更好地解读监测结果和论断。
(二)推动评价对象的深度参与
质量监测应满足教育决策、学校管理和教学改进的需要,这是地方监测本身具有诊断和问责的双重属性所决定的,监测评价的实施者和评价对象是解决问题的伙伴关系,按照互动共建的反馈原则,教师、各职能部门等评价对象可以在设计阶段就参与到监测工作中来。一方面,表达本职工作的信息需求,让监测能够更好地服务教育教学工作 ;另一方面,帮助评价设计者认识哪些因素和政策可能影响学生成绩,或更值得进入评价范围,明确各类因素的可控性。
(三)加强监测反馈的组织协作
评价和反馈教师队伍建设、教育管理与投入等中观、宏观层面的效应往往需要将学生成绩与教育事业发展数据、教育经费数据、教师培训数据等进行链接分析。因此,整合使用不同部门的已有数据变得非常重要。有些地区为各部门建立了统一的数据平台,尽可能发现更多的学生和学校表现的解释变量,为有关部门改进工作提供可靠依据。不同届别管理者之间的合作也非常重要,为保障反馈能够有效评价教育质量的发展变化和政策影响,新官应尊重旧事,保障反映教育规律的基础性指标和测量方法在一定程度的稳定。
应明确各部门之间的横向分工和协作。督导部门全面负责反馈的统筹,把改进效果纳入职责考核范围并在下一轮的监测中进行检验;教研部门将教师培训与监测反馈结合起来,针对监测发现的问题设立研究课题推动学校使用监测结果,都是值得尝试的做法。
(四)丰富反馈所依据的有关标准
提高反馈的效用还需要加强相关标准的研制,保障从设计、实施、评价、反馈到教学改进的科学性、一致性和连贯性,避免评价的变化导致教育教学工作的频繁改变。一是要研制和完善与课程标准相协调的学业表现标准。课程标准提供了教育质量监测的内容规范,学业表现标准是教育质量监测的能力测评基础,也是学生和学校水平划定的依据。二是根据本地情况和监测反馈内容设计多指标的预警和干预线,当某类学生或学校触碰预警线时就设定为需要帮助的对象,明确在什么程度上应该采取什么措施、谁来负责。此外,国家层面亟须出台教育测量标准,为地方教育质量监测的设计、实施提供技术规范与指导。
来源|《人民教育》2022年第7期
作者|任春荣(中国教科院教育督导评估研究所副所长、研究员)