李俊飞 谭顶良：增值评价中的有效反馈问题探讨
原文刊载于《中国考试》2023年第5期第29—36页。
作 者
李俊飞，南京师范大学教育科学学院在读博士生。
谭顶良，南京师范大学教育科学学院教授。
摘 要：反馈是评价的基本组成部分，有效反馈是提高评价质量、发挥评价促进教学功能的重要途径。随着我国增值评价探索的逐渐深入，在增值评价实践中如何恰当地运用评价结果的问题亟待解决，而有效的增值评价反馈有利于改善评价结果的运用。基于有效反馈理论，对目前增值评价中的反馈问题进行探讨，从增值数据特征出发，探索增值评价有效反馈的基本路径；同时，提出健全综合评价反馈、加强形成性的反馈和搭建数字化反馈平台3项措施，以提升增值评价反馈的有效性。
关键词：教育评价改革；增值评价；增值数据；有效反馈
近年来，在《深化新时代教育评价改革总体方案》的推动下，我国学者围绕增值评价的理念、技术和应用开展了诸多方面的研究，合理运用增值评价结果是其中的一项重要内容。然而，如何基于增值评价结果精准服务教育管理和教育教学，尚未形成科学、有效的机制，“重方法、轻结果”“重结论、轻运用”的问题较为突出[1]。针对增值评价结果运用的问题，有效反馈可以提供可行的解决方案。
反馈作为评价的核心部分[2]，在理论上对教、学、评三者有正向的促进作用，但在实践过程中，容易出现一些问题。相较于传统评价形式，增值评价通过增值模型可为教师与学生提供更为科学的反馈信息，但由于增值评价在理念和技术上的特殊性，诸多因素制约着有效反馈的达成，如不当的反馈内容、方式和环境等[3-4]。因此，增值评价中的有效反馈问题需要更深入的分析和探讨，为师生更好地运用增值评价结果提供参考。本文基于有效反馈理论，分析现行增值评价反馈中存在的问题，讨论利用增值数据进行评价反馈的路径，提出相应的提高效率的策略建议。
1 增值评价反馈的问题分析
目前，我国对增值评价的研究逐步深入，这对增值评价有效应用提供了重要支持。但客观而言，增值评价实践中仍存在一系列问题亟待解决，特别是评价反馈的问题常受到忽视。增值评价不同于传统的终结性评价，其过程耗时长、内容范畴广、结果形式多，容易出现低效甚至无效的评价反馈，对增值评价实践的整体效果会产生不利影响。深入分析阻碍增值评价有效反馈的问题后，归纳为以下4个方面。
首先，增值评价的信度和效度不稳定。所有的反馈都必须以某种形式的评价或判断作为先决条件[5]，可以说评价的质量影响着反馈效果。信度和效度是判断评价质量的重要指标，信度代表评价结果的稳定性和可靠性，效度则代表评价的准确性和有效性。由于数据缺失、测量误差等问题的出现，统计上的假设难以在现实的教育情境中得到验证[6]，从而导致增值评价的信度和效度不稳定。在这种情况下，师生对评价数据的信任度将会降低，反馈可能会使师生产生非预期的负面情绪[7]，从而影响反馈成效。尤其是在高风险绩效考核中，不稳定的信度和效度会使评价相关主体收到反馈后产生怀疑倾向，从而忽略甚至抵触增值评价的结果，这就有违反馈接收的积极意愿准则[8]。因此，保障评价的信度和效度是有效反馈的前提条件，而目前很多增值评价的信度和效度有待提升。
其次，反馈内容不易理解。反馈不是单向的输出，还包括反馈对象的接收。因此，师生能否准确理解反馈信息是实现有效反馈的基础。一些增值评价的反馈以书面报告形式呈现，其种类繁多、内容较为复杂，并缺少对统计方法和数据含义的充分解释[9]，从而阻碍师生准确理解反馈内容。以美国学校为例，其报告类别多样，每种报告的侧重点也不同，主要有增值报告、表现诊断报告、学生报告、学生成就预测报告等。增值报告主要描述学校或校区的总体增值结果；表现诊断报告更注重群体间的比较分析，呈现学校、教师、学生3个层次的增值情况；学生报告和学生成就预测报告侧重于学生在不同学科上的增值表现、比较和预测。另外，报告给出的反馈信息还包括增值量的判断标准和不同的增值表达形式，如百分比、标准增值分及净增值量等，报告内容可谓复杂多样[10]。然而，反馈的信息并非越多越好，需要选择精准、有效的信息，避免因冗余内容导致理解偏误，阻碍教师使用增值评价结果进行教学改革。
再次，反馈目的不明确。目的明确的反馈有利于信息传递和导向设立[11]。在评价反馈过程中，评价相关主体应达成一种目的共识，以促进师生间的有效合作。一方面，我国增值评价主要以标准化测试作为评价依据，过分依赖应试成绩，窄化了评价内容[9]，这种增值评价使反馈目的偏向高风险考核，与促进师生发展的评价理念相悖。另一方面，在发展性和形成性的评价理念下，反馈目的应是分析成因和改进教学，而实践中的评价目的却与之有所偏差，造成了评价目的在理念与实践中的分歧，这不仅会影响反馈效果，还可能使教师错失改进教学的机会[12]。因此，目前增值评价的反馈目的还不够明确，阻碍着评价相关主体间的信息传递和评价导向的设立。
最后，反馈时机滞后。反馈应当及时，尽可能在测评结束后立即开展，以保证师生及时得到近期表现的评价结果，从而进一步促进教学[13]。元分析研究也证实了及时、显性、直接的评价反馈对教学更为有效[14]。显然，恰当的反馈时机对反馈效果有着重要的影响。增值评价需要长期追踪和收集充足的纵向数据，通常耗时较长，评价结果产出较慢。此外，一些增值评价项目不仅包含学业成绩，也要测量教学的影响因素，各类因素的数据处理流程较为繁杂、专业程度较高，往往使得增值评价的反馈无法及时开展，导致反馈时机具有一定的滞后性。
2 基于增值数据的有效反馈路径
反馈本身无法对教学产生直接促进作用，需要使用适当的反馈策略使评价相关主体理解并运用评价结果来改进教学[15]。增值评价可提供丰富的反馈内容，但基于不同增值模型，增值结果在形式、内容等方面具有不同的特征，如果单一、死板地反馈增值结果，将不利于评价相关主体准确理解反馈内容。因此，亟须设计一种系统的反馈路径，保证反馈效果。而增值数据是反馈路径构建的基础，有必要对其特征进行深入分析。
2.1 不同增值模型及其数据特征
模型的建构思路和统计方法决定了增值数据的特征。随着统计技术的发展，研究者提出适配于不同场景的各类增值模型，模型采用的统计方法有所不同，因此，增值评价项目需要选择适合的模型[16]，并在模型确定的基础上，对不同增值模型的数据特征进行分析。下面选取常见的4种模型进行讨论，包括获得分数模型、多元线性回归模型、多水平回归模型和成长百分比模型。
一是获得分数模型。这是目前比较简单的一种增值模型，利用标准分差值的统计方法，将连续两次的标准化测试成绩之差作为增值量。前后测分数通过标准化处理，获得均值为0、方差为1的标准化分数集Z，使两次不同测试的结果纳入统一的衡量标尺中，公式如下：
获得分数模型以学生、班级的标准分差值作为增值结果，得到的数据相对直观、简洁，但这种增值模型只关注考试成绩，忽略了其他变量的影响，难以提取有针对性的诊断证据。
二是多元线性回归模型。其利用最小二乘法拟合方程参数，可探究不同因素对增值的影响。多元回归模型不仅可以纳入人口学因素等非教育变量，还可以分析师生特征、教学方式等因素对增值的影响[17]。随着变量逐步纳入方程，通过拟合解释率（R2）和夏普利值（shapley value）可以得到每个自变量对因变量的解释权重，进而估计模型中各变量的相对效应。回归公式如下：
其中,Yi为预测成绩，X1…Xi为初始成绩和人口学因素等变量。预测值与实际值的最小均差平方和，即为残差，代表教师效能。这种方法需要广泛的实证调查，受测量误差和缺失值等方面的影响，增值结果的精准度会有所降低，但得到的数据较为丰富，可对改进教学提供更具体的指导。
三是多水平回归模型。这是目前较为主流的增值模型，将学生前测成绩作为基线分数，前两次及以上成绩作为矫正分数，在学校、教师、学生等多个层次中输入各层相关的协变量，得到相应的效应量。以教师和学生的2水平回归模型为例进行分析，统计思路见图1。
可见，多水平回归是一种嵌套结构，上层回归系数受到下层的调节，使数据在不同层次间产生关联。在控制非教育因素的影响后，学生层系数的变化会影响教师层系数的估计。
相较获得分数模型，多水平回归模型得到的增值结果更为具体，可以同时分析不同层次的增值特征，使得每一位学生和教师分门别类地获得有价值的反馈信息。与多元回归模型相比，多水平回归模型各变量间不再是相互独立的，评价场景中的变量分层布局、相互影响，增值估计会更加准确；因此，该模型的评价结果科学性更强，但对数据的解释也更为复杂。
四是成长百分比模型。其通过建立分数位回归在以往学业水平一致的考生群体（同类学生）中进行比较来评估每个学生的进步情况[19]。分数位回归关注的是变量的全局分布，利用加权最小绝对离差和法进行参数估计，数据具有显著的标准化特征，解决了增值的“天花板”和“地板”效应问题，并可有效甄别处于平均效能附近的评价结果。该模型的统计方法要求较大的样本量，支持所有对象在百分比水平内具有可比性。成长百分比模型通常服务于大规模增值评价项目，可能难以有效甄别小规模样本的增值评价。
基于以上分析，4种增值模型的构建思路和统计方法有相似之处，也存在明显的差异。为了更加直观地比较增值数据的特点，本文从复杂性、信息量、精准度、系统性和诊断价值5个维度总结比较增值数据特征，见表1。
从表1可以看出，获得分数模型在结果精准度上更佳，对数据的解读较为简单，但诊断价值不高。基于最小二乘法的多元线性回归模型信息量较大，具有一定的诊断价值；多水平回归模型和成长百分比模型的计算方法复杂，系统性较高，可以对评价相关主体提供具体的诊断意见。后3种模型由于存在统计假设和测量误差，往往在结果精准度上有所欠缺。从整体来看，不同的增值模型得到的数据形式各异、内容多样，在构建有效增值评价反馈路径时，需要考虑增值数据的多方面特征，从而有针对性地进行设计。
2.2 增值评价有效反馈的路径
增值数据为反馈提供了必要的内容，是构建增值评价有效反馈路径的前提基础。依据增值数据的各个特征，有效增值评价反馈需要整体统筹、局部推进，以满足反馈的全过程、多层次和重改进的要求。
学生学习通常被定义为4个阶段：生成初始经验、反思性观察、形成概念和主动试验[20]。在传统认识中，反馈是第二个阶段的产物，但由于增值数据需追踪学生发展的全过程，因此，生成初始经验、形成概念和主动试验均可以被纳入增值评价反馈系统。可见，增值评价的有效反馈贯穿于整个教学过程，反馈路径的设计应体现出系统性特点。结合增值数据的分析结果，本文提出其有效反馈的路径系统，见图2。系统是由分析、报告和使用3个部分构成。
首先，增值数据的分析。准确分析增值数据是一项前提性工作，分析的科学性决定了后期报告的效果，这个过程由分类、整合、解释和评估4个环节组成。分类是指依据模型类别或师生特点等，将总体的数据集合理地分为若干部分；整合是指在不同学校、学科或年级的数据集中提取具有类似特征的样本。分类与整合能够保障数据的结构性，为下一步的解释和评估奠定基础。解释是分析增值数据的关键，妥善解释不同模型的统计方法和增值含义有助于评价相关主体准确理解增值数据，如获得分数模型的计算结果在统计上不考虑其他因素，对其解释可较为客观、直接；对基于回归的增值模型而言，数据内容较为复杂，解释需要用易于理解的表达方式。评估是指对数据的科学性作出判断，包括规范的数据采集和统计，如评估数据的信度和效度是否达标等，以确保后续报告的质量。
其次，增值数据的报告。报告要求具有可操作性，以保证师生可以高效地利用增值报告改进教学，涉及内容、对象、方式和时机4个方面的问题。第一，报告的内容和对象应紧密联系，报告内容会随对象的改变而做相应的调整。增值数据的报告内容主要有学业增值、教学效能和教学管理3个层面，对象则可包括学生、家长、教师和学校等。学生主要接收学业增值数据，了解自身在所处班级和学校的增值情况；家长可接收学业增值、教学效能的数据，辅助家庭教育的开展，部分参与学校治理的家长委员会成员可接收教学管理层面的数据，为家庭与学校协作提供决策参考；教师和学校尽可能全面地获得增值评价的各项结果，促进自身教学质量的提升。第二，报告增值数据的方式要灵活。目前主流的报告方式主要以书面为主，但口头报告的方式不可忽视，口头报告可以结合书面报告，以强化对反馈内容的理解。此外，口头报告还能及时地补充书面报告的内容。因此，书面和口头的报告方式应相辅相成，实现反馈效益的最大化。第三，报告增值数据的时机要恰当。增值评价需要追踪纵向数据，往往无法及时进行报告，前后测之间相隔太久可能使师生难以清晰地回顾过去的问题，因此，要准确把握报告增值数据的时机。例如，在单次成绩报告时一并附上增值结果，还可通过档案袋的形式长期追踪学生成长趋势。综上，建立一套规范的报告机制是保障反馈效果的关键，评价相关主体需要针对不同评价场景和目的，对增值数据的报告内容、对象、方式和时机作出适应性的设计考虑。
最后，增值数据的使用。该环节要体现数据使用的发展性，具体包括总结、诊断和预测3个方面的功能。总结是在整体上反映一段时间内教学的效果，是绩效考核的重要参考。增值报告所提供的客观测评结果能够为教育决策提供一定的支持。诊断是师生发现问题、解决问题和确立目标的过程[21]。增值报告的内容为教学提供改进建议，师生可依据接收到的报告，针对具体情况发现各自的缺点和优势，以此拟定下一步教学的目标，并采取行动缩小实际成就与目标之间的差距。预测是增值评价的一项独特功能，利用回归的拟合曲线在一定程度上可预测学生学业和教师教学的发展趋势，教师可结合预测结果采取相关的调整策略，改进教学管理。在增值数据的使用结束后，反思其使用过程并总结经验，进一步完善数据的分析环节，形成路径的闭环，最终建立起有效的反馈系统。
从整体来看，有效增值评价反馈的路径立足于分析、报告和使用3个关键环节，各环节紧密联系、相互促进，共同确立科学性、可操作性及发展性的目标。在实际应用中，结合不同增值模型、评价对象、反馈目的等方面的特征，还应建立起程序化、规范化的流程，实现基于增值数据的有效反馈。
3 提升增值评价反馈有效性的措施建议
路径的确立为增值评价的有效反馈提供了可行的操作框架，如何更好地提升反馈效果仍是目前面临的主要问题。本文提出，健全综合评价反馈、加强形成性的反馈和搭建数字化反馈平台3项措施，以提升增值评价反馈的有效性。
3.1 健全综合评价反馈
由于增值评价存在信度和效度不稳定的问题，其反馈需要结合多方面的信息，以提升增值评价反馈的可靠性和有效性。健全综合评价反馈主要表现为组合测评结果、丰富反馈内容和搭配多种形式3个方面。组合测评结果是指增值评价的结果需要与其相关的多个测评结果相结合，通过补充其他评价要素，提升结果的可靠性和有效性，并为评价反馈提供更全面的内容，如语文学科的增值反馈可辅之阅读、写作素养的测评。也就是说，增值评价不应该仅限于学业成绩，也要结合核心素养、心理认知等其他方面的内容。随着测评的数据维度不断增加，评价结果的可靠性也会随之提升[22]。丰富反馈内容指增值评价反馈不仅要报告增值量，也要反映评价群体内的特点，有针对性地进行拓展，如不同增值模型和不同学科、年级的评价结果等。搭配多种形式主要体现在反馈主客体间的沟通协作中，结合口头与书面报告、量化与质性报告、文字与可视化报告的形式，达到相互补充、共同促进的效果。综合评价反馈在提高信度和效度的同时，还能够兼顾增值评价在绩效考核和诊断改进方面的需求，缓解应试与全面发展之间的矛盾。
3.2 加强形成性的反馈
一些增值评价的反馈内容复杂多样、不易理解，在反馈过程中，需要不断跟进和调整反馈的策略。形成性的反馈是一个信息再输入的过程，将评价结果返回至输入端，以前期经验调整反馈策略，进而提升反馈成效。一方面，基于增值评价理念，学生和教师的发展应是动态的，对其反馈需要遵循连续性和过程性的要求：将反馈贯穿于整个评价过程，使各个阶段的数据持续不断地反馈给师生，实现从终结性到形成性的转变。另一方面，利用形成性的反馈方法，在增值数据反馈的分析、报告和使用环节，不断调整反馈的内容、方式和时机，由浅入深，循序渐进，实现高效的评价反馈。
3.3 搭建数字化反馈平台
增值数据收集需要长期追踪，过程较复杂，这导致增值评价的反馈时机相对滞后，亟须采取现代化技术手段提高反馈效率。搭建数字化反馈平台是提高反馈效率的可行办法，可以通过线上系统有针对性地显示师生的增值情况，自动追踪形成学生学习和教师教学的过程性数据。目前，一些数字化反馈平台存在只能提供终结性反馈、重视量化分析忽略经验转化、访问流程复杂等问题[23]，不符合增值评价及时、有效反馈的要求。为提高反馈的精准度和效率，增值评价的数字化反馈平台可以融合数据收集、测评监控、数据运算、结果报告、实时干预等功能，采取网络交付形式，使评价相关主体便捷、高效地获取有用信息。此外，借助数字化反馈平台还可以为不同对象群体提供针对性的反馈内容，如为不同学科、学段或背景特征的学生提供改进建议，实现以增值数据为依据的因材施教。最后，基于大数据支持，增值模型可利用人工神经网络等机器学习算法提升其包容性和精准度[24]，为搭建增值评价数字化反馈平台提供技术保障。增值评价在数字化平台的辅助下可以改善反馈时机滞后的问题，提升反馈效率。
目前，我国有关增值评价基本理念和技术模型上的研究已取得一定的进展，为实现增值评价有效反馈打下了基础。未来，结合增值评价实践的需要，可利用适当的反馈策略拓展增值评价的功能，以有效反馈为视角进行更多的本土化探索。
参考文献：（略）
版权声明：文章选自《中国考试》，版权归属于原作者，如有侵权，联系删除。