侯杰泰：大型教育监测：误解与启示

摘　要：面向多地区多种群的大型教育监测可对各地教育情况进行有效比较。基于对参与学生能力国际评估项目（PISA）中各经济体测评与调查结果的分析，探讨东西方教育几个颇具启发意义的问题，结果发现：1）一些亚洲经济体靠“背诵”学习的学生的百分比较西方经济体要低，亚洲学生偏离好的学习原则、只懂背诵的传统看法并不符合事实；2）学生的科学成绩高低并不能决定其对未来从事科技类工作的兴趣程度，中国学生虽然PISA科学成绩卓越，但其对未来从事科技类工作兴趣不大；3）内在动机高有利于提高学生的学习成绩，外在工具性动机对西方学生的学习成绩并无帮助，但是可以帮助缺乏内在动机的亚洲学生提高其学习成绩；4）相较于西方学校之间的成绩差异较小、学校内部不同社会经济地位学生之间水平差距较大的现象，亚洲很多地区的学校则反之，为反映某一地区教育系统的学生差异，计算校内差异+学校间差异的总和更为科学；5）从参测地区学生10余年来的PISA成绩看，整体上使用信息科技工具较多地区的学生成绩不升反降，使用信息科技工具较少地区的学生成绩反而上升更多，为此需要探索如何善用科技以赋能教学和学习。除关注监测内容及结果外，也要对监测时采用的问卷调查工具进一步反思和改进，以便更好地用实证数据推动未来教育的发展。

关键词：教育监测；PISA；问卷调查；学生能力评估

对于研究收集到的数据，研究者会将不同类型的学生、学校、教育系统进行比较，这样才能更有效地解读结果。比如要研究女生的认知特点，不能只在女校做研究，否则就无法得知所得结果是女生特有的认知特点，还是男女生共有的认知一直备受重视。

由经济合作与发展组织（OECD）主持的学生能力国际评估项目（PISA），自2000年开始，每三年举办一次，是全球最受关注的教育监测项目。在2018年的PISA测评中，全球共79个国家/地区参加，其中几个重要国家/地区的数学和科学成绩如下：中国京沪苏浙591分、590分，新加坡569分、551分，英国502分、505分，美国478分、502分，澳大利亚491分、503分，芬兰507分、522分^[1]。芬兰曾被认为有着世界上最好的教育系统，不过芬兰从2006年起，PISA成绩开始下滑，且尚未有逆转迹象^[2]；此外，芬兰在教育均等方面表现并不突出，高社会经济地位（SES）学生的成绩远高于低社会经济地位学生的成绩，女生的平均成绩远高于男生（差距达52分），是参与PISA测评的所有经济体中男女生成绩差异比较大的。亚洲的很多国家/地区，如新加坡、日本、中国京沪苏浙、中国澳门、中国香港近年在PISA测试中表现卓越，特别是中国京沪苏浙的学生在2018年科学及数学测评中的表现尤为突出。一些学者的观察及研究认为，PISA的数学试题偏容易，本来是给世界各地15岁学生出的试题，其难度只达到中国的小学水平^[3-4]。

本文基于PISA测试数据分析，探讨几个颇具启发意义的问题，包括学习方法对学生成绩的影响、学生是否有兴趣从事科技方面的工作、教育保底工作是否具有成效、信息科技对推动教育是否有显而易见的作用。在此基础上，反思教育监测的局限、重点及未来方向。

人们普遍认为，靠背诵学习只能培养学生解决简单问题的能力；只有侧重深入分析理解，才能培养他们解决复杂问题的能力。2012年，PISA测评调查15岁学生是使用“死记硬背”“重视练习”（简称“背诵”），还是使用“连结不同学习点”“找出重点”的策略学习数学^[5]。研究结果显示，一些亚洲经济体靠背诵学习的学生比例较西方经济体要低，具体来说：越南5%，中国香港10%，日本12.5%，中国澳门15%，韩国17%，新加坡22%，中国上海25%；而加拿大26%，爱尔兰28%，美国29%，澳大利亚35%，新西兰35%，英国37%。由此可见，亚洲学生偏离好的学习原则、只懂背诵的看法并不符合事实^[6]。

分析显示，与一般学习理论相符，较少使用“背诵”策略的学生具有更高的数学自信心、对数学更有学习兴趣、学业焦虑较低，这些学生更有能力解决深奥的数学问题^[6]。OECD在总结PISA2012测评结果时指出，在一些学习范畴，背诵能顺畅地解决问题、降低焦虑，年幼时的背诵令学生对数字更敏感，有助于学生应付日后复杂的数学问题^[6]。英美近年不断地争论是否要让学生背诵“九九乘法表”，也反映了针对一个特定学科，最好的学习路径是甚为复杂的议题，公众浅表化的讨论往往主观且武断^[7]。

当今世界，科学研究及其相关工作极为重要，建设科技强国是我国政府对青年一代的期望，希望有更多的学生未来有志于从事科技方面的工作。由于科技与生活越来越密不可分，我们猜测会有越来越多的学生喜欢参与科学工作。

PISA测试曾多次在问卷调查中询问15岁左右的学生在30岁时会做什么工作。当然，学生会考虑自己的能力、兴趣、就业市场及未来就业需求等因素作出决定。研究结果显示：一些西方经济体如美国，有38.1%的学生期望30岁时参与科技工作，加拿大和英国的这一数据分别为32.9%、28.6%^[8]，但这些国家的学生PISA科学成绩并不突出；与之相反，一些国家的学生PISA科学成绩较高，但他们期望参与科技方面工作的意愿偏低，如芬兰（16.9%）、日本（18.2%）、中国四省市（2015年京沪苏粤18.6%，2018年京沪苏22.6%）、韩国（19.3%）、中国澳门（20.9%）、中国香港（23.8%）。更为有趣的是，美国、加拿大、英国的女生，科学成绩较低的学生，甚至对科技兴趣不高的学生，也认为自己未来会从事科技方面的工作，这些学生也更相信拥有科技知识和能力会帮助他们日后升学或就业。

在较少学生期望从事科技工作的亚洲地区，学生也普遍表现出对科学方面的兴趣相对较低，同时，他们不认为科技能力对日后工作或升学有用。令人诧异的是，虽然中国京沪苏粤的学生科学成绩卓越、对科学科目的兴趣不低，也认为科学对日后工作及升学重要，但愿意在30岁参与科技工作的人数并不多。相对而言，中国京沪苏浙的学生，期望从商的人数较多，特别是期望从事教育工作的人数相对颇多，且有上升趋势。通过分析教育大数据，我们得以了解当前青年人的想法^[9]。

总体而言，学生在PISA科学上的成绩并不与其期望从事科技方面的工作相一致，反而是认为科学对就业或升学重要的学生更希望从事科技方面的工作，这个因素比学生对科学的内在兴趣及认同科学方法等更能决定学生未来的就业取向。

针对我国学生对科技类工作兴趣不高的情况，应该对学生进行积极引导，使他们相信“人人可参与科技方面的工作”至为重要；对于“科技工作是男生、科学成绩好、高社会经济地位的学生才能参加的工作”的认识，需要向学生指出这些想法存在的局限性。

多年教育监测的数据及研究可以帮助我们不断改进教育监测的分析方法，甚至对一些教育及心理等基础概念有新的认识。

首先，跨不同学习环境和地区的比较不一定很准确。如果一个认为自己非常勤奋的西方学生来到亚洲，他看到亚洲学生的勤奋努力后，可能会对勤奋的标准有重新的判断。因此，不同文化和学习环境的学生之间作比较，不应该直接使用均值。从数据分析的角度，我们应该先在地区内找到变量之间的关系（如兴趣与成绩的关系），再比较不同地区之间这些关系的差别，这样得出的结论比直接比较不同地区之间的均值更有意义。

其次，很多人认为内在动机（即对某一事物很有兴趣）有助于提高学习热情及成绩，而外在工具性动机（如学习有助于今后找到好的工作，对升学有帮助）可能对学习有害。PISA测评及其他一些数据显示，内在兴趣高的学生成绩确实比较好^[10-11]。至于工具性动机，它对西方学生的成绩并无帮助；但对缺乏内在动机的亚洲学生而言，高工具性动机（相信学习能帮助升学及日后找到好工作）可以促进学生取得更好的成绩。上述东西文化差异的比较结果，是通过先分析动机与成绩在每个地区的关系，然后再比较这些关系在不同地区的差别得到的。这种比较考虑到不同地区学习和社会环境的差异，往往更有意义。

在教育领域，我们常提及“拔尖”和“保底”，由于多数人更注重“拔尖”工作，所以“保底”工作经常被忽略。教育监测可以让我们了解教育“保底”工作的成效。

在教育领域，“卓越”与“均等”是常用的监测指标。前者一般用某单位（如学校、城镇）的分数均值来衡量，后者是指不同社会经济背景中学生的分数差异很小，也可以用每所学校内分数的差异作为指标。对某一学校来说，除了提升学校分数均值外，还要关注低分且能力欠佳的学生。如果学校有一些学生的成绩相对较差，那么学校分数的方差（差异）会相对较大，也就意味着教育“保底”不成功，而这些成绩较差的学生通常是校内社会经济地位较低的学生。

在PISA2018的研究中，OECD将参与测试国家/地区的学生总成绩方差定为100^[1]，具体研究分析见表1。在校间成绩方差方面：芬兰的学校之间成绩差异最小，可以理解为芬兰没有名校，也没有成绩很差的学校；爱沙尼亚、英国、美国等国家/地区，学校间差别也比较小；相对而言，日本、新加坡、中国香港的学校之间的成绩差异较大。在校内成绩方差方面：美国、芬兰、英国、新加坡的差异较大，一方面说明学校能有教无类，招收不同能力的学生；另一方面也要求学校加强个别学生辅导，以帮助校内不同能力的学生都能追上；相对而言，中国京沪苏浙、中国澳门、日本做得比较好，同一所学校的学生水平差距不大。

基于上述分析，为反映某一地区教育系统的学生差异，计算校内差异+学校间差异的总和更为科学。表1显示，中国京沪苏浙、中国澳门、爱沙尼亚的学校教育“保底”做得相对比较好，学生间差异不严重。卓越（分数均值高）、均等（高低社会经济地位的学生成绩相当，男女生成绩差别不大）、教育“保底”（学生分数差异／方差低）等，都是了解教育系统特性的重要指标。为深入地了解不同教育系统的特点，需要采用多个指标，并与不同地区做更多比较。

20世纪90年代末，在微电脑进入学校后，当时社交媒体及网上搜寻工具等尚未出现，但教育界已经开始试行及推动将信息科技用于教育。PISA在2015年基于10多年的学生能力表现数据，比较信息科技使用较多与使用较少的两类学生的表现，研究显示：丹麦、荷兰、挪威、西班牙、新西兰、瑞典等国家/地区的学生在学校使用信息科技工具较多，在家也经常使用；韩国、日本、新加坡等国家/地区的学生在学校和家里使用信息科技工具都较少。从上述国家/地区10余年的PISA成绩看：整体上使用信息科技工具较多的国家/地区，学生成绩不升反降；使用信息科技工具较少的国家/地区，学生成绩反而上升更多。

为什么信息科技工具没有提升学习效果？这当然有不同解释：一种解释是，我们使用了符合世界发展趋势的新科技，但面对传统古旧的学习内容，新科技发挥不了它们的功能；另一种解释是，新科技确实增加了一点学习趣味（如声音、画面、互动等），但它对深入了解学习内容的帮助并不大，学生反而因为浪费更多时间玩电脑游戏而导致成绩下滑。

信息科技改变了人们的生活，我们不可能不用信息科技于教学；但我们至今所采用的方法，可能仍有很多局限。我们要小心谨慎，因为很多现行的方法可能没有实效，需要在实践中不断总结经验，探索怎么样善用科技以赋能教学和学习。

在数字时代，善用大数据监测教育质量，是世界上几乎所有教育部门都在进行的工作，以便推出合适的教育政策和干预措施。略具规模的教育监测系统在测试的同时，都使用了学生问卷等工具，因为评估出谁的成绩更好，解决不了根本问题，只有配合使用问卷，了解分析不同的教育系统（地区、学校）表现优劣的根源，才能有针对性地加以改进。

在这类研究计划初期，问卷关注的内容大都颇具学术性，如动机、自信、焦虑^[11-16]。随着时代的发展和进步，问卷收集的内容应更契合时代特点，大型教育监测的思路及内容也应随之改变，比如对一些公众关系的社会议题（如网络成瘾、网络霸凌）进行调研，并借此推动教育改革。大型教育监测的研究较多关注高层次系统性的问题（如地区学生课外活动的多寡），而不是某个学校个别教师的教学能力。近几年，诸如学生上学所用时间、父母每月付多少课外活动家教费用等问题，也进入监测问卷。

虽然教育及学习心理学不断出现新的学术概念，比如自我调控、元认知、创业素养等^[17]；但我们依然不应忽略对一些基本因素的调查，比如早餐习惯（对成绩效应量常达0.5，一般教育改进只是0.2或0.3）、视力（调查学童是否有足够的户外活动，让阳光刺激视网膜释放多巴胺抑制眼轴增长，以预防近视）、运动习惯、睡眠时间等。问卷内容紧贴时代关注的课题固然重要，但青少年的身体健康是情绪、动机等心理因素的物质基础，不可忽略。我们需要关注德智体美劳，回到全人的教育^[18]。

关于问卷的使用，由于问卷由学生、教师自己填答，容易猜测怎样答较佳，所以这类问题只能用于低风险的评估计划。只要学生有可能受计划内被监测单位（比如学校）的影响而依据较佳方向回答，整个计划就会失效，研究结果也将失去指导作用。相对而言，学业测试因为有监考人员而可以减少学生作弊，但问卷研究很难避免学生虚假作答。

教育研究者往往有兴趣了解教师教学法如何影响学生学习及成绩（如探究式教学能否提高学生成绩）；但这类研究的困难在于，学生成绩是过去10多年教师和家长共同影响下的成果，教师某一学年的教学法对学生成绩影响有限。因此，这类问卷得出的结论存在比较严重的局限性。因为大部分学生只有在一所学校、一种文化背景下的学习经验，所以只能与同班同学作比较，这也令很多类似题目在用于跨校、跨地区比较时的表现差强人意。从统计学的角度来说，数据的跨校、跨地区方差（差异）通常较低，因此必须采用较为复杂的统计分析方法进行分析。

鉴于上述原因，建议将传统心理学问卷中常用的Likert量表改为信息及行为类问题，以获得学生更加具体和丰富的作答信息。例如，将Likert五点量表的问题“你经常吃早餐吗？”改为“你一个星期有多少天吃早餐？”。

大型教育监测提供可比较的数据，令我们更深入地了解各个教育系统的强弱，得以有针对性地加以改进。多年的监测数据也对传统设计及思路提出挑战，并提醒我们留意一些更需关注的议题。在研究过程中，我们亦应该对研究方法有所反思，并谋求改进，未来仍需要大家共同努力，通过探索、实践、分析，再作改进，以更好地用实证数据推动教育的改革与发展。