高鑫 沈光辉：学校STEAM教育质量测评框架构建研究
原文刊载于《中国考试》2023年第6期第58—66页。
作 者
高鑫，浙江师范大学教育学院讲师。
沈光辉，江苏大学教师教育学院讲师。
摘 要：学校STEAM教育发展关乎学校创新型人才培养，是实现学校高质量发展的重要切入点。在已有研究基础上，厘清学校STEAM教育质量内涵，根据学校STEAM教育质量测评理论，采用半结构化访谈、德尔菲法、问卷调查等方法，构建了包括背景基础、资源条件、过程实践、质量效益4个一级维度和13个二级维度在内的学校STEAM教育质量测评框架，并初步验证了测评框架的科学性。教育质量测评框架的构建有利于全面评价学校STEAM教育发展状况，促进STEAM教育质量提升。
关键词：学校STEAM；STEAM教育质量；测评框架；教育质量监测
0 引言
教育是国家发展的基石。党的十九届五中全会审议通过《中共中央关于制定国民经济和社会发展第十四个五年规划和二〇三五年远景目标的建议》，明确提出建设高质量教育体系的目标[1]。作为影响学生成长与发展的重要场域，学校对高质量教育体系举足轻重；学校高质量发展也对其教育要素提出了新的要求和期待。STEAM教育作为学校教育的组成部分，是学校促进综合型、实践型、创新型人才培养的重要方式[2]，是学校特色建设与发展的重要支撑，也是实现学校高质量发展的重要切入点。推进学校STEAM教育的发展有助于激发学生学习STEAM的内生动力、形成STEAM教育联动育人的协同力、增强STEAM教育持续发展的推进力[3]。
2016年发布的《教育信息化“十三五”规划》明确提出要积极探索信息技术在跨学科学习（STEAM教育）等教育模式中的应用[4]。政策文件的出台掀起我国中小学STEAM教育发展探索的热潮。我国STEAM教育在借鉴国外发展经验的基础上，逐渐形成以中小学“自下而上”的自主探索为主、适合我国国情的发展道路。STEAM教育的发展离不开测评的推动，以何种方式测评、测评什么内容等成为考察STEAM教育是否有效实施的重要议题。为此，本研究在深入分析学校STEAM教育质量测评框架已有研究与相关理论的基础上，厘定学校STEAM教育质量内涵，并通过半结构化访谈、德尔菲法等研究方法构建学校STEAM教育质量测评框架，以期为后续学校STEAM教育质量测评研究奠定基础。
1 文献综述
STEAM教育是指由科学（science）、技术（technology）、工程（en-gineering）、艺术（art）、数学（mathematics）等学科共同构成的跨学科教育，是美国国家教育战略的重要指向。英国、德国、韩国、日本、澳大利亚等国家也将其纳入国家行动之中，加快推进STEAM教育成为国际教育改革与发展的重要趋势[5]。纵观国内外STEAM教育研究发展历程，国外研究经历了STEAM教育转向期、整合期和全面发展期，国内研究则经历了STEAM教育借鉴期、发展期和转型期[6]。可以看出，国内外STEAM教育发展具有同向一致性，均呈现出蓬勃发展的态势。
STEAM教育随着相关政策文件的出台、研究的深入、社会力量的推动、国际教育趋势的变化等，开始逐步深化拓展，STEAM教育测评研究也随之丰富。美国STEAM教育测评研究与美国作为STEAM教育缘起国具有阶段一致性特点，主要聚焦于能力、课程、测评方式方法等方面。例如，赫罗等为评估学生在基础教育（K-12）阶段STEAM教育活动时的协作能力，开发了协作问题解决的测量框架[7]；霍普等通过干预研究证明了STEAM课程在提高学生批判性和创造性思维能力方面的有效性[8]；哈维尔使用项目反应理论来开发、扩展和验证STEAM评估，强化学生的STEAM学习[9]。我国STEAM教育测评研究在近几年呈现上升态势，涉及范围较广，包括能力、课程、质量、教学等领域。例如，肖林等从学生主体出发，针对小学生特点，搭建了包括知识基础、情境理解、问题解决、态度倾向等在内的小学生STEAM学习能力的评价框架体系[10]；郭芬芬基于创造力培养视野，依据背景、设计、实施、效果4个维度展开STEAM课程评价[11]；李艳燕等构建了包含课堂环境、课程结构、教学内容以及学生表现等在内的评价指标体系[12]；张辉蓉等基于STEAM教育与深度学习价值取向、教育目标、教育过程的高度契合性，构建了包括学习动机、学习投入、学习结果3个维度的中小学生STEAM学习质量评价指标体系[13]；黄宁等基于我国STEAM教育发展的本土化需求，构建了涵盖教学目标评价、教学设计评价、教学评价反思3个方面在内的中小学STEAM教育评价体系[14]。韩国STEAM教育发展相对较晚，但其测评相关研究发展较为迅速。例如，金邦熙等针对教师STEAM教育教学能力，构建了由7个领域的35个项目组成的评价指标，包括学科理解、教学方法、诱导学习者参与学习、学习者的理解、学习环境和情境、学习者评价和个人资格[15]；李安健对创造力、沟通、融合、关注4个方面进行评估，形成4C-STEAM课程评估模式[16]。此外，其他国家学者也根据本国STEAM教育发展的具体实际，关注到本国STEAM教育的相关测评，如英国学者关注STEAM教育测评的课程领域评价[17]、日本学者关注本科STEAM教育质量测评[18]，等等。
学界关于STEAM教育测评的研究角度多元、内容丰富，对教育决策者了解群体STEAM能力状况，并基于证据进行教育决策有助力价值[19]。然而，当前STEAM教育测评研究大多聚焦于学生、教师，较少关注学校层面，学校STEAM教育质量测评则更为少见。学校是STEAM教育活动发生的重要场域，学校STEAM教育质量决定着STEAM教育的效果。作为衡量学校STEAM教育效果的重要方式，测评担负着为学校STEAM教育发展把脉的重任，应当加以重视。
2 学校STEAM教育质量的内涵、理论与模型基础
2.1 学校STEAM教育质量的内涵
学校STEAM教育为适应学生发展需要、教师专业需求、学校发展需要而形成和发展，意味着学校STEAM教育质量提升需要多主体共同参与。教育质量是指在符合教育规律的前提下，教育产品满足规定或潜在需要的特征和特性的总和[20]。从这个意义出发，学校STEAM教育质量在符合教育发展规律的前提下，所提供的STEAM教育产品应满足并适应不同参与主体的需要。
从学生角度而言，STEAM教育强调培养学生的创新精神和实践能力[21]，在为学生提供真实的学习情境和问题场域过程中，能够激发学生自主学习动机，促使其真正参与到教育情境中，从而加深对知识的理解，提高综合应用的能力。从教师角度而言，STEAM教育的融合性、整合性等特点要求教师注重学科融合和学生学习方式变革，具有专业性、创新性的STEAM教师是促进STEAM教育质量提升的关键因素。从学校角度而言，STEAM教育要求学校为学习者提供能够运用STEAM教育相关知识技能，解决与之有关的个人、社会或全球性问题的机会或条件[22]；学校内的教学活动与STEAM教育产生联动效应，促使二者间融合创生，推动学校整体教学质量的提升。由上述可知，STEAM教育质量依据不同主题会涉及教育基础内容、教育教学过程以及教育保障条件等方面。据此，本研究认为学校STEAM教育质量应聚焦学校开展STEAM教育的整体状况，适应学生、教师、学校的需求，综合体现在学校STEAM教育基础内容的发展、教育教学过程的优化、教育保障条件的实现及其对不同主体需求满足的程度等方面。
2.2 学校STEAM教育质量的理论与模型基础
学校STEAM教育质量具有STEAM教育发展的系统性与全面性、过程性与结果性特征。从质量发展的角度而言，学校STEAM教育质量测评以管理理论为主要理论基础，具体包括管理过程理论和全面质量管理理论。管理过程理论凸显管理的过程性，注重对管理的计划、组织、人事、领导、控制，形成对整个管理过程的监控[23]；全面质量管理则凸显管理的全面性，倡导参与的全面、过程的全面、管理要素的全面，是以质量为核心的整体性、全面性的管理[24]。两个理论对学校STEAM教育质量发展有着启发意义，对于其测评具有基础性的指导价值：管理过程理论的过程性与学校STEAM教育质量的阶段性相契合；全面质量管理理论的全面性与学校STEAM教育质量测评的整体性、系统性相契合。两个理论为STEAM教育质量测评提供了过程控制与全程监督的依据。
学校STEAM教育质量的模型基础，主要包括柯氏评估模型和CIPP评估模型。柯氏评估模型从反应层面、学习层面、行为层面和效果层面开展动态评估，形成4个不同层级，层级的重点在于通过反应、学习、行为等达到的效果考察被评估对象，具有结果导向性，也凸显评估的过程性[25]。学校STEAM教育质量是对学校开展STEAM教育状况的整体评估结果，而这一结果带有对STEAM教育实施内容的过程性监控。学校STEAM教育实施的环境、资源、学生发展等都需要以结果进行评价，针对学校STEAM教育质量中的不同层级展开测评，从而促进学校STEAM教育质量的提高。CIPP评估模型将测评由目标导向转向决策导向，在完善教育方案的同时为决策提供信息服务[26]。具体而言，CIPP评估模型将背景评价、输入评价、过程评价、结果评价纳入评价系统之中，从学校STEAM教育目标、内外环境、软硬件设施、参与主体、实施过程、实施结果等方面进行测评，是对学校STEAM教育质量的诊断性评价、形成性评价、终结性评价相统一的表现，有利于全方位、系统化地开展学校STEAM教育质量测评。同时，CIPP模型的改进服务导向主张评价是循环动态化的评价，将其应用于学校STEAM教育质量测评中能够为STEAM教育质量提供灵活、动态、可操作的测评框架。
3 学校STEAM教育质量测评体系初步构建
以学校STEAM教育质量测评相关理论为根本，采用质性与量化相结合的研究方法，面对现实需求，从学校出发，依据背景基础、资源条件、过程实践、质量效益4个维度建构新的测评体系。数据收集与分析工作主要分为以下3层：首先，对STEAM相关人员开展半结构化访谈以析取测评指标；其次，开展两轮问卷调查，向STEAM领域专家咨询对前述指标的意见与建议，优化测评框架；最后，向STEAM教师和研究人员调查对前述框架的认同度，最终确定初步构建的学校STEAM教育质量测评体系。
3.1 指标析取
选取重庆、四川、广东、浙江、湖南等地STEAM教育领域共52名参与过相关研究的人员作为访谈对象，其中高校STEAM教育研究者3名、教科研机构人员4名、中小学STEAM教师44名、企业家1名。研究以半结构化访谈方式为主，围绕学校STEAM教育质量测评应从哪些方面展开、这些方面又分别应细分为哪些维度等问题进行访谈。研究采用NVivo12.0软件初步分析访谈材料，出现词频最高的是学生，高达167次，占比为4.33%，其他出现频次较高的词语还有课程、能力、教学、教师、学习、问题、过程、学校、知识、项目等。
作为文本价值意义传达最基本的单元，字词频次的统计能够在一定程度上反映主题的趋势特点。据此，初步构建包含方向基础、资源条件、过程实践、质量提升的4个一级维度和内外环境、主体需求、规划设计、培养目标、空间设施、师资队伍、经费保障、课程资源、课程实施、师生参与、反馈调节、机制建设、学生发展、教师发展、学校发展、效益推广等16个二级维度的学校STEAM教育质量测评框架。
3.2 框架修订与形成
为进一步提高框架的科学性、合理性，采用德尔菲法对初拟框架进行专家意见咨询，以修订测评框架。咨询主要涉及两类专家：一类是各高校从事STEAM教育科学研究，并已经有相关研究成果公开发表的专家；另一类是在STEAM教育实践一线进行研究与实践的教科研部门人员、中小学教师等。为保证咨询前后的一致性，共进行两轮专家咨询，每轮专家咨询群体人数均为21人，其中小学教师10人、高等院校专家4人、教科研机构7人；按照职称划分为教授/正高级教师10人，副教授/副高级教师11人。研究编制《学校STEAM教育质量测评框架专家咨询问卷》，内容包括专家基本信息调查和权威程度，以及专家对前述初步构建的学校STEAM教育质量测评框架的意见与建议。问卷采用客观题和主观题相结合的形式：客观题采用李克特5点量表，赋值范围为1～5分，分数越高表示认同度越高，主观题主要征询专家对框架是否合理、增减、修改的意见及建议等内容。统计两轮专家咨询反馈信息，针对分歧观点进行咨询和确认，以提升结果的可靠性，最终确定学校STEAM教育质量测评框架。
3.2.1 专家咨询意见的积极系数与权威程度
积极系数代表专家对于该项研究参与的重视程度。两轮专家咨询中每轮发送问卷21份，回收21份，回收率为100%，即专家积极系数为100%，表明专家对本研究的参与程度较高。专家咨询意见权威程度是专家咨询结果可靠性的重要依据，用专家权威系数（Cr）表示[27]，由专家对方案作出的判断依据和专家对问题的熟悉程度两个因素决定，其中判断依据用Ca表示，专家熟悉程度用Cs表示，取值范围为0～1，Cr=（Ca+Cs）/2。由于两轮专家咨询发送群体为同一群体，故只在第一轮专家意见咨询调查了专家权威程度。两轮专家咨询中，Ca的均值为0.809，说明专家对学校STEAM教育质量测评指标做出判断的依据对专家的影响较高，Cs均值为0.733，说明专家对调查的指标体系较为熟悉，Cr均值为0.771，参考相关标准认为本次进行的两轮咨询专家权威程度较高，咨询结果具有较大的可靠性。
3.2.2 专家咨询意见集中程度
专家咨询意见集中程度用均值和满分频率来表示[28]。第一轮专家咨询的学校STEAM教育质量测评指标中，全部16个指标均值得分为4分且各指标的满分频率均大于0.5，反映出专家针对意见集中程度较高。但也有专家针对内外环境、机制建设、效益推广等指标提出建议。为此，对指标进行修改，删除异议指标并进行内容调整，在将第一轮咨询结果反馈给各位专家的同时，进行第二轮咨询。在第二轮的专家意见咨询中，全部13个指标均值得分为4分且各指标的满分频率均大于0.5，表明专家已经形成了较为集中统一的意见。
3.2.3 专家咨询意见协调程度
专家咨询意见协调程度一般采用变异系数（CV）和肯德尔协调系数（W）来判断专家意见的一致性[29]。变异系数主要通过指标标准差与指标均数之间的比值来表示，变异系数越小，表明专家之间的协调程度越高；肯德尔协调系数主要反映不同专家之间意见是否具有一致性，协调系数越接近于1，说明专家之间的一致性越好。两轮专家咨询所得的变异系数CV均小于0.2，说明专家之间的协调程度较高。第一轮的协调系数W为0.277，第二轮的协调系数W为0.605，说明第一轮专家咨询存在较大分歧，协调程度较低，但经过修改，第二轮的专家认同较为统一，可信性也较高；通过非参数检验可得，两轮专家咨询结果的和谐系数对应的检验p值均小于0.001，表明统计检验结果显著，具有一致性。由此可知，专家对学校STEAM教育质量测评指标体系具有较高的协调程度。
3.2.4 专家咨询意见结果
最终通过两轮专家咨询，得到包含4个一级维度、13个二级维度在内的学校STEAM教育质量测评框架，见表1。
3.3 认同度调查
采用纸质问卷与电子问卷相结合的形式对测评框架进行认同度调查，共发放问卷1200份，最后回收有效问卷为937份，问卷回收有效率为78.1%。所调查的对象中，高校STEAM教育研究专家29人、中小学STEAM教育教师872人、教研机构STEAM教育研究人员36人。对所回收的数据进行检验：认同度调查问卷的克隆巴赫系数为0.990，表明该问卷信度很高。结果显示，学校STEAM教育质量测评框架的整体认同情况较好，均值都在4分以上。从百分比来看，各维度认同（含完全认同、比较认同）占比都在75%以上，反映出拟定的学校STEAM教育质量测评框架基本合理。
4 学校STEAM教育质量测评量表制订
学校STEAM教育质量测评维度的确立为模型的构建提供了前提基础，但维度内容是否广泛被学校STEAM教育教师、高校STEAM教育研究专家、教科研机构研究人员等认可，还需要开展更大范围的研究和调查，以确保测评框架科学性和完整性。
4.1 量表编制
学校STEAM教育质量测评量表编制不仅是为了明晰指标体系的结构关系，促进测评框架的构建，更是为测评维度确定提供实证数据支持，保证测评框架构建的科学性和可操作性。基于前期的研究和认识，在借鉴已有相关测评问卷的基础上，以在各二级维度下设置相应题项的方式编制《学校STEAM教育质量测评量表》。除基本信息外，量表依据学校STEAM教育质量测评的背景基础、资源条件、过程实践、质量效益4个一级维度以及13个二级维度，拟定47道题目，采用李克特5点量表，赋值范围为1～5分。为更好地提高量表的科学性、完整性、可操作性，咨询了6名高校STEAM教育研究专家和12名学校STEAM教育教师，有关量表结构、内容、问题表述的清晰性、问题的合理性等方面的意见。根据专家意见反馈修改完善量表，从而形成《学校STEAM教育质量测评量表（初稿）》。
4.2 探索性因素分析
以《学校STEAM教育质量测评量表（初稿）》为调查工具，在四川、广东、重庆、河南等省市针对中小学教师开展学校STEAM教育质量测评调查，共发放问卷1100份，回收有效问卷887份，问卷回收有效率80.6%。使用SPSS26.0软件进行探索性因素分析，进行KMO检验和Bartlett球形度检验。结果显示，量表的KMO度量值为0.954，且Bartlett的球形度检验对应的p值小于0.05，表明适合进行探索性因素分析。
研究所构建的学校STEAM教育质量测评指标体系经过专家效度的检验，根据事前准则法，为更好地进行各子量表的因素分析，采取主成分分析方法，通过探索、删减、再探索等一系列步骤，形成量表的结构要素。结果显示，4个维度下各因子的累计方差贡献度分别为94.718%、94.197%、96.763%、96.080%，表明抽取的因子具有较好的解释度，正交旋转得出的因子载荷如表2所示，总量表和背景基础、资源条件、过程实践、质量效益4个维度的克隆巴赫系数分别为0.994、0.981、0.987、0.991、0.982，说明所形成的量表具有较好的信度。量表最终删除7道题，得到包含40道题目的《学校STEAM教育质量测评量表》（见表2）。
4.3 验证性因素分析
为检验学校STEAM教育质量测评的框架结构与实际情况是否适配，选取四川、重庆、甘肃、河南、广东5省市的中小学教师进行《学校STEAM教育质量测评量表》调查，共发放问卷700份，回收有效问卷546份，问卷回收有效率为78%。借助AMOS24.0软件对量表进行验证性因素分析，分析会产生诸多评判指标，包括因素负荷量（标准化回归系数）、卡方自由度比值（CMIN/DF）、拟合优度指数（GFI）、渐进残差均方和平方根（RMSEA）、均方根误差（RMR），等等。侯杰泰等认为，如果RMSEA在0.08以下，比较拟合指数（CFI）在0.90以上，所拟合的模型是一个好模型[30]。为此，研究针对学校STEAM教育质量测评量表整体进行验证性因素分析，将学校STEAM教育质量测评作为三阶因素，将背景基础、资源条件、过程实践、质量效益作为二阶因素，将规划设计、目标定位、主体需求等作为一阶因素，选取标准化回归系数、CMIN/DF、GFI、RMSEA、RMR、CFI等指标作为拟合度检验的标准。结果显示，学校STEAM教育质量框架各维度因素负荷量为0.62～0.98，均大于0.60，表明框架维度基本适配度良好（见表3）。
对验证性因素分析结果进行适配判断，结果显示：CMIN/DF=2.293＜3.000，表明简约适配指数符合标准；GFI=0.917＞0.900，RMSEA=0.065＜0.080，RMR=0.047＜0.050，表明绝对适配指数符合标准；CFI=0.945＞0.900，表明增值适配指数符合标准。从上述各个适配指标的数值来看，学校STEAM教育质量测评框架达到检验标准，表明所构建的包含4个一级维度和13个二级维度在内的学校STEAM教育质量框架结构合理。
5 结束语
我国STEAM教育开展时间较晚，在各中小学发展中存在不均衡的现象，因此，当前学校STEAM教育质量存在较大差异。本研究在理论分析的基础上，通过实证研究方法初步构建包括4个一级维度、13个二级维度在内的学校STEAM教育质量测评框架，期望发挥评价的导向作用，促进学校STEAM教育质量提升和发展。虽然，本研究通过较大规模的问卷调查对学校STEAM教育质量测评框架进行了认同度调查，验证了其科学性和可靠性，但还存在一些问题需要在今后的相关研究中进一步解决。后续研究将针对测评框架进一步深化，根据所制订的量表开展学校实践应用，在实践中检验量表的科学性和可操作性，推动学校STEAM教育质量提高。
参考文献：（略）
声明：本文转载于《中国考试》，版权属于原作者，如涉侵权，联系立删。