基于高阶认知诊断模型的CD-CAT双目标选题策略开发
近日，江西师范大学心理学院涂冬波教授团队在《Applied Psychological Measurement》在线发表了《Dual-Objective Item Selection Methods in Computerized Adaptive Test Using the Higher-Order Cognitive Diagnostic Models》学术论文，重点探讨了基于高阶认知诊断模型的CD-CAT双目标选题策略的开发及其较传统选题算法的优势。文章第一作者为江西师范大学在读博士生席崇钦，涂冬波教授为论文第二作者，蔡艳教授为论文通讯作者。该研究得到了国家自然科学基金（31960186，62167004和32160203）资助。
论文来源：Xi, C. Q.,Tu, D. B., & Cai, Y. (2022). Dual-Objective Item Selection Methods inComputerized Adaptive Test Using the Higher-Order Cognitive Diagnostic Models. Applied PsychologicalMeasurement. https://doi.org/10.1177/01466216221089342
01 研 究 背 景
计算机化自适应测验（computerized adaptive testing，CAT）是利用现代化信息技术实现的自适应测试形式，其通过“量体裁衣”式的自适应技术，满足高效精准的测试需求。研究者将CAT技术与项目反应理论模型（IRM）和认知诊断模型（CDM）相结合，提出了双目标CD-CAT（Cheng & Chang, 2007；McGlohen& Chang, 2008；Wang et al., 2012），以快速精准地获取被试的终结性评价（即能力）和形成性评价（即属性掌握模式或知识状态），从而既实现了对被试宏观能力水平的评估，又同时实现了对被试微观认知结构的诊断评估。
通常情况下，双目标CD-CAT采用IRM和CDM来标定同一个项目（即双标定过程）。因此，双目标CD-CAT题库中的每一个项目都有两组不同的项目参数（即IRM参数和CDM参数）。然而，研究者认为，应谨慎使用双标定过程标定项目参数，因为IRM和CDM的潜在结构完全不同（Hsu & Wang, 2015），其中IRM的潜在结构是潜在连续变量，而CDM是多维潜在二分属性变量。为此，学者建议采用同时描述能力和属性掌握模式的高阶认知诊断模型（higher-order CDMs; de la Torre & Douglas，2004），并提出了higher-order CD-CAT（Hsu & Wang，2015）。不同于采用双标定过程的传统双目标CD-CAT，higher-order CD-CAT只需标定一组项目参数。因此，与前者相比，后者的题库建设成本更低，因为传统双目标CD-CAT中的项目需要同时拟合IRM和CDM，而higher-order CD-CAT中的项目只需拟合高阶认知诊断模型。
然而，到目前为止，尚未开发适用于higher-order CD-CAT的选题策略。虽然针对传统双目标CD-CAT已开发了大量选题策略，但这些方法并不适用于higher-order CD-CAT。主要原因是higher-order CD-CAT中的每个项目只有一组CDM项目参数，而传统双目标CD-CAT的选题策略需要两组不同的项目参数。因此，在higher-order CD-CAT中，研究者通常采用只考虑属性掌握模式的单目标选题策略，如PWKL、GDI等。由于这类方法并没有考虑对能力参数的自适应，因此它会降低能力参数估计精度，并进而影响到对属性掌握模式的诊断精度。如果想在higher-order CD-CAT中同时获取被试能力和属性掌握模式的高精度估计，那么在CAT选题过程中就应同时考虑对能力参数及属性掌握模式的自适应。基于这个逻辑，本研究为higher-order CD-CAT提出了两个新选题策略。
02 研 究 方 法
在高阶认知诊断模型框架下，能力主导着属性掌握模式，而属性掌握模式直接影响项目反应；也就是说，项目反应是由一个能力和属性掌握模式的组合所影响。对能力取R个节点，给定已作答向量，可以近似计算当前能力和属性掌握模式的联合后验概率：
本研究在SHE（Tatsuoka，2002）和GDI（Kaplan el al，2015）选题思路上，结合能力和属性掌握模式的联合后验概率，为higher-order CD-CAT开发了HO-SHE和HO-GDI选题方法。HO-SHE方法如下所示
HO-SHE方法用于测量能力与属性掌握模式联合后验分布的不确定性程度。因此，应选取HO-SHE最小的项目作为下一题。
另一方面，HO-GDI方法主要反映项目对不同能力与属性掌握模式组合的区分能力，其值越高，区分能力越强。HO-GDI方法如下所示
03 主 要 结 果
为了验证HO-SHE和HO-GDI方法的性能，本研究通过模拟实验，在不同条件组合下（不同的模型、测验长度和属性个数）对两个新方法和传统选题策略进行系统地比较，6属性条件下的实验结果见下表1和表2（8属性结果与6属性基本相同）。
表1
表2
模拟研究表明，HO-SHE和HO-GDI方法的选题性能比较相似，且在能力和属性掌握模式估计精度、以及题库使用率方面均优于传统选题策略。在测量属性较多或短测验情景下，两种新方法在属性掌握模式估计精度上的优势更明显。与传统higher-order CD-CAT选题策略相比，本研究开发的新方法充分利用了高阶能力信息、以及高阶能力与属性之间的关系，从而实现了对能力参数和属性掌握模式的双重自适应，进而大大改善了对能力和属性掌握模式的估计精度。总之，本研究为双目标的higher-order CD-CAT提供了新的且性能更优的自适应选题方法，在实践中具有较好的应用前景。
04 主 要 参 考 文 献
[1] Cheng, Y., & Chang, H.-H. (2007, April). Dual information method in cognitive diagnostic computerized adaptive testing. In the Annual Meeting of National Council on Measurement in Education, Chicago, IL.
[2] Dai, B., Zhang, M., & Li, G. (2016). Exploration of item selection in dual-purpose cognitive diagnostic computerized adaptive testing: Based on the RRUM. Applied Psychological Measurement, 40(8), 625-640.
[3] de la Torre, J., & Douglas, J. A. (2004). Higher-order latent trait models for cognitive diagnosis. Psychometrika, 69, 333–353.
[4] Hsu, C.-L., & Wang, W.-C. (2015). Variable-length computerized adaptive testing using the higher order DINA model. Journal of Educational Measurement, 52, 125–143.
[5] Huang, H. Y. (2020). Utilizing response times in cognitive diagnostic computerized adaptive testing under the higher‐order deterministic input, noisy ‘and’ gate model. British Journal of Mathematical and Statistical Psychology, 73(1), 109-141.
[6] Kaplan, M., de la Torre, J., & Barrada, J. R. (2015). New item selection methods for cognitive diagnosis computerized adaptive testing. Applied Psychological Measurement, 39, 167–188.
[7] McGlohen, M., & Chang, H.-H. (2008). Combining computer adaptive testing technology with cognitively diagnostic assessment. Behavior Research Methods, 40, 808-821.
[8] Tatsuoka, C. (2002). Data analytic methods for latent partially ordered classification models. Journal of the Royal Statistical Society: Series C (Applied Statistics), 51(3), 337-350.
[9] Wang, C., Chang, H.-H., & Douglas, J. (2012). Combining CAT with cognitive diagnosis: A weighted item selection approach. Behavior Research Methods, 44, 95-109.
[10] Wang, C., Zheng, C., & Chang, H.-H. (2014). An enhanced approach to combine item response theory with cognitive diagnosis in adaptive testing. Journal of Educational Measurement, 51(4), 358-380.
[11] Zheng, C., He, G., & Gao, C. (2018). The information product methods: A unified approach to dual-purpose computerized adaptive testing. Applied Psychological Measurement, 42(4), 321-324.
稿件来源：教育统计与测量前沿