国际中文教育语言测评理论与实践

张军，文学博士，北京语言大学副教授,硕士研究生导师。主要研究领域为国际中文教育、语言测试与教学评估、第二语言习得。主编或主要参编《大文科专业汉语听说教程》《HSK标准教程》《体验汉语》等多部汉语教材:在Frontiersing Psychology、《心理学探新》、《中国考试》等SSCI或CSSCI杂志发表多篇论文;主持六项教育部、北京语言大学等级别纵向项目:获得北京市高等教育教学成果二等奖。长期从事国际中文教育、汉语水平考试与普通话水平测试等语言的教学与测评工作。

上篇 汉语测评之理论与方法 1

HSK语言能力结构的探索性分析——多维项目反应理论的应用 3

非参数项目反应理论在维度分析中的运用及评价 26

单维参数型与非参数型项目反应理论项目参数的比较研究 42

非参数高斯核平滑法估计能力值的精度 53

非参数项目反应理论在小规模测验中的运用 61

下篇 面向国际中文教学的测评实践 73

课程测验项目分析方法 75

初级汉语口语评价标准的调查研究 87

初级汉语听说课测验新模式之探索——以《成功之路》为例 104

来华留学预科生专业汉语听记能力的测试与比较 119

基于NIRT的课程测验群体诊断分析 137

参考文献 145

3 实验研究

3.1 目的

采用CMIRT模型，探索性地分析HSK阅读部分的潜在维度结构。通过比较维度数从二到六这五个模型，看几维模型更拟合数据。

3.2 对象

从在复旦大学、南开大学、外企等11个国内考点，参加2005年12月HSK [初中等]考试的12098名被试中随机抽取4924人。被试总体的平均分为100.0分，标准差为33.714，呈正态分布。为保证样本对总体的代表性，根据正态分布规律，实验依据被试的试卷总分分层抽样。被试样本平均数为98.8，标准差为31.33，经T检验后样本平均数与总体平均数无显著差异，P>0.05。

3.3 材料

HSK[初中等]正式试卷的阅读题部分，试卷代码为M05N09X，从第81题到第130题，共计50个题。每题采用0/1计分，即答对为1分，答错为0分。

3.4 参数估计方法

本研究使用联合极大似然估计法，采用Visual Foxpro9.0来编写程序：第一步：预先给暂不估计的参数设置初值，以0.01为步长，将待估参数取值范围中所有的数值逐步代入函数，得到能使函数值最大的数值作为参数估计值。然后将已估参数的估计值和其他暂不估计的参数初值作为定值，如同第一步，继续估计第2个待估参数。第二步：重复第一步，直至估计完所有待估参数。鉴于以往的估计经验，估计参数的顺序为：难度值、能力值1、区分度1、能力值2、区分度2……直至估计完所有待估参数，完成第一次迭代估计。第三步：重复第一次迭代中的各步骤，完成第二次、第三次等多次迭代，直至得出符合收敛要求的参数值。实验采取的收敛要求为：（1）最后一次和它前一次的估计结果的相关系数达到0.99以上；（2）分别把最后两次参数值代入，求解所有被试对所有项目的反应的两次联合对数似然概率，二者间的差值小于20，即两次的联合似然概率的差值小于0.000000002。

3.5 拟合优度检验方法

研究主要采用项目间协方差相关矩阵、残差分析和卡方检验三种方法。第一种方法我们可根据Reckase（1985）和Segall（2000）的建议，用任意题目对的协方差的大小来推断观测数据与模型预测所得期望概率间的拟合程度。研究者经常采用残差分析与卡方检验检验单维IRT模型的拟合优度。在单维IRT 的残差分析中，通常按照已估能力值把被试分成若干组。但MIRT中我们似乎不能单纯按其中某一维度的能力值分组，因为被试的能力由多个维度构成，无论以哪一个维度来给被试分组的做法都是较盲目的，都不能保证组内被试的同质性。给被试分组实质上是一个分类问题。我们得到参数的估计值后，就能知道被试在潜在维度构成的多维空间中的位置，所以本研究在遵循有关检验思路的同时，对具体操作做了相应的灵活处理，在多维空间中按照几个维度的能力参数，对被试做聚类分析，从而达到分组的目的。

3.6 实验结果及检验分析

二、三、四、五和六维模型分别共有9998、14972、19946、24920和29894个参数，其部分项目难度和区分度参数分别见附表1和附表2，能力参数见附表3。

3.6.1 项目间协方差矩阵分析

本套试卷的阅读部分，共有50个题目，得到1225个协方差。CMIRT模型从二维到六维的项目间协方差矩阵分别见附表4。为方便直观判断，图形表示见图1―图5。

从散点图看，二维和三维模型的协方差在0.00附近最集中，四维、六维模型依次次于二维模型，五维模型集中趋势最差。协方差为0表示模型完全拟合数据，正负号表示模型拟合的期望数据与观测数据差异的方向，绝对值表示差异的程度。表1为各维模型协方差绝对值的相关统计量：

二、三、四、六和五维模型的项目对协方差的全距相继扩大，其中属五维模型的最大；各模型协方差绝对值的平均数和标准差表明二维模型的数据在0.00附近最集中。平均数（或总和）差值为下一个模型协方差平均数（或总和）与模型协方差平均数（或总和）的差值，如m3cov的平均数（或总和）减m2cov的平均数（或总和），用以说明模型间的差异程度。从表1数据可看出，二维和三维模型相差很小，两模型与四、五和六维模型都相差较大。可见二维模型和三维模型相对于其他模型来说，能较好地拟合数据。

3.6.2 残差分析及卡方值

经过参数估计，我们得到从二维到六维，共五个模型的能力估计值，也就是说我们分别可以在五个多维空间来刻画被试的位置。实验采用欧式距离平方（squared Euclidean distance）计算被试间的距离，通过组间连接（between-groups linkage）法，利用SPSS13.0对被试分层聚类，分类结果见附表5。

被试在四、五、六维空间中的分类很稀疏，分别有5个、5个和8个组的人数少于10人，而且也总有1个组的人数过多，在4000左右。前一种情况因为组内被试过少，带来很大随机抽样误差；后一种情况则因为人数过多，而减弱组内被试的同质性。为此，研究曾尝试给四、五和六维模型的被试重新分组，但即使分成50组，人数众多的那组的变化也不大；相反只使人数稀疏的组更稀疏。

得到若干被试组后，继而计算标准残差的绝对值和卡方值。在各模型中，项目标准残差绝对值在各个区间中所占比例见表2所示。

本书是一部关于汉语教学测评理论和实践的专业性著作。书中详细探讨了汉语测评的理论和方法，以及面向国际中文教学的测评实践，为国际中文教育工作者和汉语测评人员提供了有益的理论支持和实践指导。全书分为理论和实践上下两篇:上篇部分主要探讨了汉语测评之理论与方法，下篇部分则重点关注面向国际中文教学的测评实践。