第二章　化学教学系统的综合评测 （三）

第二节 综合评测的基本标准

如何衡量被测教学系统的行为和效果的优劣，这涉及到评测的基本标准。根据尤·克·巴班斯基的最优化教学理论，效果、质量水平和时间、精力花费双重标准是必不可少的①。鉴于综合评测对教学过程的实际考察，我们提出教学行为标准，以此形成化学教学系统评测的三项基本标准。　

一 教学效果标准

包含多方面的内容，主要有：化学知识掌握的数量和质量标准，化学技能的熟练操作和准确运用标准，以及以思维能力为核心的学生能力发展标准等等。　

二 教学时间标准

为完成一定的教学任务，取得一定的教学效果，师生必须追求尽可能少的必要时间和耗费最少的必要精力。这里提到的时间和精力，必须考虑教师的课外辅导、准备教学材料和学生的课外作业量等等。　

三 教学行为标准

为完成化学教学任务，师生双方应具备的素质、技能和手段，包括表达、书写、实验等基本素质和理解教材、选择教法等基本技能，学生的认知行为和学习方法等等。

围绕上述标准具体展开，即可形成评测的指标体系，其要求如下：

(1)指标的内容必须体现化学教学系统的主要特征。指标既然是评测目标的具体化、行为化和操作化，无疑必须反映出教学系统的有关特征，如化学教学目标的特征、化学教学内容的特征、化学教师素质的特征、化学教学方法的特征、化学问题思维的特征、化学学习方法的特征等等。

《化学教学论》一书中作者列出七项指标评测化学教学系统的质量，它们是：教学目的和教学目标，学生参与教学的情况，教师对学生的培养，教学内容，教学方法，教学组织和管理，教学语言、教态和仪表。上述指标与课时教学系统的功能基本一致。为便于测量，每项指标又分出若干具体的细目以作说明。①

广东省教科所在大范围问卷基础上得出教师授课系统的质量评测指标，共八项：重视学生能力培养，教学内容重难点突出，教学方法生动有效，教学目的切合实际，注重概念原理教学，重视系统知识传授，口头表达顺畅简洁，热情帮助学生进步。与此对应的学生学习系统的质量评测指标是：自学能力强，掌握知识全面系统，思维积极活跃，运用知识正确灵活，学习主动独立思考，理解概念深刻完整，求知兴趣广泛多样，作业灵巧有创造。两者分别体现了教和学的特征②。

(2)指标内容的表述必须明确，力求采用操作化的语言给予界定，以便通过实际观察等手段加以直接测量。例如，口头表达顺畅简洁所反映的简练准确、顺畅有节奏在评测过程中不难把握， 而与心理活动有关的一系列因素虽能指标化，但缺乏直观可测性。为解决这一困难，常将难测指标分解，从而化为若干可测的指标并间接地反映难测指标。例如，我们曾将教学态度分解成责任心和情感两项，责任心又通过备课、辅导、批改作业三项操作性强的指标予以间接测量①。为简捷起见，指标的叙述更多地采用未加肯定或否定的中性语言，其内涵一般另作说明。(3)多级指标形成指标系统，同一层次的指标必须互相独立，即不允许存在任何包含与被包含的关系，相互不重叠，不能从某一项导出另一项。例如，将知识、能力、智力、技能归属于同一层次，则出现明显的包含关系或交叉(部分重合)关系。一般认为，智力属于能力范畴，而技能有动作技能和心智技能两类，心智技能与智力紧密联系在一起②；对知识和技能而言，如未对其内涵分别给出严格的限定，则化学教学中的一类技能性知识(如化学计算技能)究竟属于知识还是技能，不免出现争议。假如等权对待上述四项指标，事实上就增加了能力的权重，而智力指标无疑是多余的，它的存在对整个指标系统没有贡献，而且降低了评测的可行性和结果的客观性。指标的部分重合，导致该部分的权重重复计算，在操作时也极易引起混淆，甚至使评测工作无所适从。

在实际评测中，如何保证指标的尽可能独立，并不是一件容易的事。一方面要求选用涵义清晰的词句以体现指标内容，同时对某些可能因理解偏差无法把握其内涵的指标需给出必要的限制。如注重概念原理教学限于考察概念讲解是否准确、原理教学是否清晰、举例是否典型恰当；而重视系统知识传授着眼于教学环节是否连贯紧凑、前后知识是否整体联系、教学时间是否合理分配。显然，前者注重局部，后者重视整体，一旦给出上述限定，评测时就不难区分了。有时为避免指标之间的相互联系，适当减少指标个数以求独立。例如，我们曾设想通过教学态度、教师素质、 专业知识、待遇、身体状况、教学方法6项并列的指标来反映教师质量，但从系统论中又获得重要启示：某种具体的教法难论其优劣，而体现在多种方法组合的功能上。根据不同的教学目标、教学内容和课型等特点，不同的教师可以充分发挥自身的优势(如表达、书写、实验操作等)顺利地完成教学过程，而不拘泥于某些固定程式①。换言之，教学方法与教师素质、教学态度之间有一定的联系。为此，最终未将教学方法列入指标体系，而是从教师素质、教学态度等指标上得以反映②。

(4)作为教学系统的测量目标，各级指标不仅要反映系统的特征，而且必须显示各个指标在指标体系中的重要程度，这就涉及到指标的权重问题。权重或称权数，是指对被测对象的不同品质进行权衡比较时的一种量上的区分判断，也是对被测对象所属的各种要素的影响程度作出的量化限定。在评价研究中，常常根据评测的系统、对象、目的、时间和角度，对不同的指标指派不同的比例系数，即构成权重，相同指标的权重也因系统不同而发生变化。

确定权数的过程称为加权，它是教学系统评测计量化的重要组成部分，其数值准确与否将直接影响评测结果的客观性和可比性。因此，权重不能随意而定，必须运用一定的方法，融合经验和理论，在反复论证的基础上方可求得。确定权重的方法有多种，一般是在指标体系建立之后进行分配或同时进行。

(1)经验加权。请具备相当经验的教学论专家、教研人员和教师根据自己的实践经验和理论水平，对不同的指标进行相对比较，并按其重要性程度分别赋予一定的数值，归一后即得权数集合。此法操作简单，但带有较大的主观随意性，一般慎用。

(2)集值统计。请若干经验丰富的专家对某一层次的n个指标(子因素)μ1，μ2，…，μn进行观察分析，在自认为重要的因素下 打“√”。设K为总勾数，Ki为第i个因素μi所得的

①

(3)排序统计。将指标随意排列在表上，请有关人员按重要性程度进

排序等级，N为专家人数，nij为对某一指标、某一排序等级的投票人数)。例如，请24名专家对教学质量这一系统目标进行评测，涉及的测量指标有4项，排序结果如下：②

(4)专家咨询。请有关专家和富有经验的教师在互相隔离的场合估计已有指标体系中某层次指标的权重，记为wji(第j个专家对第i个指标权

位专家的估计偏差Δji。请偏差大的几位专家重新考虑后作出修订，如此反复咨询几轮，直至获得比较客观的权值。具体求法③如下：

j=1，2，…，m(专家个数)i=1，2，…，n(指标个数)

此外，权数确定的较好方法还有层次分析法①②、相关系数法③、模糊聚类法④等等，因其涉及较复杂的数学模型和操作步骤，本书不作进一步介绍，有兴趣的读者可参阅有关文献。

张铁明提供了一种同时确定评价指标和指标权重的统计方法，使评测过程更为简捷、可靠。具体步骤⑤如下：

第一步：根据所研究的教学系统特征列举出多项指标，设计一排列式问卷；

第二步：确定问卷对象(教师、学生、教学法专家、校长等)和范围，并在问卷上设项区分；

第三步：要求答卷者从中挑选出最能反映系统特征的同层次的5项指标(限制数目以免答案离散)，并按总权值100给已选指标确立权重；

第四步：统计出全体答卷者确立的每项指标权重的总和并除以选中该项指标的总人数，得答卷者所确定的指标平均权重；

第五步：每一项指标被选人数除以答卷者总数，求得每一项指标被选定的概率，进而计算单项指标权重=答卷者确定的平均权重X指标被选定的概率；

第六步：依权重多少排序，筛选出六—八项实际应用指标并将权重“归一化”，即

归一化权重=单项指标权重÷被选的诸项指标权重之和。

第七步：给选定的指标赋予二—四条相应的内容。

值得指出的是，对复杂系统而言，通过分解往往形成多级评 测目标，这给指标体系的叙述带来了一定的困难。较好的解决方法是利用“系统树”结构予以反映，图3－1是一个通用模式，其中ai，aij表示同级指标的权重。所谓“系统树”，是指将所研究的系统、各级子系统集中于“树根”、“树节”、“树叶”上的图形表示。图中最左端点G0为根指标，树的末梢端点为叶指标(如G1，G3，G4，G21，G22等)，形成过渡环节的点为节指标(如G2)。对同一指标链(如G0—G2—G22)而言，易测程度从根(系统目标)、节(一级指标)、叶(单项指标)逐级加强，因而评测的方向往往从叶开始先综合到节，再逐级向左直至对根作出总体评价为止。

借鉴上述思路，作者在广泛调查和集值统计基础上建立了与学期教学系统相对应的化学教学质量评测指标体系，同级叶指标对节指标(或根指标)的贡献体现在权数分配上。统计表明，教师、学生影响教学值得进一步研究。①

第三节 综合评测的基本方法

评测方法是与评测过程密切联系的，它包括前期的理论设计、调查问卷、确定指标、计算权重和后期的对象选择、数据处理、结果分析等一系列环节的具体操作思路。

为简化论述，以下侧重讨论指标体系建立后常用的几类方法。　

一 定性方法

指标体系建立后，定性考察仍不失为一种广泛应用的评测方法。例如，以评测教学过程为主时，常用教学观摩、特征分析、行为评判等手段，对照已有指标给出评语或等级；以评测教学效果为主时，常用提问、座谈、考试和目标到达度分析，特别是与学生学习水平相关的各项测验是不可少的；当涉及范围较广的评测对象时，常抽取典型样本进行研究，并将其结果推至总体。定性方法的常规操作大多是读者所熟悉的，本节中仅以行为评判为例做一分析，其余不再展开讨论。

师生是教学系统的主体，双方的行为直接影响教学质量的优劣。因此，掌握行为评判的技巧十分重要。首先，评判者必须了解被评对象的实际情况和评判指标的具体内涵，通过教学观摩等过程把握对象的行为表现，重点必须突出与指标关系密切的一系列特征行为；其次，对行为作出客观的分析和评判，合理地给出分值。在实际评测中，以下三种表式可供读者参考。

1.描述评等式

描述评等式是指直接运用文字描述某一指标不同等级的具体内容(细则)，并给出相应分值的一种方式。描述时力求概念明晰，以便“对号入座”。表3－1是运用描述评等式对化学课堂演示实验一项进行评判的实例。

2.期望评等式

将某指标分解成若干子项，并列出一系列期望标准。请每位评判者按其达到标准的满意程度赋予分值。评判等级一般有四—五项，常用“非常满意”、“满意”、“尚可”、“不满意”或“优秀”、“良好”、“一般”、“较差”等等。表3-2是对化学课堂教学手段一项给出的期望评等实例。

3.加权评等式

在表中列出被评指标的各项单项指标的权重，按实际情况给出等级分值，最后利用公式Fi=bjai转化成评判分。其中bj为等级分值，ai为单项指标的权重。表3—3是对指标化学课堂教学内容所作的评判。　

二 定量方法

为提高综合评测的精度和可比性，已引入多种数学方法和评测模型。尽管对量化的过程及其结果的可靠性目前不乏争议，特别是教学系统涉及的主要对象是人，究竟采用什么样的量化方法与之更为相配，至今尚无定论。但作为一种处理离散信息和数据资料的手段，其结果仍然是价值判断的重要依据之一，因而在实践中研究和完善定量方法是十分必要的。

按综合评测逐级进行的系统思路，实用的量化方法有加权平均、模糊综合等等。

1.加权平均

设参加评判的有教师、学生、教学法专家三类人，其中某类的第j位评判者对指标X所属的n个同级子项给出评判，获得对应的等级分值bji(i=1，2，…，n；j=1，2，…，m)。如n个子项的权重为ai，则第j位评判

考虑上述三类人员意见的重要性程度，引入权重w1，w2，w3，则该指标的综合得分值为：

如与X同级的还有Y、Z两个指标，X，Y，Z恰好又是被测系统的一级指标，设其权重分别为γ1，γ2，γ3。按以上讨论的方法求得Fy，Fx后，即可得到整个系统的综合评测值F总：

F总=Fxγ1+Fyγ2+Fzγ3

2.模糊综合

由于教学过程和教学现象的复杂性，形成了多层次、多因素的教学系统，其中的不少因素涉及人的行为和性态，往往不易准确界定，如教学方法的优劣、教学态度的好坏等均难用某一具体数字去描述。在行为评判时，不同的评判者不免按自身的价值观进行衡量，致使评判结果出现差异甚至截然相反。为此，运用模糊数学方法处理教学系统的模糊性，可以得到较为客观的定量结论。

模糊综合评测的一般步骤是：

(1)建立评测因素集U=｛u1，u2，…un｝，ui可理解为某指标U的同级子项。例如，教师素质=｛语言表达，板书，实验操作｝。

(2)建立评语集V=｛v1，v2，…，vm｝，评语的等级和内容根据需要确定，常见的有5级或7级评语。例如，V=｛好，较好，一般，较差，差｝。为便于参照评判，常常将评语、评定等级和多级估量得分的对应关系事先予以明确。

(3)建立评价矩阵R。通用的方法是统计出每一评测因素分属于各个不同等级的百分数，也称每一评测因素在每一等级上的隶属度。如对第i个因素求m个等级上的隶属度，可得

Ri=(ri1，ri2，…，rim)0≤rij≤1

则U中的n个因素评价构成总的评价矩阵R：

例如，有50个人对某化学教师的素质进行评测，已知教师素质指标由3个子项组成(见图3-2)，对第1项“语言表达”有12人认为“很好”(24％)，23人认为“好”(46％)，10人认为“较好”(20％)，3人认为“一般”(6％)，2人认为“较差”(4％)，则该子项的评价结果可用R1表示：

R1＝(0.240.460.200.060.0400)

同样方法对后两项进行评定，即得评价矩阵

(4)确定各因素的权重。U中的n个评测因素对应的权重形成权重集A，用ai表示第i个子项的权重，则得：

例如，作者运用集值统计方法，得出教师素质的权重集为

A=(0.50 0.30 0.20)

(5)进行综合评测运算，求出综合评测结果B：

矩阵在进行模糊运算时涉及的广义算子有M(·，V)，M(∧，∨)，M(·，)等多种，其中M(·，V)、M(∧，∨)系主因素突出型，M(·，)为加权平均型，具体操作如下：①

M(·，∨)，M(∧，∨)计算简捷，但“取小”、“取大”后丢失的信息较多。考虑到教学系统诸因素均衡兼顾和整体指标优化的要求，以取M(·，)为宜。

当所研究的教学系统有多个不同的层次时，某个单因素往往是低一层次的多因素的综合。因此，多层次系统模糊评测的思路是：从最低层次开始，逐级综合，直至最终目标。

设U中第i个因素ui由k个低一层次的子项构成，即ui=｛ui1，ui2，…，uik｝

ui的k个因素权重分配为Ai=(ai1，ai2…aik)，在m个等级上给出评价矩阵Rik，则低一级的综合为Bi=Ai○Rik=(bi1bi2…bim)如将综合结果Bi作为单因素ui的评价Ri，则对u的综合评测公式可写为

最后，对B进行归一化，得

第四节 化学教学系统的优化

教学系统的优化是一个动态的过程，它包含目标制定、目标实施、教学评测、教学反馈和教学调控等多个阶段，而核心的工作是借助于评测结果，不断地为反馈和调控注入新的内容。因此，可以这么说，教学优化是在教学评测基础上的有目的、有方向的一种控制。

目前，从教育学、教学论、系统论等角度探讨教学优化的论著甚多，但大多数停留在理论阐释阶段，缺乏操作性。这里，我们借助模糊综合评测的基本理论和实践工作，向读者提供化学教学系统优化的一种具体策略，其进程简示如下：

综合评测Ⅰ→局部分析→查找原因→制定决策→实施决策→综合评测Ⅱ

根据前面的讨论可知，综合评测结果B=A○R最终得到的是在m个等级上的一组相对数值，当等级分布较多时，不同系统的B矩阵数值变化的趋势往往不一致，因而难以进行客观细致的比较。为弥补这一不足，特引入综合评测值T：

T=B×C＇或T=B×D′

B是经归一化处理后的综合评判结果，系1×m阶矩阵，C，D分别为等级矩阵、由多级估量值域组中数构成矩阵，即

C=(+3 +2 +1 0 -1 -2 -3)

D=(10 8.5 6.5 5 3.5 1.5 0)

C′，D′分别为C，D的转置矩阵，如C′为m×1阶矩阵：

可见，矩阵B，C′相乘恰好得到一个实数，这就是综合评测值。它不仅从整体上反映出系统功能的相对强弱，而且将所得结果与等级分值相比较，使反映系统综合效应的T值兼具等级涵义，便于定性描述。

我们曾用上述方法对某校高一年级第二学期的化学教学质量目标做过综合评测，结果如下：

由T(S1)＞T(S2)＞T(S3)可知，教学质量从整体上看S1相对最优，S2其次，S3较差。但纳入评测等级考察，S1仅介于“好”与“较好”之间，S2为“较好”略强，S3为“较好”略弱，三者均有努力的余地，即需进一步优化。

优化教学系统，关键在于找出薄弱环节并不断改进，但问题的症结和引起系统差异的原因从T值大小上无法得以反映，只能通过查询各级的综合评测Bi和Ti方可了解详情。例如

B(S1)=(0.10940.31980.32620.20200.03300.00680.0026)

B(S2)=(0.10680.26550.31280.25430.05320.00740)

B(S3)=(0.11530.25290.24880.30270.04990.280.0024)

不难发现，系统S3的T值最小，但B(S3)中对+3等级的评价却大于B(S1)和B(S2)。沿系统树结构逐级检索可知，教师乙的基础素质和知识水平均强于甲，而乙任教班级的学生质量相对有些不足。

通过比较Bi和Ti值，可以针对性地找出导致系统差异或综合评测值等级不高的种种原因，并根据指标的权重和可调节程度，制定逐步优化的教学决策。本例中有关教师质量、学生质量的指标还有“待遇”、“身体状况”、“学习时间”等，因所占权数较小(见图3-2)，且较稳定，一般不作为主要的调控因素。经分析发现，差异和不足主要来自三个方面：一是(3)班学生的学习态度，二是该班同学的整体学习水平，三是教师乙的工作态度和教师甲的知识素养。

所以，优化的第一步是从(3)班学生的学习态度入手，培养他们学习化学的兴趣，引导学生重视学习方法，要求教师给予更多的关心和期望；优化的第二步是强化基础知识和基本技能，依照教学目标检测本学期所学的知识，并有针对性地进行补偿教学，在此基础上有目的地开发学生的学习潜力；优化的第三步重点在教师，教师乙虽有良好的素质和专业知识，但事业心和责任心方面亟待加强。

教师是一项辛苦而又崇高的职业，树立这一观念并不是一件容易的事，学校应该为青年教师思想和业务成长创造良好的条件。教师甲在工作责任心和情感方面优于乙，但受年龄、知识结构等因素的影响，教师素质和技能跟不上现代教学的发展，因此应重视知识更新和现代教学理论的系统学习，以进一步提高教学质 量，培养更多的面向21世纪的高质量人才。

最后，需要说明的是，建立指标并应用加权平均或模糊综合方法进行量化评测(简称指标—量化)，是近年来各种评价所热衷采用的模式。由于它突出指标体系的行为化和可测性，注重数量化的测定和结果的相对比较，强调评价的客观性和精确性，因而很快为教育工作者所接受，成为教育研究的工具之一。

但是，也不能不看到，随着评测内容的增加，出现了过分追求量化形式的片面倾向，在“量化即科学”的观念指导下，随意推广直至滥用，忽视了指标—量化模式的局限性，导致评测结果失真。

对综合评测的某些操作稍加分析不难发现其弊端：过分注重评测标准固定化和行为化，在制定指标体系时容易忽视甚至放弃一些难以行为化和量化的抽象指标，如学生的科学思维能力、教师的教学艺术等。将指标看成相互独立或沿树叉状延伸，一定程度上割裂了相互之间的联系和由此产生的附加教学效应。为追求评价信息的数量化，有的人为赋值，粗糙量化，有的凭经验感受主观估值，因而直接影响数据的信度和效度。此外，从众心理的存在，评测时很难拉开距离，多数结果落在好与较好之间，缺乏区分度和敏感性，最终使评测流于形式，与其初衷相悖。上述种种问题，值得我们在评测实践中仔细思考和反复论证，努力寻求解决的有效途径。