一种教学评价新思路：用教学过程证明教学自身
杨开城 卢韵
摘要：从教学结果出发并不能科学评价教学本身的质量。评价教学需要将教学过程与一个理想标尺进行比较，这个理想标尺既不是评价者头脑中的理想教学，也不是旧教育学所关注的抽象的方法或模式。评价教学的理想标尺就是教学方案，因为教学方案既可以成为一种教学理想的表达，又包含了用于理解真实教学过程的关键信息。但是作为理想标尺的教学方案至少需要满足目标—手段一致性、媒体多元性、学生参与度等指标要求。教学方案与实际发生的教学过程是教学系統的不同表达方式，前者是教学系统的文本表达，后者是同一个教学系统的行动表达。虽然二者逻辑上具有可比性，但现实中常常不能直接比较。为了进行教学方案与教学真实过程对比，需要运用IIS图分析法将二者转化为教学过程机制图。教学过程机制图是一种教学过程的中观真相，不但直观易于理解，而且可以实现教学方案与真实教学过程之间的比较。这种比较所反映出来的特性被称为教学方案—行动的一致性，它可以被看作是教学过程的预警指标。只要教学方案是理想的，而教学本身又是基本符合教学方案的，该教学便是可以接受的。这是一种用教学过程证明教学自身的教学评价新思路。
关键词：教学评价;教学方案;IIS图分析法;教学过程机制图;教学方案—行动的一致性
中图分类号：G40-058.1 文献标识码：A 文章编号：1009-5195（2021）06-0049-06 doi10.3969/j.issn.1009-5195.2021.06.006
作者简介：杨开城，博士，教授，博士生导师，北京师范大学教育学部（北京 100875）;卢韵，硕士研究生，北京师范大学教育学部（北京 100875）。
一、教学真的只能以成败论吗？
“教学”一词意指某种过程，而这个过程又会生成某种结果，比如学生的知识、技能、心性的变化，等等。当然，学生的各种成长（哪怕是分数）绝非仅仅源于教学。有些人（比如家长）由于见不到完整的教学过程，因此只关注教学结果。这些人的想法很简单，学生成绩好就意味着教师的教学过硬，或者起码没有大的问题。他们对教学过程一无所知，也不感兴趣。另有一些人不但能见到完整的教学过程，而且还研究教学过程。他们是教学过程的研究者，试图揭示教学过程的科学规律。但他们却倾向于将教学过程简化为方法和模式。我们知道，科学理论是对现实的简化。而将教学过程简化为方法和模式的做法并没有生成关于教学过程的科学理论，这足以说明这种简化在认识上是无效的。所以，教学过程研究者也就无法做到只考察教学过程而忽略教学结果，这是因为方法和模式之类的“认识”太过粗糙，无法代表教学过程的精髓。研究者必须参照教学结果来确认教学过程是否合适。就目前的研究水平来看，不依据学生的成绩或其他方面的变化、不依据前后测的教学结果数据，研究者对教学过程的言说便无法获得足够的信度。说起来头头是道的新做法由于没有带来对结果的实质改善也不会被认真对待。因此总的来说，无论是实践领域还是理论界，人们对于教学更多关注的还是教学结果而非教学过程本身。而且这种对教学结果的关注与教学过程无关，对教学过程的改善没有实质的帮助，这主要是因为日常教学工作中人们不可能为每次教学都安排对教学结果的测量，而且从教学结果出发进行归因也是困难重重。由此，人们对教学过程的认识一直停留在灰箱子甚至黑箱子的水平。教学过程中的决策几乎成了教师自决的职业私事。
由于在认识上对教学过程所知甚少甚至一无所知，我们才不得不从结果出发“以成败论英雄”。那些原本只能弥漫性地存在教学过程之中、难以即时训练和客观测量却弥足珍贵的高阶价值也就成了配角，甚至无足轻重。由于对教学过程所知甚少甚至一无所知，我们很可能为了某种结果（分数、排名、升学率等）而试误性地“不择手段”，即使所选择的手段简单粗暴、有极大的伦理风险也在所不惜。现如今，这种将教学在认识上简化为方法和模式、在实践上以学生分数为王的理论与实践范式大行其道。
但是，这种范式在STEM教育中遇到了绕不过去的麻烦。理智告诉我们，STEM教育意义重大且深远，但STEM教育中教学结果却很难评估。一方面，STEM教育的核心价值是在科学、技术、工程、数学这四个学科融合背景下培养（或曰强化）学生的创造力（或曰创造性地解决真实问题的能力），而创造本身没有标准，也很难预测。比如，我们不能因为学生创制的产品没有完全实现应有的功能就否定学生的创造力，很有可能学生能够正确地运用多学科思考，只是因为操作不当或者某种干扰而遭遇“失败”。另一方面，创造的成果在教育意义上也没有主体间的可比性，因为创新之路就是个性成长之路，个性间没有价值等级。比如，我们不能说学生创制的产品看起来简陋不堪，就不如其他产品。STEM教育所强调的能力绝非应试训练所能应付的，“刷题”解决不了“创中学”（杨开城等，2020a）的问题，STEM教育领域也不可能存在大规模的“STEM主题库”，而且刷“STEM主题库”耗时巨大，“刷题”这种简单粗暴的方法根本行不通。由此，STEM教学难“以成败论英雄”。
既然我们无法直接评估学生的创新成果，那么我们该如何评价STEM教学过程呢？人为地确立一个多级指标体系并由专家根据对教学过程的观察而打分的教学评价方式，现实中很难令人信服，而且也不实用。一方面，多级指标体系中级别高的指标项很抽象，级别低的指标项之间又很容易相互交叉重复，这些指标项的分值与教学过程可能存在的具体缺陷也不构成蕴含关系，一个令人印象不错的教学过程却可能包含着很显眼的缺陷。因某几个指标项的高分而获得总体高分，也不意味着它是好的。分值并不蕴含着识别和排除缺陷的路径。另一方面，打分只能是少数“专家”的权力，分值差异不具有统计意义，他们之间的判断差异无法得到有效处理，我们无法识别和排除专家的误判或偏见。最后，如果对教学过程的评估是常规职业行为，谁也无法提供如此多的教学过程评价专家。
由此，对于STEM教育来说，在不参考教学结果的情况下，如何评价教学过程就成为必须面对的问题。
二、对教学评价的再认识
1.教学评价的无效标尺
评价问题其实是一个比较问题，通过预设一个标尺，将评价对象与标尺对照，由此对评价结果做出判断。评价教学过程的问题便转化为将教学过程与什么进行对照的问题，或者说，要求教学过程符合什么标准的问题。前文所述的多级指标打分的办法其实是判断一个教学过程在多大程度上符合專家头脑中的理想模型或者教学经验的问题，但这里面的主观性非常强。
那么我们能要求教学过程必须符合某种方法模式吗？按前文所述，这是不成立的。首先，我们没有客观的判据来判定一个具体的教学过程是否符合某个方法或模式，充其量我们只能说某个教学过程是“试图按照”某个方法或模式构建的，这属于“目的论”意义上的遵循;其次，教学方法或模式过滤掉了具体的教学内容，对于教学过程真相而言，它已“失真”;再次，教学方法或模式的理论来源主要是心理学或者其他学科提供的理论模型而并非真实发生的因果联系，经验证据无法为它提供辩护，因为从教学效果出发很难归因到教学方法或模式上，而且教学效果属于当事人满意意义上的证据，算不上客观证据;最后，教学方法或模式与教学过程所试图达到的教学目标没有稳定的关联。总之，特定的方法或模式对于特定的学习目标而言，充其量具有一定的可行性而非普遍有效性。有研究表明，描述教学过程的教学模式属于伪概念（杨开城等，2008）。教学是为了达到学习目标，因此自然也就不必非要符合特定的方法和模式。
2.教学评价的合法标尺——教学方案
专家经验和方法模式都不适合做评价教学过程的标尺，那么还存在这种标尺吗？存在！一直存在！这个标尺就是教学方案。教学过程要符合教学方案。这既是实践的要求，也是评价教学过程的基本尺度。现实中，负责任的教师们本来就是按照事先规划好的教学方案行动，甚至在行动时，具体的学习目标都会淡入背景，但行动规划一直起着直接的引导作用。
教学方案完全可以成为评价教学过程的标尺。一方面，教学方案中包含了用于理解真实教学过程的关键信息，包括学习目标及其分配、体现教学意图的任务描述，等等。教学的功能就是帮助学生达到特定的学习目标，离开了学习目标我们便无法理解教学过程。而学习目标是通过一系列活动任务来实现的，每个活动任务由一系列师生行为组成。因此，对于单个师生行为，我们无法判别它是否合适。只有给定了体现教学意图的任务描述信息，我们才能判断特定一组师生行为合在一起是否完成了某个活动任务，并最终指向特定的学习目标。即是说，离开了教学方案我们无法完整地理解真实发生的教学过程，包括它的主旨与真义。另一方面，教学方案可以成为一种教学理想的表达。我们完全可以结合具体的教学内容和情境，将教育价值理念和具体关切融入教学方案，进而转化为特定的行为、规则、资源等切实又具体的细节。所以我们有理由将真实发生的教学过程与它的理想过程进行对照。由此我们断定，“符合教学方案的教学过程”就是可以接受的教学过程。教学方案就是评价真实教学过程的合法标尺。
3.教学评价理想标尺的锻造
评价标尺必须代表某种理想和高度。因此问题转化为如何评价教学方案？什么样的教学方案才能成为理想的标尺？这就彻底摆脱了现实中的教学结果的纠缠，而且教学方案自身包含足够的信息用于说明自身、做出评估。
教学方案既包含学习目标，又包含达到学习目标的手段设计，如果手段设计是合理的，教学方案也就是合理的。由于教学的复杂性，我们难以事先确立教学过程中的各种因果关系。任何成长最终都是学生自我建构的结果，因此无论何种手段都属于外在手段，它对于学习目标的作用都是间接的。越是高级的、综合的学习目标，手段对目标的间接性越强，就越需要时间积累，等待学生的“顿悟”和“开窍”，由量变引发质变。因此我们无法判定手段对于学习目标的直接因果性，而只能判断手段对于目标的指向性，即特定手段要素是否服务于学习目标或对学习目标的达成是否具有实质的贡献。这种手段与目标之间的指向性关系，我们称之为“目标—手段一致性”。它是教学方案最基本的质量特征。除了目标—手段一致性之外，我们还必须追求其他特征。根据传播学和认知心理学，我们认为教学过程中积极参与互动的学生越多越好，学生参与的环节越多越好，媒体形态越丰富越好。因此，学生参与度、媒体多元性也可以看作是教学方案的质量特征。也就是说，在满足目标—手段一致性的条件下，学生参与度、媒体多元性越高的教学方案，其质量也就越高，也就越适合做标尺。我们还可以加上目标的适切性、完整性等指标。作为标尺的教学方案当然是越完美越好。为了正确评估上述指标，教学方案必须是一种规定了师生交互以及所需资源工具细节的详案。只有详案才在手段上是完备的，才可能计算出目标—手段一致性等指标值，才可能逐渐优化成为理想的标尺。
LACID（Learning-Activity-Centered Instructional Design）理论（杨开城，2016）是能够生成详案的教学设计理论。这里以LACID为例来说明计算上述特征指标值的大致思路。简化一点说，教学设计的过程就是从知识技能类学习目标（除非特指，后文的学习目标都是指此类学习目标）出发生成师生交互的过程。学习目标包含两个方面的信息，一个是学习内容，另一个是学习水平。它的表征也存在两种形式，一种是用自然语言方式表述，另一种是用二元组（知识点，学习水平）方式表述。LACID采用的是后者。经验表明，用自然语言的方式表述学习目标极易将学习目标与活动任务混淆。用二元组方式表征的学习目标虽然琐碎一些，但更清晰、更易于理解和交流，也便于教学系统的分析。LACID还将学习内容表征为知识建模图。知识建模图是按照特定绘制规范绘制的、反映知识点之间隶属关系（而非语义关系）的知识网络图。LACID将整个教学过程看作是学习活动序列，将学习活动看作是活动任务序列，而活动任务表现为师生交互过程。当一节课的学习目标表征为（知识点，学习水平）序列时，我们便可以轻松将它们分配给学习活动，在学习活动内部再将它们分配给活动任务。
LACID规定了6类意义建构的活动任务和4类能力生成任务，每类意义建构任务都对应着特定结构模式的知识组块（知识建模子图），能力生成任务则需要以知识建模规范中的FC知识（事实和范例）作为基础。有了这样的架构，我们便可以判断活动任务中的师生交互过程是否是围绕着特定知识组块、按照特定活动任务类型展开的，从而判断这组师生交互是否是指向活动任务的学习目标的，这就是知识技能类目标的目标—手段一致性的判断过程。而且当发现不满足目标—手段一致性时，我们也能知晓何处的设计损害了目标—手段一致性。由于LACID要求将师生交互的细节设计出来，否则无法判断目标—手段一致性水平，但这也为计算学生参与度和媒体多元性提供了数据基础。比如，我们可以根据学生行为的类型和实质内容，根据师生言语行为、操作媒体的具体内容来计算学生参与度和媒体多元性;再比如，我们可以考察情感态度价值观类学习目标是否落实成特定的交互言语、媒体资源、活动规则和评价规则，由此判断价值观类目标的目标—手段一致性。当然，如果我们有更加系统化的分析手段，这些指标还可以设计得更加细致，而且还可以根据特定教学理念设计出特定的特征指标。
此外，理想的教学方案是长期打磨的结果，这个过程也是提升教师教学设计能力的过程。利用这个标尺去评价教学并提供反馈，必然有助于教师基于设计的行动力（杨开城等，2020b）这个专业能力的提升。
三、如何用教学过程证明教学自身
至此，最重要的问题才浮出水面，怎么判断教学过程是否符合教学方案？只有解决了这个问题，我们才能够用教学过程来证明自身的质量，摆脱“成败”的拖累。是让主讲教师根据自身体会或者专家根据听课的体会来做这个判断吗？那是前文反对的主观性极强的旧办法。更加科学的办法必须尽量摆脱对这种主观感受的依赖，要对两者做精确的对比。然而教学方案并非脚本，教学过程也不是按照教学方案进行的“表演”。在某种程度上说，教学方案中的师生交互设计用的是近似书面语表达的对话文本，而现实中发生的则是断续相间、重复交叉的口头语表达，而且还有各种意外信息的插入。二者几乎无法直接比较。但二者的确是同一种事物，它们都是某个教学系统的表达，只是表达方式不同。教学方案是教学系统的文本表达，现实发生的教学过程是同一个教学系统的行动表达，逻辑上讲二者是可以比较的。正确的办法是将二者都用同一种编码系统进行重新编码，都转化为同一种编码表示，这样便可以直接进行比较了。
我们主张将二者通过IIS图分析法（Analysis Based on Instructional Information Set Map）（杨开城等，2010）都转化为教学信息流序列。表面上看，教学过程是师生行动过程，但教学过程是教学系统的展现过程，教学系统不是行为系统而是信息系统（丁莹等，2012），教学过程的实质是信息流序列。我们将教学系统中信息流所蕴含的学习内容称为教学信息集合（Instructional Information Set），认为所有师生交互以及媒体信息都是为传递这些学习内容服务的。如果将学习内容所包含的知识抽取出来并绘制成知识网络图，这个图便可以用于教学系统分析。故我们将这个分析方法称为IIS图分析法，其中IIS图就是表征教学信息集合的知识图。通常，我们将IIS图绘制成知识建模图以及FC知识图（杨开城，2016），因为知识建模图和FC知识图是客观知识图，具有较好的数据一致性（赵文娟，2011），基于这种知识图所做的分析，结论更可靠。
IIS图分析法的基本操作过程如下：首先，获得待分析教学系统的原始数据，比如教学方案或教学视频。为了提高分析效率，我们需要将教学视频转录为师生交互的文本。其次，对于教师主导的教学过程，绘制原始数据所蕴含的知识建模图;对于自主探究的学习过程，还要绘制探究任务的FC知识图。最后，参照知识建模图或FC知识图将原始数据切分为信息流序列，为每条信息流进行属性标注。信息流的核心属性包括：<发起者><操作><信息类型><表征形态><IIS子图>，其中<IIS子图>代表特定类型信息流所蕴含的知识内容。
经过上述三步操作，我们便可以把教学方案和真实发生的教学过程都转化为教学的信息流序列，这样便可以对二者进行比较了。当然这种比较并非逐条信息流对比，而是需要特定的分析和计算。此外，有了这个信息流序列，我们可以为教学方案制定更为细致的质量指标。我们的经验表明，整图知识点总激活量①（IIS图所有知识点的激活量）、目标知识点激活度（目标知识点平均激活量与IIS整图知识点平均激活量的比值）、学生参与度（学生参与的目标知识点激活量）、媒体多元性（目标知识点表征形态数均值）、信息流类型完整性（信息类型数）、目标—手段一致性（杨开城等，2015）这6个指标可以代表教學方案的质量。
将教学方案和真实的教学过程转化为信息流序列，一方面过滤掉了教学中的个性化言语信息，只保留交互的语义信息以及其他与学习目标直接相关的信息，为后续的工作提供了客观的数据基础;另一方面却也导致信息不再直观且不便于理解。因此，我们还需要提高教学过程这种形式化表征的直观性，办法是将信息流序列合并转化为教学过程机制图，具体操作如下。
我们可以按照某种尺度将一个教学过程切分为多个教学环节序列，每个教学环节包含一段时间的教学。这样教学过程的信息流序列便被归入一个个教学环节。将教学环节内部信息流的<IIS子图>属性取合集，便生成了教学环节的主题图。如果该教学环节是教师主导的教学，我们用知识建模图来表示它的主题图;如果该教学环节是学生自主学习，我们用相应的FC知识图的一段子图来表示它的主题图。在这个主题图中标记好目标知识点以及目标的学习水平，也可以将目标单独罗列。最后，为教学环节配以师生交互行为的行为编码、信息流的其他统计信息以及这个环节的教学意图（如果将活动任务看作是教学环节，教学意图便是任务描述），教学环节图就绘制完毕。将教学环节图按照时间的顺序串并联起来，我们便得到了教学过程机制图（如图1所示）。它是信息颗粒度更大的教学过程的形式化表征。教学过程机制图主要反映了一个教学系统经过了几个教学环节、在蕴含何种知识内容的交互行为驱动下达成或偏离教学目标的。现有经验表明，教学过程机制图是一种教学过程的中观真相（杨开城等，2017），它不但直观易于理解，也可以实现教学方案与真实教学过程之间的比较。这种比较所反映出来的特性被称为教学方案—行动的一致性，也可以被看作是教学过程的预警指标。正常情况下，教学方案—行动的一致性位于0.75～0.9区间（许易，2016）。
負责任的教学绝不是任性胡为的过程。教学过程要“按章办事”。教学过程的确要符合某种东西，教师要按照某种东西来行动。除了教师价值观念之外，教学过程要符合的并不是什么方法或模式，而是预设的理想教学方案。将教学方案作为思考真实教学过程的基准，是因为教学方案可以是理想化而又具体的教学过程，并且它是可以反复斟酌打磨的东西，教师的教学经验和教学反思也需要凝结在教学方案中才会稳定地出现在后续的教学行动中。真实的教学过程是教学方案在现实条件下适应性的结果。在某种程度上说，真实的教学过程是教学方案的一个影子。通过影子我们可以调整教学方案，使之更合理。更合理的教学方案在统计意义上自然就会生成更合理的真实教学过程。但教学方案的合理性绝非与教师无关的绝对合理性，它奠基于教师自身的能力和个性上，与教师的专业成长纠缠在一起。当我们发现教学方案与行动严重不一致时，要具体分析这种不一致是否意味着缺陷，据此进行教学反思，并将反思结果转化为教学方案的更新，再进一步表现在教学行动中。
四、小结
如何评价教学？以往错误的回答是要么看学生的学业成绩，要么看“专家”基于一个指标体系给出的分数。其错误的根本原因是无视教学过程自身的真相。学生成绩代表着学生学习所得的真相，并不代表教学过程真相，其中有多少是教学的贡献不得而知。专家的评分代表着专家对教学的主观满意度，专家的感受也不能代表教学过程真相，而且专家资源从来都很紧俏。无视教学过程真相的教学评价，又怎么可能准确呢？这种错误的教学评价方法完全不具有实践的可行性和学理的合理性。STEM教育的出现使这个问题被彻底暴露出来，但这个问题却不仅限于STEM教育，它是一个普适问题。针对这个问题，本文提出了一个教学评价的全新思路：用教学过程证明教学自身。如果教学方案在目标—手段一致性、学生参与度、媒体多元性等方面是令人满意的理想方案，教学又是基本符合该教学方案的，那么该教学便是可接受的。至于如何鼓励和强化那些在教学方案中无法预先规定、需要在教学现场才能表现出来的合理行为则是另一个问题。基于这种逻辑评判教学过程，并不需要求助于教学结果。从研究的角度看，基于教学效果的教学研究容易陷入有效性陷阱，而基于一致性的教学研究才是科学研究之路（郑兰琴等，2014）。从实践的角度看，这种教学方案与教学行动之间的相符判断是基于IIS图分析法以及教学过程机制图做出的，它的优势恰恰在于它不需要“专家”出面，它可以成为专业人士的日常工作。
注释：
① 激活量是指特定类型的信息流所包含IIS子图的信息熵的累加和。
参考文献：
[1]丁莹，杨开城（2012）.教学分析方法的对比研究[J].现代教育技术，22（9）：12-17.
[2]许易（2016）.教学方案与教学行动的一致性研究[D].北京：北京师范大学.
[3]杨开城（2016）.以学习活动为中心的教学设计实训指南[M].北京：电子工业出版社.
[4]杨开城，何文涛，张慧慧（2017）.教学过程机制图：一种理解教学的重要中介[J].电化教育研究，38（1）：15-20，27.
[5]杨开城，林凡（2010）.教学系统的IIS图分析法及其实证研究[J].中国电化教育，（2）：31-33.
[6]杨开城，李波，窦玲玉等（2020a）.应用LACID理论进行STEM课程开发初探[J].中国电化教育，（1）：99-108.
[7]杨开城，张慧慧（2020b）.教师教研在何种意义上是必要的[J].电化教育研究，41（8）：11-18.
[8]杨开城，张晓英（2008）.教学模式到底是什么[J].中国电化教育，（4）：12-16.
[9]杨开城，张媛媛（2015）.基于IIS图分析的教案质量评估指标体系的构建[J].中国电化教育，（1）：124-130.
[10]赵文娟（2011）.知识建模技术的一致性研究[D]. 北京：北京师范大学.
[11]郑兰琴，杨开城（2014）.为什么要研究一致性而不是有效性？[J].中国电化教育，（9）：20-23.
收稿日期 2021-09-01 责任编辑 汪燕
A New Approach of Instruction Evaluation：
Justifying an Instruction by Its Own Process
YANG Kaicheng， LU Yun
Abstract：
An instruction cannot be evaluated scientifically by its outcomes. Instructional evaluation needs the comparison of an instructional process with its ideal scale which is not an ideal instruction resided in the evaluator’s mind， nor abstract instructional methods or patterns focused on by pedagogy. An instruction is a process attaining specific objectives， and the ideal scale used in instruction evaluation is simply the instructional plan. Because such a plan not only is an expression of an ideal instruction， but also contains key information for interpreting the real instructional process. However， the instructional plan which can be used as an ideal scale should at least meet such requirements as target-means consistency， media diversity， student participation and so on. An instructional plan and its real process are two different expression forms of the same instructional system， with the former as the text form， and the latter as the action. The two can’t compare with each other directly in the real practice， although they can in the logic sense. In order to compare an instructional plan with its real process， we can transform them into mechanic chart of instructional process with the help of the analysis method based on IIS-map. Since the mechanic chart presents a midscale visual truth about the instructional process and is easily interpreted， it can be used to compare an instructional plan and its real process. This comparison reflects the target-means consistency， which can be also considered as the early-warning indicator in the instruction process. As long as a real instruction process has been in accordance with its prepared plan that also meets the requirement of an ideal scale， the instruction process is acceptable. This approach to justify an instruction by its own process is a new way of instructional evaluation.
Keywords：
Instructional Evaluation; Instructional Plan; Analysis Based on IIS-Map; Mechanical Chart of Instruction Process; Consistency of Instructional Action with Instructional Plan