埃纳德的问题 -

埃纳德的问题

26/10/2024

贡献者 • 教育

通过 埃乌特·哈尔 & 奥塔维亚诺海伦*

像Enade这样简单的标准化考试并不适合评估创新和多元化的高等教育体系，这就是为什么世界上没有国家使用类似的方法

正如过去二十年中多次发生的那样，USP 再次提上议程，从本科课程开始参加全国学生成绩考试 (Enade)。对大学课程进行系统监测和评估是值得欢迎和必要的行动。当然，USP 必须承担起这项任务的责任并建立机制。然而，出于三个主要原因，必须非常谨慎地对待 USP 最终粘附到 Enade 上。

首先，我们会认为像 Enade 这样的简单标准化考试不适合评估创新和多样化的高等教育体系，这就是为什么世界上没有国家使用类似的方法。第二个原因是，通过参与 Enade，南太平洋大学将不必要地使其本科课程受到为其他类型机构设计的同质化监管，从而有缩小课程范围的风险。最后，对于 USP 课程，Enade 会产生高度不稳定的数字，不适合支持良好的教育政策。

有必要了解评估的目标是什么

教育评估专家界普遍认为测试的有效性需要有关其结果的使用和解释的证据。 Enade 的价值和有效性必须始终根据 USP 如何使用和解释其结果来判断。事实上，任何评估过程之前都必须先进行定义评估目的的工作。

例如，一所大学具有多种功能，例如培训专业人员、促进社会和文化发展、促进生产过程的进步、生产和利用科学知识等。除了这个多重目的之外，有必要知道每个目的的目标是什么以及你想走多远。一个简单的答案是，大学具有所有这些目的，而最终目标是天堂。然而，这种反应是不负责任的，因为如果为一个目的付出更多的努力，那么为其他目的付出的努力就会减少。

因此，任何有关评估的讨论都必须考虑的问题是了解评估内容的目标。有几个例子表明这个问题在评估之前就出现了。也许有关美国加利福尼亚州大型大学的讨论可以帮助理解这一过程。一个众所周知且引人注目的例子是美国该州的高等教育系统规划，在 1960 世纪 XNUMX 年代。

目前，该系统由三个部分组成：高校拥有近400万学生，提供专业和文化培训，并为希望在大学继续接受高等教育的学生提供踏脚石；加州州立大学，拥有超过300万名学生，其主要目的是培养专业人才，当然也不排除科学和文化生产；加州大学拥有近 XNUMX 万名学生，其主要目标包括科学知识的生产，但也不排除专业人士的培训。

显然，在这个例子中，高等教育系统各个部分的评估标准不可能相同。另一方面，即使在新版本中，Enade 也是一次单一考试，对于一个领域的所有课程都是相同的，其目的是通过一百道多项选择题来描述高等教育课程毕业生四年的培训情况，仅在一维或二维中。我们问：USP课程在社会中的作用是什么？ Enade 帮助 USP 评估其课程是否有助于“培训专业领导者和公民了解他们的社会角色“？

西奥多·波特在他的关于公共政策客观性建设历史的经典书籍，指出了为管理者创建所谓的客观指标的政治优势（“决定的是算法和指标”）。在像巴西这样的社会中，人们普遍认为判断力和 专门知识 人力资源尤其受到怀疑并容易腐败，在竞争或招标等评估过程中使用客观证据和测试被认为是必不可少的。一方面，在教育领域，通过标准化考试进行外部评估和比较的文化带来了重要进步，例如学校普查、Saeb 以及由此衍生的管理指标，例如伴随巴西整个基础教育的 Ideb。但重要的是要认识到 Enade 等标准化考试的有效性限制。

评估高等教育的标准化考试的不足

巴西是世界上唯一一个使用客观考试来评估和规范其高等教育体系的双重目的的国家。几乎没有其他国家试图通过在课程结束时对毕业生进行标准化考试来监控其高等教育体系的质量。其原因已被清晰地暴露出来在经合组织的一份报告中应巴西政府的要求，该组织调查了其课程的“质量保证”体系。尽管该报告是由一个以致力于使用定量证据管理教育系统而闻名的组织编写的，但它对当前系统非常批评，并表明 Enade 衡量高等教育课程毕业生学习情况的目标是完全无法实现的，因为三个人主要原因。

首先，与初等教育结束时的评估不同，目前尚不清楚要衡量什么。不像基础教育那样，不存在也不应该有一套每个人都必须掌握的共同技能和能力。高等教育的一个特点是课程和学习目标的多样性很大。仅评估最通用技能的 Enade 会贬低那些能够精确培养高等教育课程所期望的更专业技能的课程。但对更具体技能的任何评估都必然遵循对课程目标的单一愿景，从而损害了教育系统更高级阶段所重视的多元化愿景。

第二个挑战是技术性的：如何创建一个相对较短的考试，能够可靠地评估四年培训期间获得的内容和技能？出于监管目的，新的 Enade（目前针对本科课程）建议使用项目反应理论 (IRT)，为一般培训维度创建一个包含 45 个多项选择题的考试，针对每个领域的特定维度创建 60 个多项选择题。即使承认教学能力是一种可以在一维或二维的数字尺度上捕获的结构（由于上述原因，这是一个非常有问题的介词），更令人怀疑的是一百个多项选择题是否能够公平地评估四年的培训。

第三，通过建立标准化考试，由于实际原因，考试时间必然很短，并且侧重于非常有限的技能，因此课程将存在巨大的风险，即课程只会培训学生这些技能。课程范围的缩小将损害创新的可能性以及课程适应变化和当地情况的能力。

经合组织专家提到的所有这些原因严重限制了从高等教育标准化考试中得出的合理推论。正是由于这些原因，世界上没有其他国家通过这种过程评估其高等教育课程。经合组织于 2013 年推动的试点项目 AHELO 倡议因被认为不可行而被放弃。在欧洲和美国，高等教育系统不是依靠单一的评估形式，而是通过采用广泛和全面的评估形式的认证机构进行评估。

新的Enade将增加问题数量，并使用IRT来使多年的应用之间具有可比性并提高准确性。与任何标准化考试一样，新的 Enade 有可能提供有价值的证据，帮助改进课程或公共政策的方向。但教育评估专家警告测试不一定衡量其标题所说的内容一点点均衡魔法并不一定能让两个测试相等。评估文献特别警告使用单一测试来进行诊断和监管几乎是不可能的。

在将新 Enade 生成的数据用于监管目的和其他高价值目的之前，必须对其功能、有效性、可靠性和解释进行研究。非常令人担忧的是，Enade的负责机构Inep在2014年至2021年间错误地计算了来自Enade的最重要指标，从而导致为课程分配基本上随机的数字。这个错误终于在2024年得到纠正，但多年来对评估过程感兴趣的人都没有注意到它的存在，这让人对Inep指标的真正监管作用以及其控制自身质量的能力产生了怀疑。指标。

USP不使用Enade的具体原因

除了 OECD 和评估专家强调的普遍困难之外，就 USP 而言，还有其他理由对参与 Enade 持怀疑态度。

首先，一个技术点。在目前的Enade中，扣除Enem对新生的影响，课程成绩的差异很小：只有学生成绩差异的10%左右。换句话说，给定课程中学生之间的 Enade 成绩差异远大于课程平均值之间的差异，对于新的 Enade 来说，这种情况也将继续如此。这意味着任何源自学生Enade分数的课程指标都必须由许多参与的学生计算得出，才能具有统计可靠性。

事实证明，根据高等教育普查，USP 34 个本科课程中只有 50 个拥有超过 XNUMX 名毕业生（过去五年的平均水平）。对于大多数USP的本科课程（以及其他课程）来说，任何来自Enade的平均值或其他指标都将相当不稳定，基于它们而采取的政策将是错误的。

其次，原则上，如果结果用于诊断目的，考试可以提供有关 USP 课程的有趣证据。但流传的一种说法是，Enade 的参与可以免除国家教育委员会对课程重新认可的需要，这清楚地表明了他们希望将其成果用于监管目的的愿望。

在这种情况下，课程几乎不可避免地面临着由 Enade 狭隘矩阵指导的压力，而不是由国家课程指南指导，而国家课程指南有意为课程留下了根据当地实际情况设计课程的自由。同样，遵守 Enade 将削弱 USP 为其课程实施更适合其自身背景的更广泛评估计划的努力。