这一分析侧重于例子的评价和同学互评阶段的评价。它尽可能从众多的老师、学生评价中选出比较优秀的评价。这些“优秀”的评价用于计算最后的成绩。
这项分析最好是在老师评价是可用的时候进行。这些评价可作为判断学生评价的基准。老师并不需要评价每个实例和每个提交的作业,为了使这个分析有意义在于:更多的教师评价比平均每名学生所作的评价更好。 教师所做评价越多对分析出的结果越自信。
一般的分析需要做很多次,每次改变一种或多种选项。 分析可以由网页顶端的三个选项控制:
给定评定成绩的计算方法,如果学生可以评价分配给他们的所有作业,并且不删除任何评价,那么每个学生可以得到满分(在这个方面)。如果教师希望有一个更加合理的平均分数,把这个选项设为30%可以使平均评定成绩为70%(同样如果学生们可以对所有对他们开放的评价评分。)。
或者要删除的评价的数目可以这样设定以使剩下的好的评价产生一个限定在某个合理值范围内的平均误差。在误差表的第四列给出了这些百分比。例如,可以认为所有学生的评价大体上位于20%范围内。 分析要重复许多次来调整要删除评价的数目直到这列的数字都在一个限定的范围内。
除了误差表之外,分析还列出了所有评价的分数以及学生的最终分数。应该检查这个表以确保评分结果是合理的。特别地,如果许多评价被删除了,那么一些提交的作业相当于没有被评价,从而使学生的最终成绩太低。在页面的顶部,恰好在分数表之前,分析给出了提交作业的数目。这两个数目应该是相同的。如果有一个或多个提交的作业没有被评价,而且教师不想减少被删除的评价的数目,那么教师应该再评价这些提交的作业,再分析一次。在分析的最后阶段即在计算最终成绩的时候,所有提交的作业至少被评价一次,这是非常重要的。
在被删除的评价数目和最后的综合成绩之间有个平衡点。删除的评价越多,那么最后的成绩就会越低。然而,如果不删除不好的评价,那么学生们可能会抱怨决定他们作业成绩的评价的质量。假设说,有足够多的教师评价来决定分析,没有太多的强迫,那么删除一些在15%到30%之间的评价将是合理的。
注意到这个分析需要花很长时间,因为它是一个反复的过程。会出现很长的时间延续。