Rubrik merupakan seperangkat aturan/pedoman yang terdiri dari kriteria kinerja (performance criteria) dan skala penilaian (rating scale) untuk membedakan level kecakapan siswa yang digunakan sebagai acuan untuk menilai kualitas dari performa siswa sehingga penilaian tersebut tetap konsisten. Namun dalam proses penilaiannya, tetap saja sering terjadi kesalahan. Kesalahan umum yang sering terjadi antara lain:
- Leniency error, terjadi ketika seorang penilai cenderung menilai semua kategori pada level tinggi, menghindari level rendah.
- Severity error, adalah kesalahan yang berlawanan dari leniency error.
- Central tendency error, terjadi ketika seorang penilai ragu atau takut menggunakan extremes scale (tinggi atau rendah) and hanya menggunakan middle scale (skala penilaian diantara paling tinggi dan paling rendah).
- Halo effect, terjadi ketika kesan umum seorang penilai terhadap seorang peserta ikut mempengaruhi penilainnya.
- Personal bias, muncul jika seorang penilai cenderung menilai berdasarkan stereotip yang tidak relevan dari peserta, misalkan menilai pria lebih bagus daripada wanita, berkulit putih lebih bagus daripada yang lainnya, penilaian berdasarkan suku atau agama, dan lain sebagainya.
- A logical error, terjadi jika penilai memberikan nilai yang sama pada dua atau lebih dimensi dari performa yang diyakininya secara logika saling berhubungan padahal pada faktanya tidak berhubungan sama sekali.
- Rater drift, muncul ketika dalam penilaian, penilai mendefenisikan sendiri isi rubrik berdasarkan pemahaman mereka.
- Reliability decay, merupakan kesalahan instrumen dimana instrumen penilaian tidak dapat memberikan hasil yang konsisten.
