Sebagaimana telah diungkap pada konten penilaian kinerja (performance assessment), bahwa performance assessment terdiri dari tasks (tugas) dan rubrik. Tugas-tugas (tasks) dapat berupa suatu proyek, pameran, portofolio atau tugas-tugas yang mengharuskan siswa memperlihatkan kemampuan menangani hal-hal yang kompleks melalui penerapan pengetahuan dan keterampilan tentang sesuatu dalam bentuk yang paling nyata (real world applications). Sedangkan kriteria atau rubrik merupakan panduan untuk memberi skor, jelas dan disepakati oleh guru/dosen dan mahasiswa/siswa.
Tugas-tugas assessmen kinerja dapat diwujudkan dengan berbagai bentuk:
Computer adaptive testing (sepanjang tidak berbentuk tes objektif), yang menuntut peserta tes untuk mengekspresikan diri sehingga dapat menunjukkan tingkat kemampuan yang nyata.
Tes pilihan ganda yang diperluas, yaitu bentuk tes objektif ini dapat digunakan apabila tes tidak sekadar memilih jawaban yang dianggap benar. Tes ini harus menuntut siswa berpikir tentang alasan mengapa memilih jawaban tersebut sebagai jawaban yang benar.
Extended-response atau open ended question dapat juga digunakan asal tidak hanya menuntut adanya satu jawaban ”benar” yang terpola.
Group performance assessment, yaitu tugas-tugas yang harus dikerjakan oleh siswa secara berkelompok.
Individual performance assessment yaitu tugas-tugas individual yang harus diselesaikan secara mandiri.
Interview, yaitu siswa harus merespons pertanyaan-pertanyaan lisan dari asesor.
Nontraditional test item yaitu butir soal yang tidak bersifat obyektif tetapi merupakan suatu perangkat respon yang mengharuskan siswa memilih berdasarkan kriteria yang ditetapkan.
Observasi, meminta siswa melakukan suatu tugas. Selama melaksanakan tugas tersebut siswa diobservasi baik secara terbuka maupun tertutup. Observasi dapat pula dilakukan dalam bentuk observasi partisipatif.
Portofolio, satu kumpulan hasil karya siswa yang disusun berdasarkan urutan waktu maupun urutan kategori kegiatan.
Project, exhibition, or demonstration yaitu penyelesaian tugas-tugas yang kompleks dalam suatu jangka waktu tertentu yang dapat memperlihatkan penguasaan kemampuan sampai pada tingkatan tertentu.
Short answer, open-ended menuntut jawaban singkat mahasiswa, tetapi bukan memilih jawaban dari sederat kemungkinan jawaban yang telah disediakan.
Kriteria Penilaian (Rubrik)
Rubric is a scoring tool that lists the criteria for piece of work, or what counts (Andrade, 1997). Sedangkan American Association for the Advancement of Science membuat definisi yang hampir sama dengan di atas, yaitu: “a rubric is a scoring guide that differentiates, on an articulated scale, among a group of simple behaviours, or evidences of thought that are responding to the same prompt”.
Secara singkat rubrik terdiri dari beberapa elemen, yaitu:
dimensi, yang akan dijadikan dasar menilai kinerja siswa;
definisi dan contoh, yang merupakan penjelasan mengenai setiap dimensi;
skala yang akan digunakan untuk menilai dimensi;
standar untuk setiap kategori kinerja.
Rubrik adalah pedoman penskoran. Rubrik analitik adalah pedoman untuk menilai berdasarkan beberapa kriteria yang ditentukan. Dengan menggunakan rubrik ini dapat dianalisa kelemahan dan kelebihan seorang siswa terletak pada kriteria yang mana.
Rubrik holistik adalah pedoman untuk menilai berdasarkan kesan keseluruhan atau kombinasi semua kriteria. Untuk rubrik seperti ini, salah satu contoh penyebutan yang digunakan adalah tingkat 1 (tidak memuaskan), tingkat 2 (cukup memuaskan dengan banyak kekurangan), tidak 3 (memuaskan dengan sedikit kekurangan) dan tingkat 4 (superior) atau tingkat 0, tingkat 1, tingkat 2, dan tingkat 3 (masing-masing dengan sebutan yang sama).
Berikut ini adalah contoh rubrik holistik skala 4 secara umum.
Tingkat (Level) Kriteria Umum
4 (Superior) Menunjukkan pemahaman yang lebih terhadap konsep-konsep
Menggunakan strategi-strategi yang sesuai
Komputasinya (perhitungan) benar
Penjelasan patut dicontoh
Diagram/tabel/grafik tepat (sesuai dengan permintaan)
Melebihi pemecahan masalah yang diiginkan
3 (Memuaskan dengan sedikit kekurangan) Menunjukkan pemahaman terhadap konsep-konsep
Menggunakan strategi yang sesuai
Komputasi sebagian besar benar
Penjelasan efektif
Diagram/tabel/grafik sebagian besar tepat
Memenuhi semua pemecahan masalah yang diinginkan
2 (Cukup memuaskan dengan banyak kekurangan) Menunjukkan pemahaman terhadap sebagian besar konsep-konsep
Tidak menggunakan strategi yang sesuai
Komputasi sebagian besar benar
Penjelasan memuaskan
Diagram/tabel/grafik sebagian besar tepat
Memenuhi sebagian besar pemecahan masalah yang diinginkan
1 (Tidak memuaskan) Menunjukkan sedikit atau tidak ada pemahaman terhadap konsep-konsep
Tidak menggunakan strategi yang sesuai
Komputasi tidak benar
Penjelasan tidak memuaskan
Diagram/tabel/grafik tidak tepat
Tidak memenuhi pemecahan masalah yang diinginkan
Contoh rubrik analitik untuk rubrik penilaian presentasi siswa
Skala
Kriteria/Sub Kriteria 1 2 3 4
1. Kejelasan presentasi
Sistematika dan organisasi
Bahasa yang digunakan
Suara
2. Pengetahuan
Penguasaan materi presentasi
Memberi contoh-contoh yang relevan
Dapat menjawab pertanyaan yang berhubungan dengan materi presentasi
3. Penampilan
Presentasi menarik, menggunakan alat-alat bantu dan media yang sesuai
Kerapian, kesopanan dan rasa percaya diri
Membuat Rubrik
Beberapa hal yang harus diperhatikan dalam membuat rubrik penilaian unjuk kerja yaitu:
Jenis kriteria
Pada mata pelajaran matematika, kriteria yang selalu diperhatikan adalah pemahaman konsep, pemecahan masalah, penalaran dan komunikasi. Apakah siswa memperlihatkan bahwa mereka sudah memahami konsep baik melalui pemecahan masalah atau melalui kesalahan yang dilakukan? Apakah dibutuhkan rencana atau strategi untuk memecahkan masalah? Sudahkah siswa mengorganisasi semua informasi yang diketahui? Apakah cara yang digunakan sistematis dan rapi? Bisakah pembaca mengikuti alasan yang diberikan?
Disamping kriteria-kriteria di atas, apa lagi yang penting? Bagaimana dengan komputasi (perhitungan). Apakah jawaban yang diberikan sudah benar? Apakah kesalahan perhitungan hanya sedikit atau besar? Apakah semua jawaban yang mungkin sudah diungkapkan siswa?
Perlu juga dipertimbangkan bahwa terlalu banyak kriteria yang dipertimbangkan akan banyak memakan waktu untuk penyekoran. Tetapi jika kriteria yang diinginkan terlalu sedikit, mungkin hasil yang diperoleh tidak akan cukup untuk memberikan informasi dalam memperbaiki unjuk kerja siswa.
Sub kriteria
Seringkali beberapa kriteria memiliki beberapa kategori yang disebut sub kriteria. Sebagai contoh, jika seorang siswa membuat presentasi sebagai bagian dari tugas yang diselesaikan maka kriteria penilaian dapat berupa “kualitas presentasi” dengan sub kriterianya bisa berupa “kejelasan dalam menyajikan”, “orisinal dan kesungguhan” dan “keterlibatan semua anggota kelompok”.
Skala penilaian
Dalam menentukan skala yang digunakan ada hal-hal penting yang harus diperhatikan seperti berikut ini:
Tujuan penilaian. Ini akan mempengaruhi banyaknya angka pada skala penilaian. Jika rubrik digunakan untuk melihat kemajuan atau perkembangan siswa, maka angka pada skala akan lebih banyak daripada rubrik yang digunakan untuk penilaian saja. Rubrik yang digunakan untuk perkembangan akan mencerminkan jangkauan usia siswa. sebagai contoh adalah rubrik keterampilan menggambar grafik yang dikembangkan untuk siswa TK sampai siswa kelas XII akan sangat disarankan memuat 10 angka. Untuk siswa TK sudah dianggap baik sekali apabila dapat mencapai tingkat 2 tetapi kalau siswa SMA kelas X yang mencapai tingkat ini tentu tidak sesuai dengan tingkatannya.
Ganjil atau genap. Untuk tujuan penilaian, umumnya skala genap lebih disarankan. Skala ganjil memuat nilai tengah yang nyata. Penilai yang ragu-ragu cenderung untuk memberi nilai angka tengah. Skala genap tidak memiliki angka tengah. Dalam hal ini penilai harus membuat keputusan untuk memberi penilaian yang pasti. Skala penilaian yang disarankan adalah skala 4 (0 – 3 atau 1 – 4) atau skala 6 (0 – 5 atau 1 – 6). Perlu dipertimbangkan bahwa semakin besar skala akan banyak memakan waktu untuk melakukan penilaian.
Membagi skala untuk batasan memenuhi dan tidak memenuhi
Sangat penting untuk menentukan batasan yang memenuhi dan tidak memenuhi. Pada skala 5, misal 1 – 5, mudah menentukan batasan memenuhi dan tidak memenuhi. Skala 1 dan 2 dapat dianggap sebagai unjuk kerja yang tidak memenuhi, skala 3 dianggap unjuk kerja yang cukup memenuhi, skala 4 adalah unjuk kerja yang baik dan skala 5 adalah unjuk kerja yang sangat baik. Namun untuk skala 4, skala antara yang memenuhi dan tidak memenuhi perlu dipikirkan masak-masak.
Sebutan untuk setiap tingkat
Sehubungan dengan keperluan untuk mendefinisikan batasan antara memenuhi dan tidak memenuhi adalah penyebutan untuk setiap tingkat. Pada skala 4, contoh sebutan ini adalah “tingkat 1”, “tingkat 2”, “tingkat 3”, dan “tingkat 4”. Selain itu sebutan dapat juga diungkapkan dengan kata-kata yang positif seperti “pemula”, “mampu”, “baik”, dan “sangat baik” atau kata-kata lain yang sejenis.
Deskripsi untuk tingkat penampilan yang berbeda
Ada beberapa hal yang harus diperhatikan dalam mendeskripsikan tingkat penampilan yaitu:
Bahasa yang digunakan. Kata-kata yang digunakan harus deskriptif dan tidak komparatif. Sebagai contoh kata-kata “rata-rata” haruslah dihindari.
Deskripsi semua subkriteria. Jika kriteria memuat subkriteria maka tiap-tiap subkriteria harus dideskripsikan dengan jelas. Sebagai contoh jika kriteria presentasi memuat ketepatan, orisinalitas dan keterlibatan setiap anggota kelompok, maka deskripsi penampilan tiap-tiap tingkat harus meliputi semua subkriteria tadi.
Menghitung skor
Berdasarkan rubrik yang sudah dibuat dapat dinilai tugas unjuk kerja yang dikerjakan siswa. skor yang diperoleh masih harus dirubah dulu dalam skala angka yang ditetapkan (misal dalam bentuk 0 – 100). Beberapa hal penting yang perlu diperhatikan adalah:
Bobot pertanyaan. Apakah bobot dari masing-masing pertanyaan sama atau berbeda?
Cara menghitung. Bagaimana mengitung nilai dari semua skor yang diperoleh?
Untuk hal ini, dapat dijelaskan dengan contoh rubrik penilaian presentasi siswa berikut:
Kriteria yang dinilai adalah: kejelasan presentasi, pengetahuan dan penampilan yang mempunyai sub-sub kriteria seperti yang telah dipaparkan sebelumnya. Skala penilaian adalah skala 4 angka dengan penyebutan tingkat 1, tingkat 2, tingkat 3, dan tingkat 4. jika presentasi dilakukan oleh kelompok maka kriteria penilaian dapat ditambah, misalkan kriteria keterlibatan (kontibusi) dalam kelompok dengan sub kriteria yang berkaitan dengan kriteria itu.
Misalkan dianggap bahwa pengetahuan adalah kriteria yang terpenting dalam penilaian tersebut maka penilaian diberi bobot 2 sedangkan yang lainnya hanya diberi bobot 1. misalkan siswa yang bernama Gunawan melakukan presentasi dan diberi nilai berdasarkan rubrik tersebut sebagai berikut.
Skala
Kriteria/Sub Kriteria 1 2 3 4 Skor
1. Kejelasan presentasi (bobot 1)
Sistematika dan organisasi
Bahasa yang digunakan
Suara
X
X
X
3
3
3
2. Pengetahuan (bobot 2)
Penguasaan materi presentasi
Memberi contoh-contoh yang relevan
Dapat menjawab pertanyaan yang berhubungan dengan materi presentasi
X
X
X
4
4
4
3. Penampilan (bobot 1)
Presentasi menarik, menggunakan alat-alat bantu dan media yang sesuai
Kerapian, kesopanan dan rasa percaya diri
4
4
4
4
Jumlah skor 29
Skor maksimum 44
Nilai 66
Penjelasan:
Skor yang diperoleh = tingkat x bobot
Skor untuk kejelasan presentasi = (3 x 1) + (3 x 1) + (3 x 1) = 9
Skor untuk pengetahuan = (2 x 2) + (2 x 2) + (2 x 2) = 12
Skor untuk kejelasan presentasi = (4 x 1) + (4 x 1) = 8
Skor total = 29
Skor maksimum = 12 + 24 + 8 = 44
Nilai Gunawan jika dikonvensikan ke skala 0 – 100 adalah 29/44 x 100 = 65,91 = 66.
Selasa, 29 September 2009
PERFORMANCE ASSESSMENT
PENILAIAN KINERJA (PERFORMANCE ASSESSMENT)
Definisi:
Danielson S. A Collection of Performance Task And Rubriks. http://www.assesment.com/Danielson/ 10/4/2006, mendefinisikan penilaian unjuk kerja sebagai “Performance assesment means any assesment of student learning that requires the evaluation of student writing, product, or behavior. That is, it includes all assesment with the exeption of multiple choice, matching, true/false testing, or problem with a single correct answer”.(penilaian unjuk kerja adalah penilaian belajar siswa yang meliputi semua penilaian dalam bentuk tulisan, produk atau sikap kecuali bentuk pilihan ganda, menjodohkan, benar-salah, atau jawaban singkat.
Fitzpatrick dan Morison (1971) berpandangan bahwa penilaian kinerja (performance assessment) sebenarnya tidak memiliki perbedaan yang begitu besar dengan tes lainnya yang dilaksanakan di dalam kelas, hal ini menurut mereka tergantung dari sejauhmana tes itu dapat mensimulasikan situasi dari kriteria-kriteria yang diharapkan.
Trespeces (1999) mengatakan bahwa “performance assessment” adalah berbagai macam tugas dan situasi dimana peserta tes diminta untuk mendemonstrasikan pemahaman dan pengaplikasian pengetahuan yang mendalam, serta keterampilan di dalam berbagai macam konteks. Jadi boleh dikatakan bahwa “performance assessment” adalah suatu penilaian yang meminta peserta tes untuk mendemonstrasikan dan mengaplikasikan pengetahuan ke dalam berbagai macam konteks sesuai dengan kriteria yang diinginkan.
Wangsatorntanakhum (1997) menyatakan bahwa assessment kinerja terdiri dari dua bagian yaitu “clearly defined task and a list of explicit criteria for assessing student performance or product”. Lebih lanjut dinyatakan pula bahwa assessment kinerja diwujudkan berdasarkan “empat asumsi” pokok, yaitu: 1) performance assessment didasarkan pada partisipasi aktif mahasiswa/siswa, 2) tugas-tugas yang diberikan atau dikerjakan oleh siswa/mahasiswa yang merupakan bagian yang tidak terpisahkan dari keseluruhan proses pembelajaran, 3) performance assessment tidak hanya untuk mengetahui posisi siswa pada suatu saat dalam proses pembelajaran, tetapi lebih dari itu, assessment juga dimaksudkan untuk memperbaiki proses pembelajaran itu sendiri, dan 4) dengan mengetahui lebih dahulu kriteria yang akan digunakan untuk mengukur dan menilai keberhasilan proses pembelajarannya, siswa akan secara terbuka dan aktif berupaya untuk mencapai tujuan pembelajaran.
Seringkali “performance assessment” ini dikaitkan dengan suatu kriteria yang diinginkan dalam praktek kehidupan sehari-hari. Hal tersebut dikenal dengan nama “Authentic Assessment (penilaian autentik)” Jadi pengertian dari “authentik assessment” ini selalu melibatkan peserta tes di dalam mengaplikasikan pengetahuan dan keterampilan yang diperlukan dalam praktek kehidupan mereka sehari-hari.
Karakteristik Penilaian Kinerja
Performance assessment memiliki karakteristik dasar yaitu : 1) peserta tes diminta untuk mendemonstrasikan kemampuannya dalam mengkreasikan suatu produk atau terlibat dalam suatu aktivitas (perbuatan), misalnya melakukan eksperimen untuk mengetahui tingkat penyerapan dari kertas tisue, 2) produk dari performance assessment lebih penting daripada perbuatan (performan)-nya. (Maertel, 1992)
Dalam hal memilih, apakah yang akan dinilai itu produk atau performance (perbuatan) tergantung pada karakteristik domain yang diukur (Messirh, 1994). Dalam bidang seni misalnya, seperti acting dan menari, perbuatan dan produknya sama penting, tetapi dalam creative writing mengukur produk adalah fokus yang utama.
Bagaimana mengetahui kualitas penilaian kinerja?
Untuk mengetahui apakah penilaian kinerja (performance assessment) dapat dianggap berkualitas atau tidak, terdapat tujuh kriteria yang perlu diperhatikan oleh evaluator. Ketujuh kriteria ini sebagaimana diungkap oleh Popham (1995) yaitu:
Generability : apakah kinerja peserta tes (students performance) dalam melakukan tugas yang diberikan tersebut sudah memadai untuk digeneralisasikan kepada tugas-tugas lain? Semakin dapat digeneralisasikan tugas-tugas yang diberikan dalam rangka penilaian keterampilan atau penilaian kinerja (”performance assessment) tersebut, dalam artian semakin dapat dibandingkan dengan tugas yang lainnya maka semakin baik tugas tersebut. Hal ini terutama dalam kondisi bila peserta tes diberikan tugas-tugas dalam penilaian keterampilan (performance assessment) yang berlainan.
Authenticity: apakah tugas yang diberikan tersebut sudah serupa dengan apa yang sering dihadapinya dalam praktek kehidupan sehari-hari?
Multiple foci: apakah tugas yang diberikan kepada peserta tes sudah mengukur lebih dari satu kemampuan-kemampuan yang diinginkan (more than one instructional outcomes)?
Teachability: apakah tugas yang diberikan merupakan tugas yang hasilnya semakin baik karena adanya usaha mengajar guru di kelas? Jadi tugas yang diberikan dalam penilaian keterampilan atau penilaian kinerja (performance assessment) adalah tugas-tugas yang relevan dengan yang dapat diajarkan guru di dalam kelas.
Fairness: apakah tugas yang diberikan sudah adil (fair) untuk semua peserta tes. Jadi tugas-tugas tersebut harus sudah dipikirkan tidak ”bias” untuk semua kelompok jenis kelamin, suku bangsa, agama, atau status sosial ekonomi.
Feasibility: apakah tugas-tugas yang diberikan dalam penilaian keterampilan atau penilaian kinerja (performance assessment) memang relevan untuk dapat dilaksanakan mengingat faktor-faktor seperti biaya, ruangan (tempat), waktu, atau peralatannya?
Scorability: apakah tugas yang diberikan nanti dapat diskor dengan akurat dan reliabel? Karena memang salah satu yang sensitif dari penilaian keterampilan atau penilaian kinerja (performance assessment) adalah penskorannya.
Langkah-Langkah Penilaian Kinerja
Beberapa langkah yang perlu diperhatikan dalam melakukan penilaian kinerja (performance assessment) adalah:
Identifikasi semua langkah-langkah penting yang diperlukan atau yang akan mempengaruhi hasil akhir (output) yang terbaik.
Tuliskan perilaku kemampuan-kemampuan spesifik yang penting dan diperlukan untuk menyelesaikan tugas dan menghasilkan hasil akhir (output) yang terbaik.
Usahakan untuk membuat kriteria-kriteria kemampuan yang akan diukur tidak terlalu banyak sehingga semua kriteria tersebut dapat diobservasi selama siswa melaksanakan tugas.
Definisikan dengan jelas kriteria kemampuan-kemampuan yang akan diukur berdasarkan kemampuan siswa yang harus dapat diamati (observable) atau karakteristik produk yang dihasilkan.
Urutkan kriteria-kriteria kemampuan yang akan diukur berdasarkan urutan yang dapat diamati
Kalau ada, periksa kembali dan bandingkan dengan kriteria-kriteria kemampuan yang sudah dibuat sebelumnya oleh orang lain di lapangan.
Untuk menjaga obyektifitas dan keadilan (fair) sebaiknya penilai atau evaluator lebih dari satu orang sehingga penilaian mereka menjadi lebih valid dan reliabel.
Masalah Validitas, Reliabilitas dan Fairness
a. Validitas
Kompleksnya tugas dan kemampuan yang akan diukur dalam performance assessment dapat menimbulkan masalah dalam penskoran dan keterwakilannya domain yang hendak diukur.
Suatu tugas dalam penilaian unjuk kerja atau kinerja yang kompleks tentunya memerlukan proses penilaian yang kompleks juga, dan sebaliknya ada tugas yang memerlukan lebih dari satu kemampuan, seperti kompetensi bahasa dan kemampuan matematik. Problem soalnya dalam matematika memerlukan domain pengetahuan yang relevan dan keterampilan dalam menggunakan informasi tentang komponen-komponen kemampuan yang akan diukur. Selain penskorannya juga harus direview untuk melihat sejauhmana penskoran tersebut sudah mencakup kemampuan yang kompleks.
b. Reliabilitas
Masalah reliabilitas juga menjadi pertanyaan pokok dalam penilaian unjuk kerja, yaitu sejauhmana skor siswa dapat merefleksikan kemampuan siswa yang sebenarnya (true ability) dan bukan akibat dari kesalahan pengukuran. Tujuan dari pengembang tes adalah mendesain penulisan, membuat kondisi pelaksanaan tes dan penskorannya tidak terhambat pada situasi yang tidak berkembang dengan kemampuan yang hendak diukur. Masalah pada penilaian performance biasanya adalah:
penskoran (rating) dari pemberi skor performance assessment.
Siswa tidak mengenali alat-alat performance assessment yang dimanipulasi.
Siswa tidak mengenal topik yang ditingkatkan dalam performance assessment.
Akan tetapi kesalahan yang disebabkan oleh penskor (rater) dapat diminimalkan apabila pedoman penskoran performance asssessment dibuat & didefinisikan sebaik mungkin dan juga sebelum dimulai penskoran diadakan pelatihan penskoran (rater) terlebih dahulu.
c. Fairness
Permasalahan yang berhubungan dengan fairness dalam performance assessment adalah 1) perbandingan dalam penulisan, 2) ketersediaan alat-alat yang diperlukan, 3) kesempatan untuk belajar atau berlatih. Apabila tugas dalam performance assessment ada beberapa pilihan, maka harus ada bukti validitas perbandingan dari tugas-tugas tersebut.
Sumber Kesalahan Penskoran dalam Penilaian Kinerja
Masalah utama dalam penilaian kinerja adalah masalah penskorannya. Dikarenakan banyak factor yang mempengaruhi pada hasil penskoran penilaian keterampilan atau penilaian kinerja (performance assessment). Masalah penskoran pada penilaian keterampilan atau penilaian kinerja lebih kompleks daripada penskoran pada bentuk soal uraian.
Popham (1995) menguraikan tiga sumber utama kesalahan penskoran penilaian kinerja, yaitu:
Masalah dalam instrument: instrumen pedoman penskoran tidak jelas sehingga sukar digunakan oleh penilai. Selain itu komponen-komponen yang harus dinilainya juga sukar untuk diskor, umumnya karena komponen-komponen tersebut sukar untuk diamati (unobservable). Hal yang demikian tentunya akan mengakibatkan hasil penskoran yang tidak valid, dan tidak akurat (tidak reliabel).
Masalah prosedural: prosedur yang digunakan dalam penilaian keterampilan atau penilaian kinerja tidak baik sehingga juga mempengaruhi hasil penskoran. Masalah yang biasanya terjadi adalah penskor (rater) harus menskor komponen-komponen yang terlalu banyak. Bagi penskor sebenarnya semakin sedikit komponen yang harus dinilai semakin baik, tetapi pembuat pedoman penskoran tetap harus membuat pedoman penskoran yang dapat mewakili semua komponen-komponen penting yang mempengaruhi kualitas hasil akhir. Masalah lain dari prosedur ini adalah umumnya penskor (rater) hanya satu orang, sehingga sukar untuk dapat membandingkan hasil pertimbangan (adjustment) penskoran dengan orang lain.
Masalah penskor yang bias: penskor (rater) cenderung untuk sukar menghilangkan masalah, ”personal bias”. Sewaktu menskor hasil pekerjaan peserta tes ada kemungkinan penskor (rater) mempunyai masalah ”generosity error” artinya penskor cenderung memberi nilai yang tinggi-tinggi, walaupun kenyataan yang sebenarnya hasil pekerjaan peserta tes tidak baik. Kemungkinan juga penskor mempunyai masalah ”severity error” artinya penskor cenderung memberi nilai yang rendah-rendah, walaupun kenyataannya hasil pekerjaan peserta tes tersebut baik. Kemungkinan lain penskor juga cenderung dapat memberi nilai yang sedang-sedang saja, walaupun pada kenyataannya hasil pekerjaan peserta tes ada yang baik dan ada yang tidak baik. Masalah lain adalah adanya kemungkinan penskor tertarik atau simpati pada peserta tes sehingga sukar baginya untuk memberi nilai yang objektif (hallo efect)
Rubrik Penilaian
Konten ini dapat anda baca di konten dengan judul ”Tugas dan Penyusunan Kriteria Penilaian (Rubrik)” di www.forumpenelitian.blogspot.com/tugas+dan+penyusunan+penilaian+rubrik
Bahan bacaan:
Popham, W. James. 1995. Classroom Assessment: What Teacher Need to Know. Needham Heights, MA: Allyn & Bacon, A Simmon & Schuster Company.
Danielson S. A Collection of Performance Task And Rubriks. http://www.assesment.com/Danielson/ 10/4/2006
Nitco, A.J. & Hsu. T. 1996. Teacher’s Guide to Better Classroom Testing A Judgemental Approach. Jakarta: Madecor Career System and Pusat Pengembangan Agribisnis.
Definisi:
Danielson S. A Collection of Performance Task And Rubriks. http://www.assesment.com/Danielson/ 10/4/2006, mendefinisikan penilaian unjuk kerja sebagai “Performance assesment means any assesment of student learning that requires the evaluation of student writing, product, or behavior. That is, it includes all assesment with the exeption of multiple choice, matching, true/false testing, or problem with a single correct answer”.(penilaian unjuk kerja adalah penilaian belajar siswa yang meliputi semua penilaian dalam bentuk tulisan, produk atau sikap kecuali bentuk pilihan ganda, menjodohkan, benar-salah, atau jawaban singkat.
Fitzpatrick dan Morison (1971) berpandangan bahwa penilaian kinerja (performance assessment) sebenarnya tidak memiliki perbedaan yang begitu besar dengan tes lainnya yang dilaksanakan di dalam kelas, hal ini menurut mereka tergantung dari sejauhmana tes itu dapat mensimulasikan situasi dari kriteria-kriteria yang diharapkan.
Trespeces (1999) mengatakan bahwa “performance assessment” adalah berbagai macam tugas dan situasi dimana peserta tes diminta untuk mendemonstrasikan pemahaman dan pengaplikasian pengetahuan yang mendalam, serta keterampilan di dalam berbagai macam konteks. Jadi boleh dikatakan bahwa “performance assessment” adalah suatu penilaian yang meminta peserta tes untuk mendemonstrasikan dan mengaplikasikan pengetahuan ke dalam berbagai macam konteks sesuai dengan kriteria yang diinginkan.
Wangsatorntanakhum (1997) menyatakan bahwa assessment kinerja terdiri dari dua bagian yaitu “clearly defined task and a list of explicit criteria for assessing student performance or product”. Lebih lanjut dinyatakan pula bahwa assessment kinerja diwujudkan berdasarkan “empat asumsi” pokok, yaitu: 1) performance assessment didasarkan pada partisipasi aktif mahasiswa/siswa, 2) tugas-tugas yang diberikan atau dikerjakan oleh siswa/mahasiswa yang merupakan bagian yang tidak terpisahkan dari keseluruhan proses pembelajaran, 3) performance assessment tidak hanya untuk mengetahui posisi siswa pada suatu saat dalam proses pembelajaran, tetapi lebih dari itu, assessment juga dimaksudkan untuk memperbaiki proses pembelajaran itu sendiri, dan 4) dengan mengetahui lebih dahulu kriteria yang akan digunakan untuk mengukur dan menilai keberhasilan proses pembelajarannya, siswa akan secara terbuka dan aktif berupaya untuk mencapai tujuan pembelajaran.
Seringkali “performance assessment” ini dikaitkan dengan suatu kriteria yang diinginkan dalam praktek kehidupan sehari-hari. Hal tersebut dikenal dengan nama “Authentic Assessment (penilaian autentik)” Jadi pengertian dari “authentik assessment” ini selalu melibatkan peserta tes di dalam mengaplikasikan pengetahuan dan keterampilan yang diperlukan dalam praktek kehidupan mereka sehari-hari.
Karakteristik Penilaian Kinerja
Performance assessment memiliki karakteristik dasar yaitu : 1) peserta tes diminta untuk mendemonstrasikan kemampuannya dalam mengkreasikan suatu produk atau terlibat dalam suatu aktivitas (perbuatan), misalnya melakukan eksperimen untuk mengetahui tingkat penyerapan dari kertas tisue, 2) produk dari performance assessment lebih penting daripada perbuatan (performan)-nya. (Maertel, 1992)
Dalam hal memilih, apakah yang akan dinilai itu produk atau performance (perbuatan) tergantung pada karakteristik domain yang diukur (Messirh, 1994). Dalam bidang seni misalnya, seperti acting dan menari, perbuatan dan produknya sama penting, tetapi dalam creative writing mengukur produk adalah fokus yang utama.
Bagaimana mengetahui kualitas penilaian kinerja?
Untuk mengetahui apakah penilaian kinerja (performance assessment) dapat dianggap berkualitas atau tidak, terdapat tujuh kriteria yang perlu diperhatikan oleh evaluator. Ketujuh kriteria ini sebagaimana diungkap oleh Popham (1995) yaitu:
Generability : apakah kinerja peserta tes (students performance) dalam melakukan tugas yang diberikan tersebut sudah memadai untuk digeneralisasikan kepada tugas-tugas lain? Semakin dapat digeneralisasikan tugas-tugas yang diberikan dalam rangka penilaian keterampilan atau penilaian kinerja (”performance assessment) tersebut, dalam artian semakin dapat dibandingkan dengan tugas yang lainnya maka semakin baik tugas tersebut. Hal ini terutama dalam kondisi bila peserta tes diberikan tugas-tugas dalam penilaian keterampilan (performance assessment) yang berlainan.
Authenticity: apakah tugas yang diberikan tersebut sudah serupa dengan apa yang sering dihadapinya dalam praktek kehidupan sehari-hari?
Multiple foci: apakah tugas yang diberikan kepada peserta tes sudah mengukur lebih dari satu kemampuan-kemampuan yang diinginkan (more than one instructional outcomes)?
Teachability: apakah tugas yang diberikan merupakan tugas yang hasilnya semakin baik karena adanya usaha mengajar guru di kelas? Jadi tugas yang diberikan dalam penilaian keterampilan atau penilaian kinerja (performance assessment) adalah tugas-tugas yang relevan dengan yang dapat diajarkan guru di dalam kelas.
Fairness: apakah tugas yang diberikan sudah adil (fair) untuk semua peserta tes. Jadi tugas-tugas tersebut harus sudah dipikirkan tidak ”bias” untuk semua kelompok jenis kelamin, suku bangsa, agama, atau status sosial ekonomi.
Feasibility: apakah tugas-tugas yang diberikan dalam penilaian keterampilan atau penilaian kinerja (performance assessment) memang relevan untuk dapat dilaksanakan mengingat faktor-faktor seperti biaya, ruangan (tempat), waktu, atau peralatannya?
Scorability: apakah tugas yang diberikan nanti dapat diskor dengan akurat dan reliabel? Karena memang salah satu yang sensitif dari penilaian keterampilan atau penilaian kinerja (performance assessment) adalah penskorannya.
Langkah-Langkah Penilaian Kinerja
Beberapa langkah yang perlu diperhatikan dalam melakukan penilaian kinerja (performance assessment) adalah:
Identifikasi semua langkah-langkah penting yang diperlukan atau yang akan mempengaruhi hasil akhir (output) yang terbaik.
Tuliskan perilaku kemampuan-kemampuan spesifik yang penting dan diperlukan untuk menyelesaikan tugas dan menghasilkan hasil akhir (output) yang terbaik.
Usahakan untuk membuat kriteria-kriteria kemampuan yang akan diukur tidak terlalu banyak sehingga semua kriteria tersebut dapat diobservasi selama siswa melaksanakan tugas.
Definisikan dengan jelas kriteria kemampuan-kemampuan yang akan diukur berdasarkan kemampuan siswa yang harus dapat diamati (observable) atau karakteristik produk yang dihasilkan.
Urutkan kriteria-kriteria kemampuan yang akan diukur berdasarkan urutan yang dapat diamati
Kalau ada, periksa kembali dan bandingkan dengan kriteria-kriteria kemampuan yang sudah dibuat sebelumnya oleh orang lain di lapangan.
Untuk menjaga obyektifitas dan keadilan (fair) sebaiknya penilai atau evaluator lebih dari satu orang sehingga penilaian mereka menjadi lebih valid dan reliabel.
Masalah Validitas, Reliabilitas dan Fairness
a. Validitas
Kompleksnya tugas dan kemampuan yang akan diukur dalam performance assessment dapat menimbulkan masalah dalam penskoran dan keterwakilannya domain yang hendak diukur.
Suatu tugas dalam penilaian unjuk kerja atau kinerja yang kompleks tentunya memerlukan proses penilaian yang kompleks juga, dan sebaliknya ada tugas yang memerlukan lebih dari satu kemampuan, seperti kompetensi bahasa dan kemampuan matematik. Problem soalnya dalam matematika memerlukan domain pengetahuan yang relevan dan keterampilan dalam menggunakan informasi tentang komponen-komponen kemampuan yang akan diukur. Selain penskorannya juga harus direview untuk melihat sejauhmana penskoran tersebut sudah mencakup kemampuan yang kompleks.
b. Reliabilitas
Masalah reliabilitas juga menjadi pertanyaan pokok dalam penilaian unjuk kerja, yaitu sejauhmana skor siswa dapat merefleksikan kemampuan siswa yang sebenarnya (true ability) dan bukan akibat dari kesalahan pengukuran. Tujuan dari pengembang tes adalah mendesain penulisan, membuat kondisi pelaksanaan tes dan penskorannya tidak terhambat pada situasi yang tidak berkembang dengan kemampuan yang hendak diukur. Masalah pada penilaian performance biasanya adalah:
penskoran (rating) dari pemberi skor performance assessment.
Siswa tidak mengenali alat-alat performance assessment yang dimanipulasi.
Siswa tidak mengenal topik yang ditingkatkan dalam performance assessment.
Akan tetapi kesalahan yang disebabkan oleh penskor (rater) dapat diminimalkan apabila pedoman penskoran performance asssessment dibuat & didefinisikan sebaik mungkin dan juga sebelum dimulai penskoran diadakan pelatihan penskoran (rater) terlebih dahulu.
c. Fairness
Permasalahan yang berhubungan dengan fairness dalam performance assessment adalah 1) perbandingan dalam penulisan, 2) ketersediaan alat-alat yang diperlukan, 3) kesempatan untuk belajar atau berlatih. Apabila tugas dalam performance assessment ada beberapa pilihan, maka harus ada bukti validitas perbandingan dari tugas-tugas tersebut.
Sumber Kesalahan Penskoran dalam Penilaian Kinerja
Masalah utama dalam penilaian kinerja adalah masalah penskorannya. Dikarenakan banyak factor yang mempengaruhi pada hasil penskoran penilaian keterampilan atau penilaian kinerja (performance assessment). Masalah penskoran pada penilaian keterampilan atau penilaian kinerja lebih kompleks daripada penskoran pada bentuk soal uraian.
Popham (1995) menguraikan tiga sumber utama kesalahan penskoran penilaian kinerja, yaitu:
Masalah dalam instrument: instrumen pedoman penskoran tidak jelas sehingga sukar digunakan oleh penilai. Selain itu komponen-komponen yang harus dinilainya juga sukar untuk diskor, umumnya karena komponen-komponen tersebut sukar untuk diamati (unobservable). Hal yang demikian tentunya akan mengakibatkan hasil penskoran yang tidak valid, dan tidak akurat (tidak reliabel).
Masalah prosedural: prosedur yang digunakan dalam penilaian keterampilan atau penilaian kinerja tidak baik sehingga juga mempengaruhi hasil penskoran. Masalah yang biasanya terjadi adalah penskor (rater) harus menskor komponen-komponen yang terlalu banyak. Bagi penskor sebenarnya semakin sedikit komponen yang harus dinilai semakin baik, tetapi pembuat pedoman penskoran tetap harus membuat pedoman penskoran yang dapat mewakili semua komponen-komponen penting yang mempengaruhi kualitas hasil akhir. Masalah lain dari prosedur ini adalah umumnya penskor (rater) hanya satu orang, sehingga sukar untuk dapat membandingkan hasil pertimbangan (adjustment) penskoran dengan orang lain.
Masalah penskor yang bias: penskor (rater) cenderung untuk sukar menghilangkan masalah, ”personal bias”. Sewaktu menskor hasil pekerjaan peserta tes ada kemungkinan penskor (rater) mempunyai masalah ”generosity error” artinya penskor cenderung memberi nilai yang tinggi-tinggi, walaupun kenyataan yang sebenarnya hasil pekerjaan peserta tes tidak baik. Kemungkinan juga penskor mempunyai masalah ”severity error” artinya penskor cenderung memberi nilai yang rendah-rendah, walaupun kenyataannya hasil pekerjaan peserta tes tersebut baik. Kemungkinan lain penskor juga cenderung dapat memberi nilai yang sedang-sedang saja, walaupun pada kenyataannya hasil pekerjaan peserta tes ada yang baik dan ada yang tidak baik. Masalah lain adalah adanya kemungkinan penskor tertarik atau simpati pada peserta tes sehingga sukar baginya untuk memberi nilai yang objektif (hallo efect)
Rubrik Penilaian
Konten ini dapat anda baca di konten dengan judul ”Tugas dan Penyusunan Kriteria Penilaian (Rubrik)” di www.forumpenelitian.blogspot.com/tugas+dan+penyusunan+penilaian+rubrik
Bahan bacaan:
Popham, W. James. 1995. Classroom Assessment: What Teacher Need to Know. Needham Heights, MA: Allyn & Bacon, A Simmon & Schuster Company.
Danielson S. A Collection of Performance Task And Rubriks. http://www.assesment.com/Danielson/ 10/4/2006
Nitco, A.J. & Hsu. T. 1996. Teacher’s Guide to Better Classroom Testing A Judgemental Approach. Jakarta: Madecor Career System and Pusat Pengembangan Agribisnis.
Langganan:
Postingan (Atom)