PENGANTAR EVALUASI PROGRAM

APA ITU EVALUASI?
Lain orang lain pula pemaknaan mereka ketika menggunakan kata" evaluasi". Mereka mungkin juga "melakukan" evaluasi dengan jalan yang berbeda, menggunakannya untuk tujuan yang berbeda, atau penggunaan standard berbeda untuk memutuskan apakah suatu evaluasi baik yang baik harus kelihatan baik. Jika kamu ingin menunjukkan dengan tepat makna apa yang dimaksudkan oleh seseorang , kamu harus menemukan sejumlah hal. Ini adalah sepuluh pertanyaan yang akan membantu kamu meringkas apa yang dimaksudkan seseorang ketika memperbicangkan tentang evaluasi. Kamu dapat menggunakan sepuluh mempertanyakan ini untuk menemukan apa yang orang lain maksudkan ketika mereka memperbicangkan tentang atau meminta untuk kamu melakukan evaluasi. Paling utama, sepuluh pertanyaan ini akan membantu kamu memperjelas apa yang kamu maksudkan ketika kamu menggunakan kata" evaluasi" atau bagaimana kamu akan menggambarkan nya dilain waktu jika kamu melihatnya.

Bagaimana evaluasi didevinisikan? Apakah yang merupakan corak yang unik dari suatu evaluasi? Bagaimana anda mengetahui ketika kamu lihat satu? Bagaimana cara membedaknnya dengan berbagai hal seperti " pengukuran" atau " penelitian?" Apakah evaluasi yang mengajukan test dan daftar pertanyaan? Menyediakan informasi untuk pembuat keputusan? Menentukan apakah tujuan telah dicapai? Penilaian sesuai? Atau sesuatu yang lainnya?

Untuk pertanyaan ini, Anda bisa melihat definisi evaluasi yang dapat diperoleh dari buku-buku yang ditulis oleh ahlinya, diantaranya, definisi yang ditulis oleh Ralph Tyler, yaitu evaluasi adalah proses yang menentukan sampai sejauh mana tujuan pendidikan dapat dicapai (Tyler,1950:69). Menyediakan informasi untuk pembuat keputusan, dikemukakan oleh Cronbach (1963), Stufflebeam (1971), juga Alkin (1969). Maclcolm, Provus, pencetus Discrepancy Evaluation (1971), mendefinisikan evaluasi sebagai perbedaan apa yang ada dengan suatu standar untuk mengetahui apakah ada selisih. Akhir-akhir ini telah dicapai sejumlah konsensus antar evaluator tentang arti evaluasi, antara lain yaitu penilaian atas manfaat atau guna (Scriven, 1967; Glass 1969; Stufflebeam, 1974). Joint Committee (1981) mendefinisikan evaluasi sebagai penelitian yang sistematik atau yang teratur tentang manfaat atau guna beberapa objek.
Kelompok Konsorsium evaluasi Standford menolak definisi evaluasi yang menghakimi (judgmental definition of evaluation). Karena menurut mereka bukanlah tugas evaluator menentukan apakah suatu program berguna atau tidak. Evaluator tidak dapat bertindak sebagai wasit terhadap orang lain (Cronbach, 1982).

Untuk apa evaluasi dilakukan? Kenapa evaluasi dilakukan? Apa tujuan evaluasi? Apa fungsi evalusi? Apakah itu dilaksanakan untuk melayani pengambilan keputusan? Untuk menyampaikan pertanggungjawaban? Untuk akreditasi atau sertifikasi? Untuk memotivasi orang-orang? Untuk merubah dan memperbaiki program? Atau untuk beberapa alasan lain?

Scriven (1967) orang pertama yang membedakan antara evaluasi formatif dan evaluasi sumatif sebagai fungsi evaluasi yang utama. Kemudian Stufflebeam juga membedakan sesuai dengan Scriven yaitu Proactive evaluation untuk melayani pemegang keputusan, dan Retroactive evaluation untuk keperluan pertanggungjawaban. Evaluasi mempunyai dua fungsi yaitu formatif untuk keperluan perbaikan dan pengembangan kegiatan yang sedang berjalan (program, orang, produk dan sebagainya). Fungsi sumatif digunakan sebagai pertanggungjawaban, keterangan, seleksi dan atau lanjutan.

Apakah yang merupakan object evaluasi? Apa yang bisa atau harus dievaluasi? Apakah " berbagai hal" itu diharapkan untuk mengevaluasi para siswa, para guru, proyek, program, institusi atau sesuatu selain itu?

Hampir semua unit training dapat dijadikan objek suatu evaluasi. Siswa atau mahasiswa sudah merupakan objek yang populer bagi evaluasi pendidikan. Yang lain-lainnya seperti proyek atau program institusi pendidikan yang sekarang menjadi objek evaluasi yang semakin populer. Penting sekali untuk menentukan dan mengetahui apa yang akan dievaluasi. Hal ini akan menolong untuk menentukan apa informasi yang dikumpulkan dan bagaimana menganalisanya. Hal ini akan membantu pemfokusan evaluasi. Rumusan tujuan yang jelas juga akan menghindari salah tafsir dan kesalahpahaman.

Apa aspek dan dimensi dari suatu obyek perlu penyelidikan evaluasi? Pertanyaan apa yang harus ditujukan tentang apapun juga yang dievaluasi? Apa jenis informasi yang harus dikumpulkan? Apakah aspek-aspek obyek sumber daya yang harus dievaluasi, dampak atau hasil, proses implementasi, staff dan klien, tujuan dan rencana, biaya dan manfaat, kebutuhan, karakteristik organisatoris, atau sesuatu selain itu?

Setelah memiliki objek yang akan dievaluasi, maka harus ditentukan aspek-aspek apa saja dari objek tersebut yang akan dievaluasi. Di waktu-waktu sebelumnya evaluasi berfokus kebanyakan atas hasil yang dicapai, jadi untuk mengevaluasi objek pendidikan misalnya lokakarya, berarti mengevaluasi hasil lokakarya yaitu hasil yang telah dicapai peserta. Akhir-akhir ini usaha evaluasi ditujukan untuk memperluas atau memperbanyak variabel evaluasi dalam bermacam-macam model evaluasi (Stake, 1967; Stufflebeam, 1959, 1974; Alkin 1969; Provus, 1971). Model CIPP dari Stufflebeam mengemukakan evaluasi yang berfokus pada empat aspek yaitu:
Konteks
Input
Proses Implementasi
Produk
Karena pendekatan ini maka evaluasi lengkap terhadap evaluasi pendidikan akan menilai misalnya: a) manfaat tujuannya, b) mutu rencana, c) sampai sejauhmana tujuan dijalankan, dan d) mutu hasilnya. Jadi evaluasi hendaknya berfokus pada tujuan dan kebutuhan, desain training, implementasi, transaksi, dan hasil training.

Kriteria apa harus digunakan untuk menilai suatu obyek? Bagaimana anda melakukan interpretasi terhadap penemuan itu? Bagaimana cara untuk mengumpulkan informasi? Bagaimana nantinya Anda memutuskan jika obyek adalah " baik" atau " tidak baik?" Apakah kriteria mampu mencapai tujuan yang telah ditetapkan, ketetapan kepada rencana, menjawab untuk mengidentifikasi kebutuhan, prestasi tentang tujuan sosial atau ideal, perbandingan dengan object alternatif, kesetiaan kepada hukum dan petunjuk, penyesuaian dengan harapan pendengar (audience), atau sesuatu selain itu?

Memilih kriteria yang akan dipakai untuk menilai objek evaluasi merupakan tugas yang paling sulit dalam evaluasi pendidikan. Apabila yang diacu hanya pencapaian tujuan, maka ini memang pekerjaan yang mudah, namun ini baru sebagian daripada isu kriteria evaluasi. Pencapaian tujuan-tujuan yang penting memang merupakan salah satu kriteria yang penting. Kriteria lainnya yaitu identifikasi kebutuhan dari klien yang potensial, nilai-nilai sosial, mutu, dan efisiensi dibandingkan dengan objek-objek alternatif lainnya. Tampaknya ada persetujuan diantara ahli evaluator bahwa kriteria yang dipakai untuk menilai suatu objek tertentu hendaknya ditentukan dalam konteks objek tertentu dan fungsi evaluasinya. Jadi hal-hal yang harus diperhatikan dalam menentukan kriteria penilaian suatu objek adalah:
Kebutuhan, ideal, dan nilai-nilai
Penggunaan yang optimal dari sumber-sumber dan kesempatan.
Ketepatan efektifitas training
Pencapaian tujuan yang telah dirumuskan dan tujuan penting lainnya. Kriteria yang ganda (multiple) hendaknya sering dipakai

Siapa yang harus dilayani oleh suatu evaluasi? Siapakah klien? Siapakah pendengar (audience) untuk evaluasi? Siapa yang membutuhkan informasi untuk dilayani? Apakah itu dilaksanakan untuk diri sendiri, para siswa, staff, agen pendanaan, kalayak ramai, atau sesuatu selain itu?

Supaya evaluasi betul-betul bermanfaat atau berguna, maka evaluasi itu harus berguna untuk klien atau audien khusus. Kebanyakan literatur evaluasi tidak menyarankan siapa audien yang tepat. Namun ada tiga hal yang diusulkan penulis sehubungan dengan tulisan ini, yaitu:
evaluasi dapat mempunyai lebih dari seorang audien
masing-masing audien mungkin punya kebutuhan yang berbeda.
audien khusus kebutuhannya harus dirumuskan dengan jelas pada waktu memulai rencana evaluasi.

Apa langkah-langkah dan prosedur dilakukan dalam melakukan suatu evaluasi? Bagaimana anda memulai suatu evaluasi dan bagaimana anda berproses? Langkah-langkah apakah yang utama dari suatu proyek evaluasi? Apakah itu urutan " terbaik" untuk melaksanakan suatu evaluasi?

Proses melakukan evaluasi mungkin saja berbeda sesuai persepsi teori yang dianut, ada bermacam-macam cara. Namun evaluasi harus memasukkan ketentuan dan tindakan sejalan dengan fungsi evaluasi yaitu:
Memfokuskan evaluasi
Mendesain evaluasi
Mengumpulkan evaluasi
Menganalisis informasi
Melaporkan informasi
Melaporkan hasil evaluasi
Mengelola evaluasi
Mengevaluasi evaluasi (meta evaluasi)

Metode penemuan apa yang harus digunakan dalam evaluasi? Bagaimana anda mengumpulkan informasi? Disain penemuan seperti apa harus digunakan dalam evaluasi? Metodologi Apakah " yang terbaik" untuk test evaluasi dan daftar pertanyaan, panel tenaga ahli, disain bersifat percobaan, survey dan correlational studi, etnografi dan studi kasus, " dewan juri" percobaan, pendekatan naturalistic, atau beberapa pendekatan lain ?

Kiranya pendekatan electic (memilih berbagai metode dari beberapa pilihan yang terbaik sesuai dengan kebutuhan) merupakan cara yang terbaik. Yang dipilih hendaknya sesuai dengan situasi dan kondisi setempat. Provus (1971) dan Stufflebeam (1971) memperkenalkan beberapa variasi metode dalam evaluasi, di samping desain eksperimen dan kuasi eksperimen yang tradisional (Campbell dan Stanley, 1963), dengan metode naturalistik (Guba dan Lincoln, 1981; Patton,1980), Jury Trials (Wolf,1975) dengan analisis sistem, dan banyak lainnya merupakan metode yang sudah lazim dipakai dalam evaluasi program.

Apa yang sebaiknya dilakukan evaluasi? Penilai seperti apa yang Anda perlukan dipekerjakan? Ketrampilan seperti apa perlu dimiliki oleh seorang evaluator? Apa yang menjadi otoritas dan tanggung-jawab dari seorang penilai? Perlukah spesialis evaluasi atau suatu ahli bidang untuk dilibatkan dalam evaluasi, staff reguler, atau sesuatu selain itu?

Untuk menjadi kelompok profesional evaluator dituntut mempunyai ciri-ciri tertentu yang memerlukan latihan yang memadai. Untuk menjadi seorang evaluator yang kompetendan dapat diandalkan ia harus mempunyai kombinasi berbagai ciri, antara lain: mengetahui dan mengerti teknik pengukuran, dan metode penelitian, mengerti tentang kondisi sosial, dan hakikat objek evaluasi, mempunyai kemampuan human relation, jujur, serta bertanggung jawab. Karena sulit mencari orang yang mempunyai begitu banyak kemampuan, maka sering evaluasi dilakukan oleh suatu tim.

Dengan standar apa evaluasi dinilai? Bagaimana anda mengetahui bahwa evaluasi yang anda lakukan adalah evaluasi yang baik? Apakah karakteristik suatu evaluasi? Bagaimana anda mengevaluasi suatu evaluasi? Perlukah evaluasi menjadi bermanfaat dan praktis, menyediakan informasi dapat dipercaya dan akurat, realistis, hemat dan bijaksana, diselenggarakan menurut hukum dan secara etis, objektif dan ilmiah, atau haruskah hal lain? Seperti yang disebutkan pada awal bagian ini, kesepuluh pertanyaan ini dapat digunakan untuk berbagai tujuan, tetapi terdapat dua cara di mana yang sepuluh pertanyaan dapat lebih bermanfaat:
Digunakan untuk mengatur persepsi Anda sendiri, apa yang Anda maksud dengan evaluasi.
Digunakan untuk memahami orang lain apa yang dimaksud dengan evaluasi oleh orang lain.

Akhir-akhir ini telah dicoba pengembangan standar untuk kegiatan evaluasi pendidikan. Standar yang paling komprehensif dan rinci dikembangkan oleh Committee on Standard of Educational Evaluation (Joint committee, 1981)
Dengan ketuanya Daniel Stufflebeam, yaitu:
Utility (bermanfaat dan praktis)
Accuracy (secara teknik tepat)
Feasibility (realistik dan teliti)
Propriety (dilakukan dengan legal dan etik)

Tidak ada satu evaluasi pun dapat diharapkan mencapai standar tersebut, dan sampai sejauh mana kesepakatan evaluator akan kepentingan standar tersebut masih perlu ditentukan. Lee J. Cronbach (1980) mengatakan bahwa standar yang digunakan untuk melakukan evaluasi mungkin tak sepenting konsekuensinya. Ia mengatakan evaluasi yang baik adalah yang memberikan dampak yang positif bagi perkembangan program.


Referensi:
Brinkerhoff, Robert O. et.all. 1983. Program Evaluation A Practitioner’s Guide For Trainers and Educator. Kuwer-Nijhoff Publishing. Boston
Tayibnapis, Farida Yusuf. 2000. Evaluasi Program. PT. Rineka Cipta, Jakarta.
Arikunto, Suharsimi dan Cepi Safruddin Abdul Jabar. 2004. Evaluasi Program Pendidikan Pedoman Teoritis Praktis Bagi Praktisi Pendidikan. PT. Bumi Aksara, Jakarta.

17 Kesalahan Fatal Mahasiswa Dalam Melakukan Penelitian (Lanjutan)

7. Kesalahan Umum Dalam Penelitian Sejarah
Suatu area penelitian yang dipilih tidak memiliki cukup bukti yang tersedia untuk dilakukannya penelitian atau menguji hipotesis yang cukup.
Menggunakan sumber informasi sekunder yang berlebihan yang seringkali dihadapkan pada peristiwa terbaru.
Mencoba untuk bekerja pada suatu lapangan penelitian dan menggambarkan masalah dengan kurang baik.
Gagal untuk mengevaluasi data historisnya.
Membiarkan bias pribadi mempengaruhi prosedur penelitiannya.
Laporan mahasiswa menceriterakan fakta tetapi tidak manyatukan atau mengintegrasikan fakta ini ke dalam generalisasi yang penuh makna.

8. Kesalahan Umum Penelitian Deskriptif
Mahasiswa tidak merumuskan sasaran hasil/tujuan dengan jelas dan rinci.
Menghubungkan perosedur pengumpulan datanya dalam satu langkah umum dan dengan demikian gagal untuk mendapatkan data kuantitatif khusus untuk masalah ini.
Memilih sampel atas dasar kemudahan/kenyamanan bukannya mencoba untuk memperoleh suatu sampel acak
Tidak merencanakan analisa setelah data dikumpulkan
Struktur alat pengumpul datanya ( daftar pertanyaan, pedoman wawancara, pedoman observasi, dan seterusnya) sedemikian sehingga diperoleh hasil yang bias.

9. Kesalahan Umum Dalam Studi Kuesioner
Mahasiswa menggunakan kuesioner dalam bekerja dengan permasalahan yang lebih baik untuk dikaji dengan tekni penelitian yang lain
Memberi perhatian yang sedikit kepada pengembangan kuesioner ini dan gagal untuk melakukan pretest terhadapnya.
Menanyakan banyak pertanyaan, dengan begitu tidak beralasan dengan waktu yang dibutuhkan responden untuk menyelesaikannya.
Mengabaikan rincian format, tatabahasa, pencetakan, dan dengan begitu, jika diamati/diobservasi, memberi kesan pertama yang kurang baik kepada responden
Gagal untuk memeriksa suatu sampel yang bukan responden pada kemungkinan terjadinya bias.

10. Kesalahan Umum Dalam Studi Wawancara
Para mahasiswa tidak merencanakan dengan cukup wawancara yang dilakukan atau mengembangkan suatu pedoman wawancara dengan lebih terperinci.
Tidak melakukan latihan/praktek mewawancarai yang cukup untuk memperoleh ketrampilan diperlukan.
Gagal menetapkan perlindungan terhadap bias pewawancara.
Tidak membuat ketentuan untuk menghitung reliabilitas data wawancaranya.
Menggunakan bahasa yang tidak pahami oleh responden.
Meminta informasi dari responden yang tidak memiliki informasi yang diharapkan

Kesalahan Umum Dalam Studi Observasi
Para mahasiswa tidak melatih kemampuan observasinya dengan baik begitu data yang diperoleh tidak dapat dipercaya.
Menggunakan suatu format pengamatan yang menuntut terlalu banyak hal yang diobservasi.
Gagal untuk mengambil surat pengantar yang cukup mengkanter gangguan yang dihadapi observer atau mengubah situasi yang diamati.
Mencoba untuk mengevaluasi perilaku yang terjadi dengan data yang jarang didapat melalui pengamatan.



Kesalahan Umum Dalam Analisa Isi (content analysis)
Para mahasiswa memilih isi yang tersedia dengan mudah tetapi tidak merepresentasikan suatu sampel yang tidak bias dalam keseluruhan isi yang berhubungan dengan tujuan penelitiannya.
Gagal untuk menentukan reliabilitas dari prosedur content analysis (analisis isi)
Menggunakan penggolongan kategori yang tidak menyeluruh dan spesifik.


13. Kesalahan Umum Dalam Studi Hubungan
Mahasiswa mengasumsikan hasil penelitian causal-comparative atau correlational untuk membuktikan suatu penyebab dan dampak hubungan
Menggunakan sampel dalam penelitian causal-comparative yang berbeda padahal variabel yang bersangkutan memiliki berpedaan yang sangat banyak, hal ini menghasilkan perbandingan kelompok yang dilakukan tidak dapat menghasilkan hasil bisa diinterpretasikan.
Mencoba mengkaji penyebab yang mungkin dalam pola perilaku yang digambarkan yang benar-benar meliputi salah satu dari sub-sub kelompok yang tidak sama. Ini pada umumnya menyebabkan munculnya suatu hasil yang berlawanan dan dikacaukan dengan tidak ada hubungan yang murni.
Mencoba untuk membangun suatu kajian correlational di sekitar data yang tersedia sebagai ganti pengumpulan data yang diperlukan untuk melakukan suatu kajian yang bermanfaat belajar.
Memilih variabel yang telah ditemukan sebelumnya dan tidak produktif untuk dikorelasikan.
Gagal untuk menggunakan teori psikologis dan bidang pendidikan dalam memilih variabel untuk pengkajian penelitian korelasi.
Menggunakan teknik korelasi sederhana dalam studi korelasi parsial atau berbagai korelasi yang diperlukan untuk memperoleh satu gambaran jernih tentang cara variabel beroperasi.
Menerapkan tabel yang memberi arti tingkat koefisien korelasi Pearsonian pada bukan korelasi Pearsonian, yang sering menyebabkan hasil hubungan yang nonsignificant menjadi hubungan signifikan
Menggunakan pendekatan "cara pintas/shot gun" dalam penelitian studi hubungan.
Gagal untuk mengembangkan ukuran ukuran yang memuaskan untuk digunakan dalam studi korelasi tentang pola perilaku atau ketrampilan yang kompleks.

14. Kesalahan Umum Dalam Disain Yang Bersifat Percobaan (Eskperimen)
Mahasiswa membiarkan perbedaan terjadi antara perlakuan yang bersifat percobaan dan kelompok kontrol yang mendorong kearah penemuan yang bias.
Menggunakan terlalu sedikit kasus, yang mengarahkan kepada kesalahan sampling yang begitu besar dan hasil tidak signifikan.
Gagal untuk membagi kelompok yang utama ke dalam sub-sub kelompok dalam situasi dimana analisa sub-sub kelompok menghasilkan pengetahuan yang bermanfaat
Menyesuaian subjeknya dalam kontrol group desain pada variabel yang tidak memiliki hubungan dengan variabel yang dependent.
berusaha menyesuaikan tiga atau empat variabel, yang sebagian besar subjeknya salah dan tidak sesuai
Mencoba untuk menggunakan disain counter-balanced untuk permasalahan di mana masing-masing perlakuan cenderung untuk mengubah tujuan pada perlakuan berikutnya.

15. Kesalahan Umum dalam Penelitian Tindakan
Guru memilih permasalahan sepele untuk diberikan tindakan melalui penelitian tindakan.
Proyek dimulai sebelum para guru yang yang dilibatkan mempunyai pemahaman dan secara khusus menggambarkan permasalahan mereka.
Guru gagal untuk mengkaji dan mengevaluasi sumber sekunder yang penting yang bersangkutan dengan masalah tersebut.
Guru gagal untuk memperoleh bantuan konsultan atau mencari bantuan setelah kekeliruan dalam melakukan proyek penelitian tidak dapat diperbaiki.

16. Kesalahan Umum Dalam Memproses Data
Gagal melakukan kegiatan secara sistematis dalam skoring dan merekam data.
Tidak merekam detil dan variasi dalam prosedur skoring ketika membuat skoring dan kemudian tidak mampu untuk mengingat apa yang dilaksanakan sesuai dengan prosedur yang telah diuraikan dalam disertasinya
Tidak memeriksa kesalahan skoring
Merubah prosedur skoring ketika sedang dalam proses skoring data penelitiannya.

17. Kesalahan Umum Dalam Menyiapkan Laporan
Mahasiswa gagal menyiapkan salinan draft informasi yang meliputi disertasinya disaat ia masih mempunyai memori yang segar.
Meletakkan semua pekerjaannya pada sebuah naskah sampai penelitiannya sudah selesai.
Mengorganisir kajian literaturnya secara kronologis sebagai ganti atau mengatur artikel penelitian ini ke dalam topik terkait.
Perlakukan studi masing-masing merujuk kepada" kajian literatur" dalam slide mekanis, mempersembahkan ruang pada masing-masing spasi yang sama besarnya dengan mengabaikan ketepatan atau arti penting.
Gagal untuk mengintegrasikan penemuan dengan kajian literaturnya.
Menggunakan terlalu banyak kutipan dan memilih kutipan yang tidak penting seperti halnya mahasiswa menggunakan kata-katanya sendiri.
Memberikan suatu uraian yang tidak menggambarkan sampel dan ukuran penelitian yang digunakan
Mendiskusikan penemuan kecil yang dianggap lebih baik di balik meja dan gagal untuk menekankan penemuan penting.

Jika anda tertarik dengan materi ini, silahkan masukkan komentar anda! Sebagai bahan perbaikan bagi kami di lain waktu. Terimakasih