Teknik Evaluasi Program Pemberdayaan Masyarakat

 

            Sebagai salah satu penelitian yang berbasis pada ketersediaan informasi/data, evaluasi program pemberdayaan membutuhkan metode penelitian yang bisa secara fleksibel digunakan selama proses evaluasi berlangsung. Metode kualitatif jelas cocok digunakan, karena memang memiliki asas fleksibilitas metodis ini. Persoalannya mungkin muncul dalam penggunaan metode kuantitatif, karena lebih bersifat deduktif, termasuk dalam kebiasaan penentuan terlebih dahulu teknik-teknik evaluasi, lalu datalah yang mengikuti atau dicari berdasarkan teknik-teknik tersebut. Oleh sebab itu, ketika metode kuantitatif digunakan, ia pun diberlakukan secara fleksibel. Misalnya fleksibel dalam upaya menemukan rumus statistika yang paling cocok berdasarkan data yang tersedia, begitu pula simulasi-simulasi untuk mencari indikator yang cocok sesuai data dan rumus terpilih.

            Untuk metode kualitatif, pengolahan bisa dilakukan dengan bantuan program analisis kualitatif, misalnya Nud.Ist Vivo (N-Vivo). Catatan lapangan yang berupa tulisan tangan serta pustaka untuk keperluan analisis data kualitatif diketik ulang dengan Ms Word dengan elstension .rtf. Hasil ketikan tersebut dimasukkan ke dalam program komputer. Selanjutnya data dikode menurut yema-yema analisis, yang terutama sesuai kata-kata kunci dalam tukuan suatu program pemberdayaan.

            Analisis terhadap data dokumen dilakukan secara kualitatif dan semiotis/interpretif. Dalam hal ini konsep yang tertulis dalam aturan main dibandingkan dengan konsep-konsep umum untuk pembangunan yang partisipatif, misalnya melalui buku-buku teks, hasil penelitian, maupun “kamus” pembangunan (Sachs,1992). Dari kegiaatan ini akan diperoleh akurasi atau penyimpangan konseptual.

            Untuk menjelaskan kaitan antara fakta di lapangan dengan logika aturan main, maka yang dilakukan ialah melompat bolak balik antara aturan yang bersifat total yang dipahami melalui bagian-bagian fakta yang mengkongkretkannya, dan bagian-bagian fakta yang dipahami melalui aturan main yang bersifat total. Dengan menggunakan matriks, kemudian seluruh data kualitatif dianalisis menurut hubungannya dengan tema-tema pemberdayaan. Dari isi sel-sel matriks bisa ditunjukkan penjelasan (explanatory) dari rangkaian data. Penjelasan kausal yang paling kuat dibangun berdasarkan kesamaan hasil-hasil analisis dari pemakaian beragam teknik pengambilan data, Dari perbandingan hasil analisis data itulah kemudian diperoleh kesimpulan dan teori, yang bisa diwujudkan dalam suatu diagram teoritis. Teori semacam ini bernilai tinggi karena merupakan hasil inferensi dari seluruh data dokumen dan data lapangan.

            Pengolahan data kuantitatif  dilakukan berdasarkan data populasi yang mendapat program, bisa di tingkat desa, kecamatan, kabupaten, maupun provinsi. Data kuantitatif yang digunakan untuk menunjukkan hasil (outcome) program pemberdayaan merupakan perbandingan antara data hasil (result) dan data perencanaan.

            Pengolahan data kuantitatif  bisa dilakukan dengan menggunakan program komputer kuantitatif, misalnya SPSS. Pengolahan awal yang dilakukan adalah peringkasan data dalam grafik, tabel, dan metode-metode statistika. Tujuan peringkasan data adalah untuk menggambarkan sedikit karakteristik-karakteristik yang penting dari data. Selanjutnya dilakukan analisis lanjutan berdasarkan karakteristik yang sudah diperoleh. Analisis deskripso dilakukan untuk melihat kecenderungan data dalam tabel, grafik atau ringkasan data.

            Selanjutnya dilakukan uji kolerasi terhadap data jumlah pemanfaatan atau jumlah program. Hal ini dilakukan untuk memperkuat asumsi bahwa kecamatan yang jumlah penduduknya tinggi akan memperoleh bantuan yang tinggi begitu juga sebaliknya (biasanya sesuai dengan ketentuan Juklak/Juknis program). Jika hasil korelasi positif maka asumsi ini diterima sehingga penggunaan data persentase terhadap jumlah penduduk dapat digunakan untuk mengukur keberhasilan program.

            Kemudian dilakukan penetapan indikator-indikator yang akan digunakan dalam analisis. Penentuan indikator menggunakan data-data yang telah tersedia, yang diasumsikan mempunyai hubungan dengan tujuan-berdasarkan pengalaman evaluasi program-program lainnya dan dianggap dapat menggambarkan keberhasilan suatu program pemberdayaan di suatu daerah.

            Selanjutnya dilakukan analisis deskriptif untuk melihat prilaku data. Analisis deskripsi yang dilakukan meliputi boxplot masing-masing variable unutk melihat pola data dan keberadaan data pencilan, histogram untuk melihat kemiringan data, dan perhitungan nilai tengah, median, derajat kemiringan, nilai maksimum, nilai minimum dan deviasi standard. Dari hasil analisis deskripsi terlihat terdapat data yang memiliki pencilan (extremes) sehingga data-data ini harus dipertanyakan penyebabnya. Unutk melihat rata-rata data digunakan median, rataan, dan modus. Jika data cenderung miring maka median adalah ukuran lokasi yang lebih baik untuk digunakan, karena lebih bisa mewakili data daripada nilai tengah dan modus. Sedangkan untuk data yang tidak memiliki pencilan dan kemiringannya cukup kecil, lebih cocok digunakan nilai tngah.

            Untuk menyamakan satuan pengukuran dari indikator-indikator yang diteliti dilakukan pembakuan nilai tiap-tiap indikator dalam variable baku Z, dengan rumus sebagai berikut :

                                                        Zpqi = Xpqi - µq

                                                                          σq

 

Keterangan :

    P          : tujuan ke-p, p=1,2,...,4

    Q         : indikator ke-q, q=1,2,...q_p

    Zpqi     : Nilai Normal dari data ke-i, faktor ke-q, indikator ke-p

    Xpqi    : Data ke-i, faktor ke-q, indikator ke-p

    µq        : Nilai tengah populasi

    σq        : Ragam populasi

            Selanjutnya dilakukan analisis faktor dengan metode analisis komponen utama. Analisis komponen utama (Principal Component Analysis) bertujuan untuk mereduksi data dari q buah variable asal menjadi sejumlah komponen utama, yang lebih kecil dari q, dengan keragaman maksimum. Komponen utama yang dihasilkan adalah kombinasi linier terbobot dari q variable asal(Gaspersz, 1992)

            Analisis komponen utama dilakukan delam dua tahap.  Pertama, analisis komponen utama masing-masing tujuan evaluasi. Dari analisis ini diperoleh indikator-indikator yang dapat menerangkan tujuan. Hasil akhir dari analisis ini ialah nilai skor faktor masing-masing tujuan dari komponen utama yang keragamannya paling besar.

            Kedua, analisis komponen utama dari skor faktor tujuan untuk memperoleh skor faktor akhir yang akan menentukan tingkat keberhasilan suatu program pemberdayaan. Analisis ini menghasilkan komponen utama yang menggambarkan tujuan-tujuan yang menerangkan keberhasilan.

            Baik pula demikian indeks keberhasilan program unutk menyajikan lebih rinci kaitan beragam faktor penentu kinerja program. Seluruh indikator yang digunakan terlebih dahulu ditransformasi bentuknya, yaitu membandingkannya dengan suatu nilai “harapan” dari masing-masing indikator (suatu nilai ideal). Nilai ini dinyatakan dalam proporsi atau perbandingan, agar nilai indikator tersebut dapat dipertimbangkan mengingat jumlah desa penerima program per kecamatan, nilai bantuan program per kecamatan, serta jumlah penduduk berbeda-beda, dan dalam hal ini hubungan antara total jumlah penduduk, total jumlak KK, total jumlah penduduk miskin dengan nilai bantuan berhubungan positif. Sebagai contoh salah satu indikator yang digunakan untuk mengukur indeks pemberdayaan adalah jumlah penduduk miskin yang berpartisipasi dalam kegiatan pembangunan prasarana (Agusta, et.al.,2000). Jumlah penduduk yang berpartisipasi tersebut tidak dapat diperbandingkan secara langsung untuk mengukur partisipasi masyarakat antar lokasi program, melainkan jumlah penduduk miskin yang berpartisipasi tersebut harus diperbandingkan dulu dengan jumlah total penduduk miskin di lokasi program yang bersangkutan.

            Penetapan indeks dilakukan dengan mendasarkan pada nilai akar ciri (eign value) yang dihasilkan dari teknik analisa PCA dengan metode korelasi. Hasil komponen yang dapat digunakan sebagai indeks adalah yang memiliki nilai akar ciri terbesar dan lebih besar dari satu. Berdasarkan komponen yang terpilih sebagai indeks dapat ditentukan kontribusi dari setiap indikator yang digunkana dalam menyusun indeks tersebut.

            Hasilnya dapat digunakan untuk mengelompokkan wilayah program dalam dua kelompok berdasarkan skor faktor akhir, yaitu, pertama, wilayah berhasil, jika skor faktor akhir lebih tinggi dari rataan skor faktor. Kedua, wilayah gagal, jika skor faktor akhir lebih rendah dari rataan skor faktor. Dari sinilah diperoleh peta keberhasilan di tiap lokasi, atau bisa diagregasi ke tingkat-tingkat kecamatan, kabupaten, dan provinsi.

            Penyimpulan seluruh data dimulai dengan menyimpulkan seluruh data kuantitatif. Sedangkan data kualitatif disimpulkan melalui perbandingan kesimpulan antar kasus serta perbandingan dengan data kualitatif dari program atau kasus lain yang serupa. Hasil kesimpulan dari data kuantitatif dan data kualitatif tersebut kemudian disimpulkan bersama-sama, dengan cara mencari konvergensi pada setiap kesimpulan tersebut atau menguji kembali kesimpulan-kesimpulan yang berbeda secara logis serta sistematis menurut informasi dari literatur lain.