Garbage in Gospel Out – Benarkah Kupang Kota Terkorup?

by drhi on April 5, 2009

Reaksi pertama atas berita tentang Kupang sebagai Kota Terkorup di Indonesia adalah perasaan tidak percaya. Ah, apakah iya? Persoalannya bukan sentimen orang asal Kupang semata, tetapi hampir sepertiga usia saya dihabiskan di tiga kota di Jawa, termasuk beberapa tahun harus bergelut dan merasakan keparahan korupsi di Jakarta. Makanya membaca Kupang kota terkorup, tentu saja menimbulkan banyak pertanyaan. Bahan ini sendiri pernah menjadi topik obrolan kecil sesaat di Pak Laru Bolelebo, tempat nongkrong orang-orang Kupang perantau dari segala pojok dunia. Namun pertanyaan tetap tinggal pertanyaan sementara pandangan umum yang tersirat dalam judul tulisan ini, seolah-olah kesimpulan bahwa Kupang kota terkorup sudah diterima sebagai kebenaran Gospel. Makanya membaca judul posting tamu serta uraian dan kesimpulan yang ditulis Statistikawati Dr. Haerani Ismandar – yang seperti saya, juga dibesarkan di Kupang ini, – terasa ada sedikit hiburan.

Photo courtesy Meiprieva\'s Weblog

Photo courtesy Meiprieva's Weblog


Ketika semua ikut membeo dan bernyanyi lagu “Sorak-sorak bergembira, Kupang kota terkorup,…. ” syukurlah masih ada mantan anak Kupang yang mau mempertanyakan keabsahan hasil itu dan tidak begitu saja membeo dengan orang lain. Tidak percuma mantan pelajar teladan jebolan SMA Negeri I Kupang ini belajar Statistika. :-) Bagi saya waktu membaca reaksi sorak-sorak bergembira di berbagai media, terasa sekali adanya bias, yang untuk orang Amerika seakan mengandung ekspresi “I told you so,” atau dalam logat Kupang “be su bilang na!” Untungnya masih ada orang Kupang di perantauan yang penasaran dan bertanya: “ah, batul bagitu ko?” Namun seperti penutup tulisan ini, tidak bisa dipungkiri bahwa di Kupang juga banyak koruptor, dan ini bukan rahasia lagi. Tapi ikut sorak-sorak bergembira menertawakan kota sendiri tanpa mempertanyakan keabsahan methoda dan kesimpulan itu sangat mengganggu pikiran saya. Sebagai orang yang dibesarkan di Kupang, saya gembira dan berterimakasih sekali kepada Dr. Haerani yang mau membuang waktu menyusun posting tamu ini. Selamat membaca angin segar ini, dan bila anda punya pendapat, pro atau kontra, jangan sungkan suarakan di sini.(drt)

  

Beberapa waktu yang lalu lembaga Transparency International Indonesia (TI Indonesia) mengeluarkan hasil survey tentang korupsi di Indonesia. Hasil survey ini menempatkan Kupang sebagai kota terkorup dan Jogya sebagai kota terbersih dari korupsi. Reaksi yang muncul bermacam-macam, ada yang menolak dan ada yang menerima hasil survey tersebut. Di Kupang sendiri ada yang menerima dengan senang hati hasil survey ini tanpa berusaha mencari tahu apa sebenarnya yang dilakukan oleh TI Indonesia ini.

Tanpa mengurangi rasa hormat kami kepada TI Indonesia, kami mencoba melihat lebih jauh methoda yang digunakan dalam survey ini. Dasar pemikiran kami sangat sederhana. Hasil suatu survey akan benar atau mendekati kebenaran apabila methoda yang digunakan juga benar. Banyak survey yang dilakukan dengan menggunakan methoda yang salah tetapi mengumumkan kalau hasilnya benar. Dan kalau hasilnya itu di “quote” dimana-mana maka hasil tersebut akan dianggap sebagai suatu kebenaran. Di Barat hal ini diistilahkan sebagai garbage in gospel out, dan dampaknya kadang-kadang sangat luar biasa.

Dari sudut pandang Statistik, ada beberapa hal yang perlu kita perhatikan dalam melihat hasil suatu suvey. Pertama-tama yang harus kita pertanyakan adalah, bagaimana survey itu dilakukan, design survey apa yang digunakan, apa asumsinya, apakah asumsinya sudah dipenuhi, dan bagaimana samplenya ditentukan?

Menurut laporan yang kami temukan, survey ini dimulai dengan penentuan 50 kota sebagai kota dimana sampel akan di ambil. Kota-kota ini terdiri dari 33 ibukota propinsi dan 17 kota lainnya. Penentuan sample menggunakan methoda quota sampling dengan jumlah sample per kota proporsional dengan jumlah penduduk. Distribusi sample per kota adalah 60 persen pelaku bisnis, 30 persen pejabat publik dan sisanya 10 persen adalah tokoh masyarakat. Yang dimaksud dengan pelaku bisnis disini adalah orang yang bekerja di sektor formal dimana bisnisnya mempunyai ijin usaha dan NPWP, yang bersangkutan adalah pengambil keputusan dalam perusahaan tersebut, dan juga sample yang diambil di perusahaan berdasarkan jumlah pekerjanya (perusahaan kecil, menengah dan besar). Selain pelaku bisnis sample juga diambil dari pejabat publik sebesar 30 persen dengan syarat pejabat struktural, dan yang berhubungan dengan pelayanan publik. Sisanya adalah tokoh masyarakat sebanyak 10 persen. Methodanya adalah wawancara tatap muka (sumber: materi presentasi indeks persepsi korupsi Indonesia 2008). Dari laporan yang lain saya peroleh bahwa sample ditentukan sebanyak 4000 sample dengan distribusi sebagai berikut: 2400 pelaku bisnis, 1200 pejabat public, dan 400 responden tokoh masyarakat.

Ada beberapa hal yang menimbulkan pertanyaan. Misalnya, mengapa quota sampling digunakan untuk survey ini? Quota sampling memang umum digunakan untuk survey yang menggunakan jajak pendapat (opinion polls). Tetapi ada asumsi tertentu yang harus dipenuhi sebelum quota sampling ini diterapkan. Misalnya untuk kasus ini, proporsi sample yang di tentukan harus betul-betul menggambarkan proporsi dari keadaan sebenarnya dilapangan (lihat “Survey Sampling Principles” oleh Foreman halaman 293, atau “Probabilty vs Non Probability Sampling in Sample Survey” oleh Doherty). Pertanyaannya apakah betul proporsi dari pelaku bisnis, pejabat publik dan pemuka masyarakat di Indonsia adalah 6:3:1 untuk seluruh kota-kota yang disurvey? Apakah proporsi tersebut sama misalnya antara kota Jakarta dan kota Kupang? Kalau asumsi ini salah maka kesimpulan dari survey ini patut diragukan, karena itulah kelemahan dari quota sampling. Dibawah ini ada contoh yang sangat terkenal masalah quota sampling yang salah hasilnya karena salah mengasumsikan proporsi reponden seperti di atas dalam surveynya.

Pada pemilihan presiden US di tahun 1948 dilakukan jajak pendapat dengan dua methoda yaitu probability sampling (stratified random sampling), dan quota sampling untuk mengetahui kira-kira siapa yang akan keluar sebagai pemenang. Sebelum tahun 1948 quota sampling sangat popular dan sering dipakai pada saat pemilihan presiden di US. Ada tiga polls organizers terkenal yang melakukan survey yaitu Crossley, Gallup dan Roper (Scheaffer dkk halaman 47). Dengan menggunakan quota sampling, ketiga polls organizers itu gagal memprediksi kemenangan Harry Truman yang saat itu merupakan calon yang tidak popular, mengalahkan Thomas E. Dewey calon yang sangat popular. Methoda yang menggunakan probability sampling bisa memprediksi kemenangan Harry Truman ini. Setelah dilakukan penelitian yang lebih mendalam ternyata quota sampling memberi kontribusi yang besar terhadap kesalahan prediksi ini, karena salah dalam menggunakan asumsi-asumsi dasar, selain faktor interviewers. Interviewers dalam quota sampling memperoleh peran penting karena selain mereka yang menentukan siapa yang akan dijadikan sample, mereka jugalah yang berinteraksi dengan sample itu dilapangan. Hasil dari perbandingan ini membuat orang lebih berhati-hati dalam menggunakan quota sampling. Sejak tahun 1952 probability sampling lebih banyak dipakai dalam jajak pendapat di Amerika.

“Total responden yang berhasil diwawancara dalam survei ini adalah 3835 orang, dengan komposisi pelaku bisnis (2371 responden), pejabat publik (1068 orang), dan tokoh masyarakat (396 orang).” Kutipan diatas saya ambil dari “Mengukur Tingkat Korupsi Indonesia: Indeks Persepsi Korupsi Indonesia 2008 dan Indeks Suap”. Mungkin ada yang bertanya mengapa saya kutip langsung dari sumbernya? Ada alasannya yaitu ini menunjukkan kesalahan yang sangat mendasar dalam penerapan quota sampling dilapangan. Prinsip utama quota sampling adalah jumlah sample yang diambil harus memenuhi quota yang ditetapkan, dalam hal ini 4000 responden. Ternyata yang berhasil diwawancarai hanya 3835 orang. Artinya ini menciptakan munculnya non-sampling error. Dalam laporan TI Indonesia tidak disebutkan mengapa quota yang sudah ditentukan tidak dapat dipenuhi.  Yang tertulis adalah “yang berhasil diwawancarai”.  Apa artinya, apakah responden sudah diwawancarai kemudian menolak untuk berpartisipasi dalam survey ini ataukah interviewer tidak bisa menemukan samplenya (quota yang ditetapkan terlalu tinggi untuk kota yang bersangkutan?). Apapun alasannya non-sampling error akan mengarah ke sampling error karena proporsi quota dari sample yang ditentukan tidak akan 6:3:1 lagi. Padahal dalam quota sampling tidak dimungkinkan adanya sampling error karena sample dipilih tidak random (lihat Probabilty vs Non Probability Sampling in Sample Survey” oleh Doherty) . Hasilnya bisa bias.

Sedikit ulasan bagaimana quota sampling ini diterapkan dilapangan. Biasanya interviewers sudah dibekali dengan jumlah sample yang akan diambil dengan sejumlah kriteria. Dalam hal ini di kota Kupang misalnya interviewers harus mengumpulkan 70 sample yang terdiri dari 42 resonden pelaku bisnis, 21 responden pejabat publik dan 7 reponden pemuka masyarakat. Kalau misalnya ada 5 interviewers yang terjun dalam survey ini, artinya setiap interviewer mendapat quota sebanyak 14 responden. Dengan quota seperti ini semua interviewer harus mewawancarai hingga selesai 14 responden tersebut. Kalau kurang dari 14 reponden, interviewer harus berusaha mencari lagi hingga quotanya terpenuhi.

Dalam survey ini juga ada kerancuan dalam tujuannya, yaitu ingin melihat kecenderungan terjadinya korupsi di jajaran pemerintah daerah, tetapi di lain pihak ingin juga melihat apakah pemerintah daerah cukup berusaha untuk memberantas korupsi. Ini adalah dua hal yang sangat berbeda, yang akan membingungkan kalau disatukan. Seperti kita ketahui pada penghitungan terakhir skor indeks persepsi korupsi, angka yang digunakan sebagai pembanding antar kota adalah rata-rata dari skor persepsi korupsi dan skor usaha pemerintah dalam pemberantasan korupsi. Tentunya dengan tujuan yang berbeda dan target populasi yang berbeda pertanyaan-pertanyaan yang diajukan dalam bentuk kuestioner juga berbeda (lihat: Mengukur Tingkat Korupsi di Indonesia  Indeks Persepsi Korupsi 2008 dan indeks Suap). Lalu apakah dengan memasukkan pendapat tentang usaha pemerintah lalu bisa menjawab tujuan utama dari survey ini? Saya rasa tidak, karena angka yang muncul tidak berarti apa-apa dan sangat mungkin tidak mencerminkan keadaan dilapangan. Contoh yang paling ekstrim misalnya reponden memberi rata-rata skor 10 pada usaha pemerintah memberantas korupsi, yang berarti pemerintah daerah sangat serius dalam memberantas korupsi. Dilain pihak untuk kota yang sama, responden juga mengatakan praktek korupsi adalah sangat lazim dengan skor 0. Rata-rata yang diperoleh untuk skor terakhir adalah 0+10 dibagi dua artinya skornya adalah lima. Bandingkan dengan keadaan ini. Skor dari rata-rata usaha pemerintah di suatu kota adalah 5, dan skor kelaziman praktek korupsi adalah juga 5. Rata-rata akhir adalah 5. Sama dengan hasil ekstrim diatas. Lalu kesimpulannya ke dua kota yang dibandingkan adalah sama mempunyai skor 5 padahal keadaan dilapangannya sama sekali beda. Inilah kelemahan menggunakan rata-rata. Jadi pada dasarnya seharusnya kedua hasil tersebut dipisahkan sendiri-sendiri. Tetapi kalau ini dilakukan maka quota sampling tidak bisa dipakai lagi karena proporsi 6:3:1 adalah merupakan kesatuan dari representative sample yang mencerminkan keadaan populasi  sesungguhnya.

Hal lain yang perlu dilihat adalah sebaran sample antar kota. Seperti diketahui kota-kota yang masuk dalam kota sample dibagi menjadi 6 kelas berdasarkan jumlah populasinya. Jakarta dengan populasi yang mendekati 9 juta orang mendapat quota sample sebanyak 410 orang, sementara Kupang misalnya dengan populasi sebanyak 344 ribu orang memperoleh quota sebanyak 70 responden. Apakah ini bisa dikatakan proporsional? Kalau misalnya Jakarta memperoleh quota yang berdasarkan hitungan saya sebesar 1832 orang menurut saya barulah bisa dikatakan proportional. Atau contoh lain lagi kota Tegal dengan penduduk sebanyak 239 ribu orang memperoleh quota sample sebanyak 50 orang, sementara Bandung misalnya yang berpenduduk 2.3 juta orang hanya memperoleh quota sample sebesar 140 orang (sangat tidak proportional). Kelihatannya distribusi sample ini harus diperbaiki kalau ingin lebih tepat membandingkan hasil antar kota.

Sebagai penutup, dengan adanya beberapa permasalahan seperti yang diuraikan di atas, mungkin perlu dilihat lagi hasil akhir dari survey ini, apakah valid. Kami tidak menutup mata bahwa memang korupsi ada di kota Kupang, tetapi dibandingkan dengan kota-kota lainnya yang diteliti apakah memang lebih parah? Apakah itu merupakan kebenaran, ataukah kesimpulan ini terjadi karena adanya kesalahan penggunaan quota sampling. Atau kalau asumsi dasar dalam quota sampling tidak dipenuhi, apakah hasilnya masih bisa di percaya? Kupang adalah kota terkorup, benarkah? Kesimpulan saya serahkan kepada pembaca. (drhi)

Popularity: 2% [?]

{ 10 comments… read them below or add one }

Nanik April 5, 2009 at 11:58 pm

Artikel ini kenapa nggak dimuat di Pos Kupang? Sangat menarik pembahasan mbak Haerani Ismandar.
Orang Kupang sendiri membenarkan hasil survey, mungkin saja dikarenakan melihat makmurnya pejabat2 di kota Kupang.
Ini hanya pendapat saya saja :)

Jonatan April 6, 2009 at 1:59 am

Om Aris,
Be su baca. Tapi ini justru tambah keruh ketika blom bikin survey trus ktong su bilang “Ketika semua ikut membeo dan bernyanyi lagu “Sorak-sorak bergembira, Kupang kota terkorup,…. ”
Artinya tanpa survey ktong su jatuhkan vonis bahwa “semua” ikut membeo. Banyak yg sedih dan berdasarkan peringkat index CPI kupang jatuh paling bawah, sonde perlu dirayakan. Di mana sa, korupsi untuk diperangi.
Trims, JL

Rihi Here Wila April 6, 2009 at 5:39 am

Kenyataan di lapangan seperti yang Nanik bilang; kalau statistik mungkin memang perlu perbaikan metoda TI supaya lebih valid. Kalau saya sendiri melihat ada kebenaran (relatif, khan) pada survei TI itu. Kenapa? Karena saya melihat kenyataan kelakuan para pejabat negara/daerah di NTT (bukan cuma Kupang). Tapi terima kasih untuk Dik Titien yang sudah memberikan pencerahan tentang metodologi survei.

drt April 6, 2009 at 7:58 am

@JL:

[quote]
” tidak bisa dipungkiri bahwa di Kupang juga banyak koruptor, dan ini bukan rahasia lagi. Tapi ikut sorak-sorak bergembira menertawakan kota sendiri tanpa mempertanyakan keabsahan methoda dan kesimpulan itu sangat mengganggu pikiran saya,….”
[/quote]

Jon,

Saya setuju bahwa korupsi perlu diperangi. Dan sejak dulu sering saya katakan, banyak anak muda seperti kalian, waktu zaman studi keluar daerah semangat berapi-api dan saya tidak akan pernah berhenti ledeki. Bukankah orang-orang seperti para pejabat korup di Kupang sekarang juga banyak yang memikirkan dan memiliki idealisme membangun daerah? Tapi setelah kembali dan jadi pejabat, seperti yang dokter Rihi atau Ina Nanik katakan, kelakuan mereka bisa dilihat sendiri di sana. Menurut saya, banyak idealis ini ketika pulang jadinya ‘papmese’ alias ‘podowae’ kata orang Jawa. Jadi yang penting bukan seberapa lantang teriakan kalian sekarang, tetapi seberapa commit setelah kalian kembali. Makanya saya tetap pada pendapat waktu adalah juri terbaik. Sepuluh tahun, dua puluh tahun kalau Tuhan memberikan saya umur panjang, saya akan datang memberikan salut kepadamu Jon, kalau anda tetap setia pada idealismemu.

Kalau bilang korupsi tetap korupsi harus diberantas, ok saja buat saya. Kalau mau pinjam ini buat buka mata orang untuk melihat parahnya korupsi di Kupang, ok saja. Tapi methodanya tidak benar menurut analisis Dr. Haerani. Jadi yang perlu dijawab bukan komentar saya, tetapi seberapa valid hasil survey itu. Apakah kalau penelitian itu sudah dilakukan oleh orang German atau orang asing terus hasilnya pasti benar dan tak boleh dipertanyakan?

Itu saja.

drt April 7, 2009 at 12:36 pm

Kalau ada yang ingin memberi komentar di sini, terutama yang menyangkut pencemaran nama baik seseorang, maka harus cantumkan nama jelas yang bisa dikonfirmasi, sehingga kalau ada tindakan hukum dari orang yang dicemarkan nama baiknya, ybs bisa mempertanggungjawabkan secara hukum. Bila syarat minimum ini tidak terpenuhi, maka tanggapan itu tidak akan dimuat. Terima kasih.

drhi April 8, 2009 at 8:43 am

Dear dik Nanik, Terima kasih ya sudah membaca tulisan ini. Maaf baru dibalas. Sebenarnya tulisan ini merupakan kelanjutan dari diskusi kecil kita di milis Bolelebo mengenai Kupang kota terkorup, hasil survey dari TI Indonesia. Kesan yang saya dapat pada saat itu adalah pernyataan yang saya kemukakan seolah-olah hanya kalimat-kalimat kosong tanpa dasar. Setelah memperoleh bahan-bahannya, saya mencoba untuk sedikit mempelajari metoda yang di gunakan di survey ini, dan tulisan diataslah hasilnya. Awalnya memang ada niat saya untuk mengirim tulisan ini ke koran tetapi karena akhir-akhir ini jadwal saya agak padat, dan juga menyusun tulisan ini agak memakan waktu, pada saat selesai topik ini sudah menjadi basi. Saat ini tentunya kita semua sibuk memikirkan masalah pemilu.

Mengenai mengapa saya tidak mengirimkannya ke Pos Kupang, saya kira untuk jaman sekarang tidak ada lagi bedanya dimana saya menaruh tulisan ini. Karena dengan teknologi yang ada siapapun dan darimanapun bisa mengakses tulisan ini. Selain itu dengan jalan ini mungkin tulisan ini bisa juga bermanfaat untuk rekan-rekan di kota-kota lain yang juga terkena sample survey ini sebagai bahan perbandingan.

Tentunya harus juga diingat bahwa saya menulis ini tidak pada kapasitas membela para koruptor yang ada di Kupang. Dimanapun juga memang korupsi harus dihilangkan.
Terima kasih.

Henny P April 9, 2009 at 9:53 am

Sekarang ini, korupsi ada di mana-mana.Yang menjadi pertanyaan adalah awalan “ter” yang diletakkan pada kata “korup” untuk kota Kupang, apa iya?Sebagai orang awam, uraian Dr Haerani tersebut di atas, setidaknya telah membuka wawasan saya, terutama mengenai penggunaan quota sampling atau quota sampling yang tidak dipenuhi. Jadi, seberapa valid kah hasil survey TI tersebut. Namun… saya sepakat, korupsi harus diberantas.

drhi April 20, 2009 at 8:01 am

dear suz dr Henny, terima kasih atas komentarnya. Betul sekali bahwa ranking dari kota terkorup ini harus ditinjau kembali. Ada lagi point yang ingin saya tekankan yaitu kita harus sangat berhati-hati dalam penggunaan suatu methoda penelitian. Asumsi yang mendasarinya juga harus kita perhatikan dan juga bagaimana seharusnya penerapannya di lapangan. Mungkin untuk social survey seperti ini kesalahan tersebut kelihatannya “sepele” karena hasilnya tidak menyangkut nyawa orang. Kalau dibidang lain misalnya kedokteran, salah menyimpulkan dosis maksimum suatu jenis obat akan berakibat fatal. Atau dalam dunia kedokteran hewan, salah menyimpulkan ke efektiv an suatu jenis obat terhadap penyakit hewan tertentu juga akan berakibat fatal. Atau bagaimana kita mengukur suhu yang tepat untuk telur unggas agar bisa menetas dengan baik, juga memerlukan design penelitian yang baik.

Masih banyak penggunaan methoda penelitian dalam kehidupan kita sehari-hari yang kalau kita salah dalam mendesign akan salah pula dalam menyimpulkan dan akibatnya bisa serius. Saat ini bisa terlihat berapa banyak obat-obatan yang di tarik kembali dari pasaran karena kesalahan dalam penelitiannya? Ini hanya sedikit contoh yang mudah-mudahan bisa memberikan gambaran ke kita semua akan seriusnya dampak dari kesalahan methoda seperti ini.

Salam hormat dan sekali lagi terima kasih.

eduard lukas June 11, 2009 at 9:36 pm

hi…….bro….smua, ini cm masukan buat teman2 yg msh slalu peduli dgn kota kita sendiri, kota KUPANG. knp koruptor itu masih tetap berkeliaran khususnya dikota kita? kalo saya melihat dari segi mentalitas para pejabat maupun anggota DPRD yang sakit dan sangat perlu diterapi, terapi rohani NB: TIDAK SEMUANYA. kita coba flashback melihat kota soe yang dulunya sekitar tahun 70-80an merupakan salah satu daerah penghasil apel tp skrg mana? salah siapakah ini, para pejabat yg korup ato petani yg malas? ok kalo melihat dari pembangunan kota sdh mulai maju bnyk pengembangan disana sini. yang saya permasalahkan disini knp masyarakat kita khususnya di TTS,kefa,TTU, dan beberapa kabupaten kupang lainnya msh sangat kelaparan? dan msh ada busung lapar? dimanakah dana APBN n APBD dialihkan? transparanlah! buatlah bendungan ato embung-embung disana spy tdk kekurangan air, itu sangat bermanfaat bagi mereka utk meningkatkan taraf hidup, pertanian, peternakan, bila bgtu maka ekonomi merekapun akan meningkatdan tdk ada lg busung lapar juga kekurangan air bersih.bila ada dana pembangunan bendungan ato embung disana maka hal ini betul2 hrs diawasi oleh para wakil rakyat. jangan wakil rakyat jg ikut-ikutan menangani tender dan proyek.
salam saya yang msh peduli kota kupang.
SOLAGRADSIA, Surabaya
Solidaritas Generasi Muda untuk Indonesia
redaksi@pustakalewi.net

despic February 2, 2010 at 1:17 pm

mampir om :) salam kenal ,,,

sekalian om mampir kesini donk ramain forum na kupang friendly community http://que-punk.com/forum/forum.php

homepage : http://que-punk.com
owner : despic

Leave a Comment

Previous post:

Next post: