Disetiap kegiatan ujian mid semester dan semester, setiap guru diberi tugas untuk menyusun kisi-kisi soal ujian. Dalam form kisi-kisi diantaranya berisi kompetensi dasar, indikator, uraian soal, kunci soal, tingkat kesukaran soal dan taksonomi Bloom (c1,c2,c3,c4,c5,c6).
Menurut penulis, selama ini soal yang disusun oleh guru belum teruji kualitasnya, karena memang belum pernah dianalisis. Analisis ini penting agar kegiatan evaluasi pembelajaran tidak bias, meskipun dalam faktanya penilaian dalam LHBS bersifat artifisial (tidak senyatanya/buatan), dan bertentangan dengan prinsip KTSP yang penilaian beracuan patokan (PAP).
Dampak dari penyusunan soal yang tidak standar, tidak saja bias sebagai alat ukur, tetapi juga menandakan kredibilitas dan kualitas sekolah karena stakeholder semakin kritis terhadap praksis pendidikan yang didalamnya mencakup sistem evaluasi pembelajaran.
Berdasarkan uraian di atas, mempelajari analisis butir soal penulis anggap penting, terlebih bagi guru yang berlatar belakang nonkependidikan. Analisis butir yang akan disampaikan mencakup: daya beda soal, tingkat kesukaran, validitas soal, dan reliabilitas soal.
Tujuan dari kegiatan ini adalah untuk penguatan pemahaman guru (karena sudah dipelajari saat S-1) tentang analisis butir soal sehingga dalam penyusunan soal menjadi standar.

A. Parameter-parameter aitem
Pada analisis aitem untuk tes prestasi tipe objektif, kualitas aitem dapat dilihat dari paling tidak dua kriteria atau dua parameter, yaitu (a) indeks kesukaran aitem dan (b) indeks daya diskriminasi aitem.
Kedua parameter tersebut dihitung secara terpisah. Namun dalam evaluasi terhadap aitem, keduanya tidak berdiri secara sendiri-sendiri melainkan dilihat sebagai kesatuan komponen yang akan menentukan apakah suatu aitem dapat dianggap baik atau tidak.
Lebih lanjut, analisis aitem akan menguji pula efektifitas distraktor-distraktor pada setiap aitem untuk menentukan apakah setiap distraktor yang dibuat sudah berfungsi sebagaimana mestinya atau belum (Saefudin Azwar, 1998).
Langkah-langkah analisis aitem:
1. Soal yang sudah disusun diujicobakan, buatlah tabulasi skor aitem dan skor total
Contoh:
Nama Nomor Soal Jumlah
1 2 3 4 5 6 7 8
Arman 1 1 0 1 0 0 1 1 5
Duta 0 0 1 1 0 1 1 0 4
Haris 1 1 0 0 1 1 1 1 6
Achdiat 1 0 1 1 1 1 1 0 6
Dara 0 1 0 0 1 1 1 0 4
Mitha 0 1 0 1 0 1 0 0 3
Fatima 1 1 1 1 1 1 1 0 7
Jameela 0 0 0 0 0 1 1 1 3
Tabel. 1

2. Lakukan penjenjangan siswa menurut besarnya skor
3. Bagi kelompok menjadi dua bagian, kelompak atas dan kelompok bawah, jika peserta tes lebih dari 500, maka cukup 27% Kelompok Atas dan 27% kelompok Bawah. Kelompok Atas dan Kelompok Bawah diranking berdasarkan skor totalnya.

Setelah dibuat tabulasi dan ditentukan berapa jumlah peserta yang diikutkan dalam analisis, maka selanjutnya dapat dilakukan proses analisis, sbb:
a. Indeks kesukaran aitem (Tingkat Kesukaran): indeks kesukaran aitem akan menentukan taraf kesulitan soal, dengan ketentuan:






p = ni / N

ni = Banyaknya siswa yang menjawab aitem dengan benar
N = Banyaknya siswa yang menjawab aitem

Contoh: Soal no 1: Jumlah siswa yang menjawab benar ada 4. Jumlah peserta tes ada 8. Dengan demikian indeks kesukaran adalah :
p= 4/8 = 0,50
Artinya: soal no. 1 tergolong soal yang sedang

Apabila soal berbentuk uraian maka indeks kesukaran soal menggunakan rumus :
p = / skor maks
Contoh:

Nama No Soal (1) Skor maksimal 6
Arman 4
Duta 6
Haris 5
Achdiat 5
Dara 4
Mitha 3
Fatima 6
Jameela 4

= 37/8 = 4,11
P = 4,11/6
= 0,69 berarti soal uraian ini masuk dalam taraf kesulitan sedang

b. Indeks daya diskriminasi aitem (Daya Beda)
Daya diskriminasi aitem adalah kemampuan aitem dalam membedakan antara siswa yang mempunyai kemampuan tinggi (dalam hal ini diwakili oleh mereka yang termasuk Kelompok Tinggi) dan siswa yang mempunyai kemampuan rendah (diwakili oleh mereka yang termasuk dalam Kelompok Rendah).
Suatu aitem yang dikatakan mempunyai daya diskriminasi tinggi haruslah dijawab dengan benar oleh semua atau sebagian besar subjek Kelompok Tinggi dan tidak dapat dijawab dengan benar oleh semua atau sebagian besar subjek Kelompok Rendah.

d = pT - pR
= niT /NT – niR/NR

d = indeks daya diskriminasi aitem
pT = indeks kesukaran aitem untuk Kelompok Tinggi
pR = indeks kesukaran aitem untuk Kelompok Rendah
niT = banyaknya penjawab aitem dengan benar Kelompok Tinggi
niR = banyaknya penjawab aitem dengan benar Kelompok Rendah
NT = Banyaknya penjawab dari Kelompok Tinggi
NR = Banyaknya penjawab dari Kelompok Rendah

Dari hasil perhitungan dengan formula di atas dapat diketahui indeks daya diskriminasi aitem, dan selanjutnya digolongkan dalam kriteria sbb:







Contoh:
Dari tabel 1 dapat dibuat dua kelompok (Tinggi dan Rendah) berdasarkan skor atau jumlah nilai yang diperoleh, sbb:
Kelompok Tinggi
Nama Jumlah
Fatima 7
Achdiat 6
Haris 6
Arman 5
Kelompok Rendah
Nama Jumlah
Duta 4
Dara 4
Mitha 3
Jameela 3

Misal yang akan diuji daya diskriminasinya adalah soal no. 3
Kelompok Tinggi
Nama Soal no .3
Fatima 1
Achdiat 1
Haris 0
Arman 0

pT = 2/4 = 0,50

Kelompok Rendah
Nama Soal no .3
Duta 1
Dara 0
Mitha 0
Jameela 0

pR = 1/4 = 0,25

nilai d = 0,50 – 0,25 = 0,25
Artinya soal no .3 dikategorikan sebagai soal yang harus diperbaiki.

c. Efektivitas distraktor
Efektivitas distraktor-distraktor yang ada pada suatu aitem dianalisis dari distribusi jawaban terhadap aitem yang bersangkutan pada setiap alternatif yang disediakan. Efektivitas distraktor diperiksa untuk melihat apakah semua distraktor atau semua pilihan jawaban yang bukan kunci telah berfungsi sebagaimana mestinya (pengecoh). Efektivitas distraktor dilihat dari dua kriteria (a) distraktor dipilih oleh siswa dari Kelompok Rendah dan (b) pemilih distraktor tersebar relatif proporsional pada masing-masing distraktor yang ada.
Contoh:
Klp Jumlah Alternatif Jawaban
a b c d e OMIT
T 22 0 4 15* 1 2
R 22 8 6 2 4 2
Kunci soal : c

Dari contoh di atas dapat dianalisis efektivitas distraktornya sbb: semua distraktor berfungsi dengan baik karena ada pemilihnya.
Catatan:
Jika ditemui distraktor yang tidak ada pemilihnya maka dinyatakan bahwa ada kemungkinan isinya tidak relevan dengan soal atau konstruk kalimatnya tidak jelas sehingga siswa bisa main tebak (karena sudah ada jawaban yang pasti salah).
Latihan: Tentukan indeks kesukaran, indeks diskriminasi aitem, dan analisis efektivitas distraktornya.
Soal no. 1
Klp Jumlah Alternatif Jawaban
a b c d e OMIT
T 22 12* 4 4 1 1
R 22 4 10 6 1 1
Soal no. 1
Klp Jumlah Alternatif Jawaban
a b c d e OMIT
T 22 0 4 16* 0 0 2
R 22 6 6 6 0 4

d. Validitas aitem
Validitas dan reliabilitas sebetulnya digunakan untuk aitem yang mengukur abilitas potensial (tes IQ, tes bakat), unttuk tes yang tujuannya sekedar mengukur prestasi (abilitas aktual) cukup digunakan indeks kesukaran dan indeks diskriminasi aitem.
Namun validitas ini tetap penulis pandang penting untuk disampaikan agar para guru lebih sempurna lagi dalam menyusun tes prestasi belajar. Interpretasi koefisien validitas bersifat relatif, namun kesepakatan umum menyatakan bahwa koefisien validitas dapat dianggap memuaskan apabila melebihi 0,30.
Untuk menghitung validitas dapat dilakukan dengan manual, program excel, dan program SPSS. Dalam kegiatan workshop ini penulis hanya akan menyajikan melalui excel dengan mengkorelasikan skor aitem dengan skor total.



e. Reliabilitas aitem
Reliabilitas dimaknai sebagai keajegan atau konsistensi, artinya alat ukur tersebut jika digunakan berulang-ulang dengan objek yang sama diperoleh hasil yang sama. Untuk menghitung koefisien reliabilitas dapat menggunakan beberapa formula antara lain Spearman Brorwn, Rulon, Alpha, dan Kuder-Richarson (KR20). Untuk mempermudah penghitungan reliabilitas dapat menggunakan program SPSS.
Interpretasi koefisien relaibilitas bersifat relatif, namun kesepakatan umum menyatakan bahwa koefisien reliabilitas dapat dianggap memuaskan apabila disekitar 0,90 atau lebih.