Uji perbandingan sederhana: sebelum dan sesudah, selang kepercayaan, uji t dua sampel dan berpasangan, perbandingan proporsi, dan beda yang penting secara teknis

Seorang pemasok bahan kimia menawarkan pelembut baru dengan janji waktu pengeringan lebih singkat. Laundry hotel mencobanya selama seminggu. Sepuluh muatan pengering sebelum uji rata-rata kering dalam 42 menit; sepuluh muatan dengan pelembut baru rata-rata 39 menit. Manajer menghitung penghematan gas tiga menit per muatan dan ingin langsung beralih, walaupun harga pelembut baru lebih tinggi.

Teknisi yang biasa merawat pengering bertanya beberapa hal. Minggu uji kebetulan musim kemarau, sedangkan minggu sebelumnya banyak hujan dan udara masuk pengering lebih lembap. Muatan minggu uji lebih banyak handuk tipis dari acara kolam renang. Dan waktu kering harian memang biasa naik turun sekitar empat menit tanpa perubahan apa pun. Beda tiga menit itu mungkin nyata, mungkin hanya kebetulan dan pengaruh cuaca. Bab ini menjelaskan cara merancang perbandingan yang adil dan cara membaca hasilnya, sehingga keputusan seperti itu berdasar bukti.

Batas pembahasan

Bab ini membahas perbandingan dua keadaan: rancangan perbandingan yang adil, selang kepercayaan, uji t dua sampel dan berpasangan, perbandingan dua proporsi, nilai p, beda yang penting secara teknis, ukuran sampel, dan jebakan. Analisis varians untuk lebih dari dua kelompok dan rancangan percobaan faktorial hanya disebut. Topik di sekitarnya ada di bab lain:

• ringkasan data di Bab 2 tentang variasi, distribusi, dan ringkasan data;
• diagram kendali untuk memantau setelah perubahan di Bab 3 tentang tren, kontrol proses, dan keputusan berbasis bukti;
• uji pembeda dalam diagnosis di Bab 3 · Sistem, Diagram & Diagnosis tentang gejala dan hipotesis yang dapat diuji;
• verifikasi perbaikan di Bab 4 · Sistem, Diagram & Diagnosis tentang akar sebab, verifikasi perbaikan, dan pembelajaran kegagalan;
• ukuran sampel untuk satu kelompok di Bab 6 tentang sampling dan ukuran sampel;
• korelasi dan pengganggu di Bab 7 tentang korelasi dan regresi.

Merancang perbandingan yang adil

Hasil perbandingan hanya sebaik rancangannya. Dalam kimia, sebuah percobaan terpisah disiapkan untuk setiap penentuan laju, dan sampel acuan dipakai untuk membandingkan sampel dalam kromatografi. Satu gejala fisika dinyatakan tidak diragukan karena sudah dikonfirmasi berulang kali di laboratorium. Ketiga hal itu adalah inti perbandingan yang adil: setiap keadaan diuji tersendiri, ada pembanding, dan hasil diulang.

Perbandingan yang adil (fair comparison) adalah perbandingan yang dirancang sehingga beda hasilnya hanya dapat berasal dari hal yang diuji. Syaratnya sebagai berikut.

1. Satu perubahan. Hanya hal yang diuji yang berbeda; yang lain dibuat sama atau dicatat.
2. Pembanding pada waktu yang sama. Membandingkan minggu ini dengan minggu lalu mencampur pengaruh perubahan dengan cuaca, muatan, dan orang. Lebih baik kedua keadaan dijalankan bergantian pada hari yang sama, atau pada dua mesin yang serupa sekaligus.
3. Pengacakan. Urutan atau muatan yang mendapat perlakuan dipilih acak, supaya pengganggu tersebar merata.
4. Ulangan. Beberapa muatan atau siklus untuk setiap keadaan, supaya sebaran dapat diukur.
5. Ukuran keberhasilan ditetapkan lebih dulu: besaran apa, diukur bagaimana, dan berapa beda yang dianggap penting.
6. Pengukur tidak tahu perlakuan bila penilaian bersifat subjektif, seperti menilai kelembutan atau noda.

Perbandingan yang baik biasanya dimulai kecil: uji pada satu mesin atau satu program dengan pembanding, lalu bila hasilnya menjanjikan, diperluas. Setelah perubahan dipakai penuh, hasilnya tetap dipantau dengan diagram kendali seperti di Bab 3 tentang tren dan kontrol proses, karena keadaan selama uji tidak selalu sama dengan keadaan sehari-hari.

Selang kepercayaan untuk rata-rata

Rata-rata sampel tidak sama dengan rata-rata sebenarnya. Selang kepercayaan (confidence interval) adalah rentang di sekitar hasil sampel yang memuat nilai sebenarnya yang masih cocok dengan data. Selang kepercayaan sekitar 95% untuk rata-rata:

dengan $\bar{x}$ rata-rata sampel, $s$ simpangan baku sampel, dan $n$ jumlah data; selang mempunyai satuan yang sama dengan data. Galat baku (standard error) adalah simpangan baku rata-rata sampel, $s/\sqrt{n}$. Nilai $t$ diambil dari distribusi t berderajat kebebasan $n - 1$: sekitar 2,26 untuk 10 data, 2,09 untuk 20 data, dan mendekati 1,96 untuk data banyak. Selang ini dibaca sebagai rentang nilai rata-rata sebenarnya yang cocok dengan data, dengan cara hitung yang dalam jangka panjang mencakup nilai sebenarnya sekitar 95 kali dari 100.

Selang kepercayaan lebih berguna daripada satu angka rata-rata karena langsung menunjukkan seberapa pasti hasilnya. Dua selang yang saling tumpang tindih besar menunjukkan beda yang belum jelas.

Membandingkan dua rata-rata

Untuk dua kelompok yang saling bebas, misalnya muatan dengan pelembut lama dan baru, beda rata-rata dinilai dengan uji t dua sampel. Uji t dua sampel (two-sample t-test) adalah uji yang membandingkan beda rata-rata dua kelompok bebas dengan galat baku beda itu. Bentuk yang tidak menganggap varians kedua kelompok sama disebut bentuk Welch:

dengan indeks 1 dan 2 menunjuk kedua kelompok; $t$ tanpa satuan. Derajat kebebasan dihitung dengan rumus Welch-Satterthwaite yang sama bentuknya dengan rumus derajat kebebasan efektif di Bab 5 tentang ketidakpastian gabungan, dan biasanya berada di antara yang terkecil dari $n_1 - 1$ dan $n_2 - 1$ dan jumlah keduanya dikurangi dua. Bila $|t|$ lebih besar dari nilai kritis untuk 95%, beda dinyatakan bermakna secara statistik.

Cara yang lebih informatif adalah menghitung selang kepercayaan untuk beda: $(\bar{x}_1 - \bar{x}_2) \pm t \times SE$, dengan $SE$ galat baku beda, yaitu penyebut rumus di atas. Bila selang mencakup nol, data belum menunjukkan beda; bila seluruh selang berada di satu sisi nol, beda bermakna.

Uji t mengandaikan pengamatan saling bebas dan sebaran setiap kelompok tidak terlalu jauh dari normal. Untuk sampel kecil, gambar data lebih dulu: satu titik menyimpang atau sebaran yang sangat miring dapat menguasai hasil. Bila anggapan itu diragukan, uji berbasis peringkat seperti uji Mann-Whitney dapat dipakai sebagai pembanding, dan bila kedua uji memberi kesimpulan berbeda, data diperiksa ulang sebelum memutuskan. Pengamatan yang berurutan dari mesin yang sama dalam satu hari sering tidak saling bebas, sehingga lebih aman memakai rata-rata per hari sebagai satu pengamatan.

Uji berpasangan

Uji berpasangan (paired t-test) adalah uji t pada selisih setiap pasangan pengamatan. Bila setiap pengamatan pada keadaan pertama dapat dipasangkan dengan pengamatan pada keadaan kedua, misalnya muatan yang sama jenis dan beratnya dijalankan dengan dua pelembut pada hari yang sama, atau mesin yang sama diukur sebelum dan sesudah perbaikan, dipakai uji berpasangan. Selisih setiap pasangan $d_i$ dihitung, lalu:

dengan derajat kebebasan $n - 1$, $n$ jumlah pasangan, $\bar{d}$ rata-rata selisih, dan $s_d$ simpangan baku selisih, keduanya dalam satuan data. Pemasangan menghapus perbedaan antarpasangan, seperti jenis muatan atau keadaan mesin, sehingga sebaran selisih biasanya jauh lebih kecil daripada sebaran data asli. Rancangan berpasangan sering memerlukan sampel jauh lebih kecil untuk menemukan beda yang sama.

Membandingkan dua proporsi

Data atribut (attribute data) adalah data yang mencatat ada atau tidaknya suatu sifat pada setiap benda. Untuk data atribut, seperti bagian lembar bernoda dengan dua cara cuci, dua proporsi $\hat{p}_1 = x_1/n_1$ dan $\hat{p}_2 = x_2/n_2$ dibandingkan dengan:

dengan $x$ jumlah kejadian, $n$ jumlah benda yang diperiksa, dan $\bar{p}$ proporsi gabungan; semuanya tanpa satuan. Nilai $|z|$ lebih dari 1,96 menunjukkan beda bermakna pada sekitar 5%. Cara ini cukup baik bila setiap kelompok mempunyai paling sedikit sekitar sepuluh kejadian dan sepuluh bukan kejadian. Untuk cacat yang jarang, sampel harus besar, seperti dijelaskan di Bab 6 tentang sampling dan ukuran sampel.

Nilai p dan arti bermakna

Nilai p (p-value) adalah peluang mendapat beda sebesar yang teramati atau lebih besar bila sebenarnya tidak ada beda. Nilai p kecil, biasanya di bawah 0,05, berarti data sulit dijelaskan dengan kebetulan saja.

Nilai p sering disalahartikan:

1. Nilai p bukan peluang bahwa tidak ada beda.
2. Nilai p besar tidak membuktikan tidak ada beda; mungkin sampelnya terlalu kecil.
3. Bermakna secara statistik tidak berarti besar atau penting.

Uji dapat dua sisi, yaitu mencari beda ke arah mana pun, atau satu sisi, yaitu hanya mencari perbaikan ke arah tertentu. Arah harus ditetapkan sebelum melihat data; memilih uji satu sisi setelah melihat arah beda sama dengan menggandakan peluang kesalahan. Bila ragu, uji dua sisi dipakai.

Ada dua jenis kesalahan keputusan. Kesalahan jenis I (type I error) adalah menyatakan ada beda padahal tidak ada; peluangnya ditetapkan oleh batas 0,05. Kesalahan jenis II (type II error) adalah gagal menemukan beda yang sebenarnya ada; peluangnya turun bila sampel diperbesar. Daya uji (statistical power) adalah kemampuan uji menemukan beda yang ada, biasanya direncanakan sekitar 80%.

Beda yang penting secara teknis

Beda yang bermakna secara statistik belum tentu penting untuk keputusan. Dengan sampel sangat besar, beda kecil pun bermakna. Karena itu, sebelum mengumpulkan data, tetapkan beda terkecil yang penting secara teknis atau ekonomis, misalnya penghematan waktu kering yang menutup selisih harga pelembut. Beda yang penting secara teknis (practically significant difference) adalah beda terkecil yang cukup besar untuk mengubah keputusan teknis atau ekonomis.

Keputusan dibaca dari selang kepercayaan beda terhadap angka itu:

1. Seluruh selang di atas beda penting: perubahan bermanfaat.
2. Seluruh selang di bawah beda penting, walaupun di atas nol: ada beda, tetapi tidak cukup bermanfaat.
3. Selang mencakup beda penting: data belum cukup untuk memutuskan; tambah sampel.

Hasil uji sering dilaporkan singkat, misalnya waktu aerasi yang dinaikkan menjadi 60 jam dengan penurunan BOD 98,2%, atau penyerapan pada kedua keadaan sebesar 92% sampai 95% pada pengolahan air limbah industri. Kalimat seperti itu bermanfaat sebagai petunjuk awal, tetapi sebelum dipakai untuk keputusan perlu ditanyakan: dibandingkan dengan apa, berapa ulangan, pada keadaan apa, dan berapa sebarannya.

Ukuran sampel untuk perbandingan

Untuk menemukan beda rata-rata $\Delta$ antara dua kelompok bebas dengan simpangan baku $\sigma$, pada batas 5% dan daya uji 80%, ukuran setiap kelompok kira-kira:

dengan $n$ jumlah data setiap kelompok, $\sigma$ dan $\Delta$ dalam satuan yang sama, dan $z_{\alpha/2} + z_{\beta}$ sekitar 2,80 untuk batas dan daya uji itu. Untuk rancangan berpasangan, $\sigma$ diganti simpangan baku selisih $s_d$ dan faktor 2 dihilangkan. Rumus ini menunjukkan mengapa uji seminggu dengan sepuluh muatan sering tidak cukup: bila sebaran sebesar beda yang dicari, diperlukan belasan sampai puluhan muatan setiap kelompok.

Jebakan yang sering menyesatkan

1. Regresi ke rata-rata (regression to the mean). Mesin yang dipilih karena angkanya paling buruk bulan lalu cenderung membaik bulan ini walaupun tidak diapa-apakan, karena sebagian keburukannya kebetulan. Perbaikan yang diuji pada mesin terburuk saja akan tampak berhasil.
2. Banyak uji. Bila dua puluh hal dibandingkan masing-masing pada batas 5%, sekitar satu akan tampak bermakna hanya karena kebetulan.
3. Berhenti saat hasil bagus. Melihat data setiap hari dan berhenti begitu beda tampak bermakna menaikkan peluang kesalahan jenis I.
4. Pengganggu waktu. Perbandingan sebelum dan sesudah tanpa pembanding serentak mencampur pengaruh perubahan dengan musim, muatan, dan keadaan lain.
5. Mengubah ukuran setelah melihat data. Bila ukuran keberhasilan diganti karena ukuran awal tidak menunjukkan beda, hasilnya tidak dapat dipercaya.

Melaporkan hasil perbandingan

Laporan perbandingan yang dapat diperiksa orang lain memuat:

1. Pertanyaan dan ukuran keberhasilan yang ditetapkan sebelum uji, termasuk beda yang dianggap penting dan alasannya.
2. Rancangan: kelompok bebas atau berpasangan, cara memilih dan mengacak, jumlah ulangan, dan keadaan yang dibuat sama.
3. Data ringkas setiap kelompok: jumlah data, rata-rata atau proporsi, dan simpangan baku.
4. Beda dan selang kepercayaannya, lebih utama daripada nilai p saja.
5. Keputusan dibandingkan dengan beda yang penting, dan alasannya.
6. Hal yang mungkin mengganggu dan tidak dapat dikendalikan, seperti cuaca atau perubahan muatan.

Data mentah disimpan bersama laporan, sehingga perhitungan dapat diulang dan perbandingan baru dapat digabung dengan yang lama. Hasil yang tidak menunjukkan beda juga dilaporkan; tanpa itu, organisasi hanya mengingat uji yang "berhasil" dan melebihkan manfaat perubahan.

Contoh kerja

Angka dalam contoh di bawah adalah angka latihan, kecuali disebut asalnya.

Contoh 1: selang kepercayaan waktu kering. Sepuluh muatan dengan pelembut lama: rata-rata 42,0 menit, $s = 4{,}0$ menit. Selang 95%: $42{,}0 \pm 2{,}26 \times 4{,}0/\sqrt{10} = 42{,}0 \pm 2{,}9$ menit, atau 39,1 sampai 44,9 menit. Rata-rata 39 menit dengan pelembut baru hampir berada di dalam selang itu.

Contoh 2: uji t dua sampel. Pelembut baru: sepuluh muatan, rata-rata 39,0 menit, $s = 3{,}6$ menit. $SE = \sqrt{4{,}0^2/10 + 3{,}6^2/10} = 1{,}70$ menit, $t = 3{,}0/1{,}70 = 1{,}76$, derajat kebebasan Welch sekitar 17,8, nilai kritis sekitar 2,11. Beda belum bermakna. Selang beda $3{,}0 \pm 2{,}11 \times 1{,}70 = 3{,}0 \pm 3{,}6$ menit, dari $-0{,}6$ sampai 6,6 menit: pelembut baru mungkin tidak berpengaruh, mungkin menghemat sampai enam menit.

Contoh 3: rancangan berpasangan. Delapan jenis muatan, masing-masing dijalankan sekali dengan pelembut lama dan sekali dengan yang baru pada hari yang sama, dalam urutan acak. Selisih waktu kering (lama dikurangi baru): 3,5; 2,0; 4,0; 2,5; 3,0; 1,5; 3,5; 2,0 menit. $\bar{d} = 2{,}75$, $s_d = 0{,}89$, $t = 2{,}75/(0{,}89/\sqrt{8}) = 8{,}8$ dengan derajat kebebasan 7 dan nilai kritis 2,36. Selang beda $2{,}75 \pm 2{,}36 \times 0{,}89/\sqrt{8} = 2{,}75 \pm 0{,}74$ menit, atau 2,0 sampai 3,5 menit. Dengan delapan pasang, beda sudah jelas.

Contoh 4: beda yang penting. Selisih harga pelembut setara dengan penghematan gas 2,5 menit per muatan. Selang beda 2,0 sampai 3,5 menit mencakup 2,5, sehingga belum pasti penghematan menutup selisih harga. Uji diperpanjang atau harga dirundingkan; keputusan tidak diambil dari rata-rata saja. Bila uji berpasangan diperpanjang menjadi enam belas pasang dengan $s_d$ yang sama, lebar selang menyusut kira-kira menjadi $\pm 0{,}47$ menit; dengan rata-rata yang tetap 2,75 menit, selang 2,3 sampai 3,2 menit masih mencakup 2,5, sehingga harga tetap perlu dirundingkan.

Contoh 5: perbandingan proporsi noda. Cara cuci lama: 24 lembar bernoda dari 400 (6%); cara baru: 12 dari 400 (3%). $\bar{p} = 36/800 = 0{,}045$, $SE = \sqrt{0{,}045 \times 0{,}955 \times 2/400} = 0{,}0147$, $z = 0{,}03/0{,}0147 = 2{,}05$, nilai p sekitar 0,04. Beda bermakna. Selang 95% untuk beda sekitar 0,1 sampai 5,9 poin persen; batas bawahnya hampir nol, sehingga besarnya manfaat masih belum pasti.

Contoh 6: ukuran sampel. Waktu kering mempunyai $\sigma = 4$ menit dan beda yang penting 2 menit. Dua kelompok bebas memerlukan $n \approx 2 \times 2{,}80^2 \times 16/4 = 62{,}7$, jadi 63 muatan setiap kelompok. Dengan rancangan berpasangan dan $s_d = 0{,}9$ menit, $n \approx (2{,}80 \times 0{,}9/2)^2 = 1{,}6$; karena rumus ini kurang tepat untuk sampel sangat kecil, dipakai paling sedikit enam sampai delapan pasang.

Kondisi berhenti

Hentikan pengambilan keputusan dari perbandingan dan minta keputusan penyelia bila:

1. Perbandingan tidak mempunyai pembanding serentak dan keadaan lain berubah selama uji.
2. Ukuran keberhasilan atau beda yang penting tidak ditetapkan sebelum data dikumpulkan.
3. Perubahan yang diuji menyangkut keselamatan, sanitasi, atau dosis bahan kimia di luar batas pabrik.
4. Klaim pemasok tidak disertai data pembanding, jumlah ulangan, dan keadaan uji.
5. Hasil bermakna hanya muncul setelah banyak ukuran dicoba atau setelah data dipilih.

Salah tafsir yang sering terjadi

Hubungan dengan bab lain

• Bab 2 tentang variasi, distribusi, dan ringkasan data memberi simpangan baku.
• Bab 3 tentang tren, kontrol proses, dan keputusan berbasis bukti memberi diagram kendali untuk memantau setelah perubahan.
• Bab 3 · Sistem, Diagram & Diagnosis tentang gejala dan hipotesis yang dapat diuji memberi uji pembeda, dan Bab 4 · Sistem, Diagram & Diagnosis tentang akar sebab, verifikasi perbaikan, dan pembelajaran kegagalan memberi verifikasi perbaikan.
• Bab 6 tentang sampling dan ukuran sampel membahas ukuran sampel untuk satu kelompok.
• Bab 7 tentang korelasi dan regresi membahas pengganggu dan korelasi.
• Bab 5 tentang ketidakpastian gabungan memberi rumus derajat kebebasan efektif.
• Bab 9 tentang lembar periksa dan catatan lapangan digital membahas sumber data semua perbandingan ini.

Latihan dan pembahasan