Uji perbandingan sederhana: sebelum dan sesudah, selang kepercayaan, uji t dua sampel dan berpasangan, perbandingan proporsi, dan beda yang penting secara teknis

Seorang pemasok bahan kimia menawarkan pelembut baru dengan janji waktu pengeringan lebih singkat. Laundry hotel mencobanya selama seminggu. Sepuluh muatan pengering sebelum uji rata-rata kering dalam 42 menit; sepuluh muatan dengan pelembut baru rata-rata 39 menit. Manajer menghitung penghematan gas tiga menit per muatan dan ingin langsung beralih, walaupun harga pelembut baru lebih tinggi.

Teknisi yang biasa merawat pengering bertanya beberapa hal. Minggu uji kebetulan musim kemarau, sedangkan minggu sebelumnya banyak hujan dan udara masuk pengering lebih lembap. Muatan minggu uji lebih banyak handuk tipis dari acara kolam renang. Dan waktu kering harian memang biasa naik turun sekitar empat menit tanpa perubahan apa pun. Beda tiga menit itu mungkin nyata, mungkin hanya kebetulan dan pengaruh cuaca. Bab ini menjelaskan cara merancang perbandingan yang adil dan cara membaca hasilnya, sehingga keputusan seperti itu berdasar bukti.

Batas pembahasan

Bab ini membahas perbandingan dua keadaan: rancangan perbandingan yang adil, selang kepercayaan, uji t dua sampel dan berpasangan, perbandingan dua proporsi, nilai p, beda yang penting secara teknis, ukuran sampel, dan jebakan. Analisis varians untuk lebih dari dua kelompok dan rancangan percobaan faktorial hanya disebut. Ringkasan data ada di Bab 2; diagram kendali untuk memantau setelah perubahan di Bab 3; uji pembeda dalam diagnosis di Bab 3 · Sistem, Diagram & Diagnosis; verifikasi perbaikan di Bab 4 · Sistem, Diagram & Diagnosis; ukuran sampel untuk satu kelompok di Bab 6; korelasi dan pengganggu di Bab 7. Sumbernya adalah narasi Kimia, narasi Teknik Air dan Lingkungan, dan narasi Fluida, Termal, dan Utilitas Industri, ditambah pengetahuan statistik umum yang ditandai di peta sumber. Rumus di bab ini adalah rumus baku (nilai literatur umum); angka dalam contoh adalah angka latihan.

Merancang perbandingan yang adil

Hasil perbandingan hanya sebaik rancangannya. Narasi Kimia mengutip buku kimia tingkat lanjut bahwa sebuah percobaan terpisah disiapkan untuk setiap penentuan laju, dan buku kimia sekolah menengah bahwa sampel acuan dipakai untuk membandingkan sampel dalam kromatografi. Narasi Fluida, Termal, dan Utilitas Industri mengutip buku fisika untuk ilmuwan dan insinyur tentang kenyataan yang sudah dikonfirmasi berulang kali di laboratorium. Ketiga hal itu adalah inti perbandingan yang adil: setiap keadaan diuji tersendiri, ada pembanding, dan hasil diulang.

Syarat perbandingan yang adil (nilai literatur umum):

1. Satu perubahan. Hanya hal yang diuji yang berbeda; yang lain dibuat sama atau dicatat.
2. Pembanding pada waktu yang sama. Membandingkan minggu ini dengan minggu lalu mencampur pengaruh perubahan dengan cuaca, muatan, dan orang. Lebih baik kedua keadaan dijalankan bergantian pada hari yang sama, atau pada dua mesin yang serupa sekaligus.
3. Pengacakan. Urutan atau muatan yang mendapat perlakuan dipilih acak, supaya pengganggu tersebar merata.
4. Ulangan. Beberapa muatan atau siklus untuk setiap keadaan, supaya sebaran dapat diukur.
5. Ukuran keberhasilan ditetapkan lebih dulu: besaran apa, diukur bagaimana, dan berapa beda yang dianggap penting.
6. Pengukur tidak tahu perlakuan bila penilaian bersifat subjektif, seperti menilai kelembutan atau noda.

Perbandingan yang baik biasanya dimulai kecil: uji pada satu mesin atau satu program dengan pembanding, lalu bila hasilnya menjanjikan, diperluas. Setelah perubahan dipakai penuh, hasilnya tetap dipantau dengan diagram kendali seperti di Bab 3, karena keadaan selama uji tidak selalu sama dengan keadaan sehari-hari.

Selang kepercayaan untuk rata-rata

Rata-rata sampel tidak sama dengan rata-rata sebenarnya. Selang kepercayaan sekitar 95% untuk rata-rata:

dengan $t$ dari distribusi t berderajat kebebasan $n - 1$: sekitar 2,26 untuk 10 data, 2,09 untuk 20 data, dan mendekati 1,96 untuk data banyak (nilai literatur umum). Selang ini dibaca sebagai rentang nilai rata-rata sebenarnya yang cocok dengan data, dengan cara hitung yang dalam jangka panjang mencakup nilai sebenarnya sekitar 95 kali dari 100.

Selang kepercayaan lebih berguna daripada satu angka rata-rata karena langsung menunjukkan seberapa pasti hasilnya. Dua selang yang saling tumpang tindih besar menunjukkan beda yang belum jelas.

Membandingkan dua rata-rata

Untuk dua kelompok yang saling bebas, misalnya muatan dengan pelembut lama dan baru, beda rata-rata dinilai dengan uji t dua sampel. Bentuk yang tidak menganggap varians kedua kelompok sama (bentuk Welch, nilai literatur umum):

Derajat kebebasan dihitung dengan rumus Welch-Satterthwaite yang sama bentuknya dengan rumus di Bab 5, dan biasanya berada di antara yang terkecil dari $n_1 - 1$ dan $n_2 - 1$ dan jumlah keduanya dikurangi dua. Bila $|t|$ lebih besar dari nilai kritis untuk 95%, beda dinyatakan bermakna secara statistik.

Cara yang lebih informatif adalah menghitung selang kepercayaan untuk beda: $(\bar{x}_1 - \bar{x}_2) \pm t \times SE$. Bila selang mencakup nol, data belum menunjukkan beda; bila seluruh selang berada di satu sisi nol, beda bermakna.

Uji t mengandaikan pengamatan saling bebas dan sebaran setiap kelompok tidak terlalu jauh dari normal (nilai literatur umum). Untuk sampel kecil, gambar data lebih dulu: satu titik menyimpang atau sebaran yang sangat miring dapat menguasai hasil. Bila anggapan itu diragukan, uji berbasis peringkat seperti uji Mann-Whitney dapat dipakai sebagai pembanding, dan bila kedua uji memberi kesimpulan berbeda, data diperiksa ulang sebelum memutuskan. Pengamatan yang berurutan dari mesin yang sama dalam satu hari sering tidak saling bebas, sehingga lebih aman memakai rata-rata per hari sebagai satu pengamatan.

Uji berpasangan

Bila setiap pengamatan pada keadaan pertama dapat dipasangkan dengan pengamatan pada keadaan kedua, misalnya muatan yang sama jenis dan beratnya dijalankan dengan dua pelembut pada hari yang sama, atau mesin yang sama diukur sebelum dan sesudah perbaikan, dipakai uji berpasangan. Selisih setiap pasangan $d_i$ dihitung, lalu:

dengan derajat kebebasan $n - 1$, $n$ jumlah pasangan. Pemasangan menghapus perbedaan antarpasangan, seperti jenis muatan atau keadaan mesin, sehingga sebaran selisih biasanya jauh lebih kecil daripada sebaran data asli. Rancangan berpasangan sering memerlukan sampel jauh lebih kecil untuk menemukan beda yang sama.

Membandingkan dua proporsi

Untuk data atribut, seperti bagian lembar bernoda dengan dua cara cuci, dua proporsi $\hat{p}_1 = x_1/n_1$ dan $\hat{p}_2 = x_2/n_2$ dibandingkan dengan:

Nilai $|z|$ lebih dari 1,96 menunjukkan beda bermakna pada sekitar 5%. Cara ini cukup baik bila setiap kelompok mempunyai paling sedikit sekitar sepuluh kejadian dan sepuluh bukan kejadian (nilai literatur umum). Untuk cacat yang jarang, sampel harus besar, seperti dijelaskan di Bab 6.

Nilai p dan arti bermakna

Nilai p adalah peluang mendapat beda sebesar yang teramati atau lebih besar bila sebenarnya tidak ada beda. Nilai p kecil, biasanya di bawah 0,05, berarti data sulit dijelaskan dengan kebetulan saja.

Nilai p sering disalahartikan (nilai literatur umum):

1. Nilai p bukan peluang bahwa tidak ada beda.
2. Nilai p besar tidak membuktikan tidak ada beda; mungkin sampelnya terlalu kecil.
3. Bermakna secara statistik tidak berarti besar atau penting.

Uji dapat dua sisi, yaitu mencari beda ke arah mana pun, atau satu sisi, yaitu hanya mencari perbaikan ke arah tertentu. Arah harus ditetapkan sebelum melihat data; memilih uji satu sisi setelah melihat arah beda sama dengan menggandakan peluang kesalahan. Bila ragu, uji dua sisi dipakai.

Ada dua jenis kesalahan keputusan. Kesalahan jenis I adalah menyatakan ada beda padahal tidak ada; peluangnya ditetapkan oleh batas 0,05. Kesalahan jenis II adalah gagal menemukan beda yang sebenarnya ada; peluangnya turun bila sampel diperbesar. Kemampuan uji menemukan beda yang ada disebut daya uji, biasanya direncanakan sekitar 80%.

Beda yang penting secara teknis

Beda yang bermakna secara statistik belum tentu penting untuk keputusan. Dengan sampel sangat besar, beda kecil pun bermakna. Karena itu, sebelum mengumpulkan data, tetapkan beda terkecil yang penting secara teknis atau ekonomis, misalnya penghematan waktu kering yang menutup selisih harga pelembut.

Keputusan dibaca dari selang kepercayaan beda terhadap angka itu:

1. Seluruh selang di atas beda penting: perubahan bermanfaat.
2. Seluruh selang di bawah beda penting, walaupun di atas nol: ada beda, tetapi tidak cukup bermanfaat.
3. Selang mencakup beda penting: data belum cukup untuk memutuskan; tambah sampel.

Narasi Teknik Air dan Lingkungan mengutip buku pengolahan air limbah industri tentang hasil seperti waktu aerasi yang dinaikkan menjadi 60 jam dengan penurunan BOD 98,2%, atau penyerapan pada kedua keadaan sebesar 92% sampai 95%. Kalimat seperti itu bermanfaat sebagai petunjuk awal, tetapi sebelum dipakai untuk keputusan perlu ditanyakan: dibandingkan dengan apa, berapa ulangan, pada keadaan apa, dan berapa sebarannya.

Ukuran sampel untuk perbandingan

Untuk menemukan beda rata-rata $\Delta$ antara dua kelompok bebas dengan simpangan baku $\sigma$, pada batas 5% dan daya uji 80%, ukuran setiap kelompok kira-kira (nilai literatur umum):

Untuk rancangan berpasangan, $\sigma$ diganti simpangan baku selisih $s_d$ dan faktor 2 dihilangkan. Rumus ini menunjukkan mengapa uji seminggu dengan sepuluh muatan sering tidak cukup: bila sebaran sebesar beda yang dicari, diperlukan belasan sampai puluhan muatan setiap kelompok.

Jebakan yang sering menyesatkan

1. Regresi ke rata-rata. Mesin yang dipilih karena angkanya paling buruk bulan lalu cenderung membaik bulan ini walaupun tidak diapa-apakan, karena sebagian keburukannya kebetulan. Perbaikan yang diuji pada mesin terburuk saja akan tampak berhasil.
2. Banyak uji. Bila dua puluh hal dibandingkan masing-masing pada batas 5%, sekitar satu akan tampak bermakna hanya karena kebetulan.
3. Berhenti saat hasil bagus. Melihat data setiap hari dan berhenti begitu beda tampak bermakna menaikkan peluang kesalahan jenis I.
4. Pengganggu waktu. Perbandingan sebelum dan sesudah tanpa pembanding serentak mencampur pengaruh perubahan dengan musim, muatan, dan keadaan lain.
5. Mengubah ukuran setelah melihat data. Bila ukuran keberhasilan diganti karena ukuran awal tidak menunjukkan beda, hasilnya tidak dapat dipercaya.

Melaporkan hasil perbandingan

Laporan perbandingan yang dapat diperiksa orang lain memuat:

1. Pertanyaan dan ukuran keberhasilan yang ditetapkan sebelum uji, termasuk beda yang dianggap penting dan alasannya.
2. Rancangan: kelompok bebas atau berpasangan, cara memilih dan mengacak, jumlah ulangan, dan keadaan yang dibuat sama.
3. Data ringkas setiap kelompok: jumlah data, rata-rata atau proporsi, dan simpangan baku.
4. Beda dan selang kepercayaannya, lebih utama daripada nilai p saja.
5. Keputusan dibandingkan dengan beda yang penting, dan alasannya.
6. Hal yang mungkin mengganggu dan tidak dapat dikendalikan, seperti cuaca atau perubahan muatan.

Data mentah disimpan bersama laporan, sehingga perhitungan dapat diulang dan perbandingan baru dapat digabung dengan yang lama. Hasil yang tidak menunjukkan beda juga dilaporkan; tanpa itu, organisasi hanya mengingat uji yang "berhasil" dan melebihkan manfaat perubahan.

Contoh kerja

Contoh 1: selang kepercayaan waktu kering. Sepuluh muatan dengan pelembut lama: rata-rata 42,0 menit, $s = 4{,}0$ menit. Selang 95%: $42{,}0 \pm 2{,}26 \times 4{,}0/\sqrt{10} = 42{,}0 \pm 2{,}9$ menit, atau 39,1 sampai 44,9 menit. Rata-rata 39 menit dengan pelembut baru hampir berada di dalam selang itu.

Contoh 2: uji t dua sampel. Pelembut baru: sepuluh muatan, rata-rata 39,0 menit, $s = 3{,}6$ menit. $SE = \sqrt{4{,}0^2/10 + 3{,}6^2/10} = 1{,}70$ menit, $t = 3{,}0/1{,}70 = 1{,}76$, derajat kebebasan Welch sekitar 17,8, nilai kritis sekitar 2,11. Beda belum bermakna. Selang beda $3{,}0 \pm 2{,}11 \times 1{,}70 = 3{,}0 \pm 3{,}6$ menit, dari $-0{,}6$ sampai 6,6 menit: pelembut baru mungkin tidak berpengaruh, mungkin menghemat sampai enam menit.

Contoh 3: rancangan berpasangan. Delapan jenis muatan, masing-masing dijalankan sekali dengan pelembut lama dan sekali dengan yang baru pada hari yang sama, dalam urutan acak. Selisih waktu kering (lama dikurangi baru): 3,5; 2,0; 4,0; 2,5; 3,0; 1,5; 3,5; 2,0 menit. $\bar{d} = 2{,}75$, $s_d = 0{,}89$, $t = 2{,}75/(0{,}89/\sqrt{8}) = 8{,}8$ dengan derajat kebebasan 7 dan nilai kritis 2,36. Selang beda $2{,}75 \pm 2{,}36 \times 0{,}89/\sqrt{8} = 2{,}75 \pm 0{,}74$ menit, atau 2,0 sampai 3,5 menit. Dengan delapan pasang, beda sudah jelas.

Contoh 4: beda yang penting. Selisih harga pelembut setara dengan penghematan gas 2,5 menit per muatan (angka latihan). Selang beda 2,0 sampai 3,5 menit mencakup 2,5, sehingga belum pasti penghematan menutup selisih harga. Uji diperpanjang atau harga dirundingkan; keputusan tidak diambil dari rata-rata saja. Bila uji berpasangan diperpanjang menjadi enam belas pasang dengan $s_d$ yang sama, lebar selang menyusut kira-kira menjadi $\pm 0{,}47$ menit; dengan rata-rata yang tetap 2,75 menit, selang 2,3 sampai 3,2 menit masih mencakup 2,5, sehingga harga tetap perlu dirundingkan.

Contoh 5: perbandingan proporsi noda. Cara cuci lama: 24 lembar bernoda dari 400 (6%); cara baru: 12 dari 400 (3%). $\bar{p} = 36/800 = 0{,}045$, $SE = \sqrt{0{,}045 \times 0{,}955 \times 2/400} = 0{,}0147$, $z = 0{,}03/0{,}0147 = 2{,}05$, nilai p sekitar 0,04. Beda bermakna. Selang 95% untuk beda sekitar 0,1 sampai 5,9 poin persen; batas bawahnya hampir nol, sehingga besarnya manfaat masih belum pasti.

Contoh 6: ukuran sampel. Waktu kering mempunyai $\sigma = 4$ menit dan beda yang penting 2 menit. Dua kelompok bebas memerlukan $n \approx 2 \times 2{,}80^2 \times 16/4 = 62{,}7$, jadi 63 muatan setiap kelompok. Dengan rancangan berpasangan dan $s_d = 0{,}9$ menit, $n \approx (2{,}80 \times 0{,}9/2)^2 = 1{,}6$; karena rumus ini kurang tepat untuk sampel sangat kecil, dipakai paling sedikit enam sampai delapan pasang.

Contoh 7: regresi ke rata-rata. Tiga pengering dengan keluhan terbanyak bulan lalu rata-rata 12 keluhan, sedangkan rata-rata semua pengering 7. Bulan ini, tanpa tindakan apa pun, ketiganya rata-rata 8 keluhan. Bila perbaikan saringan dilakukan pada ketiganya bulan lalu, penurunan itu akan dianggap hasil perbaikan. Perbaikan seharusnya diuji dengan pembanding: sebagian pengering diperbaiki, sebagian belum, dipilih acak.

Contoh 8: banyak uji. Seorang analis membandingkan dua puluh ukuran mutu antara dua pemasok, masing-masing pada batas 5%. Peluang paling sedikit satu tampak bermakna hanya karena kebetulan $1 - 0{,}95^{20} = 0{,}64$. Satu hasil bermakna dari dua puluh tidak cukup untuk berganti pemasok; ukuran utama ditetapkan lebih dulu, atau batas diperketat.

Contoh 9: sebelum dan sesudah perbaikan. Arus motor pompa diukur pada enam mesin sebelum dan sesudah penggantian bantalan, pada beban yang sama. Penurunan arus: 1,2; 0,8; 1,5; 0,9; 1,1; 1,3 A. $\bar{d} = 1{,}13$ A, $s_d = 0{,}26$ A, $t = 1{,}13/(0{,}26/\sqrt{6}) = 10{,}8$ dengan nilai kritis 2,57. Penurunan nyata dan konsisten, dan karena setiap mesin dibandingkan dengan dirinya sendiri, perbedaan antarmesin tidak mengganggu.

Kondisi berhenti

Hentikan pengambilan keputusan dari perbandingan dan minta keputusan penyelia bila:

1. Perbandingan tidak mempunyai pembanding serentak dan keadaan lain berubah selama uji.
2. Ukuran keberhasilan atau beda yang penting tidak ditetapkan sebelum data dikumpulkan.
3. Perubahan yang diuji menyangkut keselamatan, sanitasi, atau dosis bahan kimia di luar batas pabrik.
4. Klaim pemasok tidak disertai data pembanding, jumlah ulangan, dan keadaan uji.
5. Hasil bermakna hanya muncul setelah banyak ukuran dicoba atau setelah data dipilih.

Salah tafsir yang sering terjadi

1. "Rata-ratanya turun, jadi berhasil." Beda rata-rata harus dibandingkan dengan sebarannya.
2. "Tidak bermakna berarti tidak ada beda." Mungkin sampel terlalu kecil.
3. "Bermakna berarti penting." Beda kecil dapat bermakna bila sampel besar.
4. "Minggu lalu dibandingkan minggu ini sudah cukup." Waktu membawa pengganggu.
5. "Uji pada mesin terburuk paling meyakinkan." Regresi ke rata-rata membuat mesin terburuk tampak membaik sendiri.
6. "Nilai p 0,04 berarti peluang tidak ada beda 4%." Nilai p bukan peluang hipotesis.

Hubungan dengan bab lain

Bab 2 memberi simpangan baku, Bab 3 diagram kendali untuk memantau setelah perubahan, Bab 3 · Sistem, Diagram & Diagnosis dan Bab 4 · Sistem, Diagram & Diagnosis uji pembeda dan verifikasi perbaikan, Bab 6 ukuran sampel, Bab 7 pengganggu dan korelasi, dan Bab 5 rumus derajat kebebasan efektif. Bab berikutnya di rak ini membahas lembar periksa dan catatan lapangan digital yang menjadi sumber data semua perbandingan ini.

Latihan dan pembahasan

1. Tiga puluh enam pengukuran debit memberi rata-rata 250 mL/min dan simpangan baku 12 mL/min. Hitung selang kepercayaan 95% untuk rata-rata.
2. Dua kelompok bebas: rata-rata 18,0 dan 16,0, simpangan baku 4,0 dan 4,5, masing-masing dua belas data. Hitung $t$ dan simpulkan.
3. Enam mesin diukur sebelum dan sesudah perbaikan, dengan selisih 1,2; 0,8; 1,5; 0,9; 1,1; 1,3. Mengapa uji berpasangan tepat, dan apa kesimpulannya?
4. Simpangan baku 0,5 dan beda penting 0,2 dalam satuan yang sama. Berapa ukuran setiap kelompok untuk dua kelompok bebas?
5. Mengapa membandingkan dua puluh ukuran sekaligus pada batas 5% berbahaya?
6. Sebuah perubahan menurunkan waktu siklus secara bermakna sebesar 0,3 menit, dengan selang 0,1 sampai 0,5 menit. Beda yang penting ditetapkan 1 menit. Apa keputusannya?

Kunci jawaban beralasan

1. Galat baku $12/\sqrt{36} = 2{,}0$; dengan $t$ sekitar 2,03 untuk derajat kebebasan 35, selang $250 \pm 4{,}1$ mL/min, atau sekitar 245,9 sampai 254,1 mL/min.
2. $SE = \sqrt{16/12 + 20{,}25/12} = 1{,}74$, $t = 2{,}0/1{,}74 = 1{,}15$. Jauh di bawah nilai kritis sekitar 2,07; beda belum bermakna, dan sampel mungkin terlalu kecil untuk beda sebesar itu.
3. Setiap mesin dibandingkan dengan dirinya sendiri, sehingga perbedaan antarmesin hilang. $\bar{d} = 1{,}13$, $s_d = 0{,}26$, $t = 10{,}8$ dengan derajat kebebasan 5 dan nilai kritis 2,57; penurunan nyata.
4. $n \approx 2 \times 2{,}80^2 \times 0{,}25/0{,}04 = 98$ setiap kelompok. Bila memungkinkan, rancangan berpasangan dipakai untuk mengurangi jumlah itu.
5. Peluang paling sedikit satu hasil bermakna karena kebetulan $1 - 0{,}95^{20} = 0{,}64$. Hasil seperti itu mudah dianggap temuan padahal hanya acak. Ukuran utama ditetapkan lebih dulu, atau batas diperketat.
6. Beda nyata, tetapi seluruh selang di bawah 1 menit, sehingga perubahan tidak cukup bermanfaat menurut ukuran yang ditetapkan. Perubahan tidak dipakai kecuali ada manfaat lain yang dihitung terpisah.

Referensi