Membersihkan data teknis: salah satuan, salah ketik, duplikat, data hilang, pencilan dan aturan jangkauan antarkuartil, uji Grubbs, kapan data boleh dibuang, dan jejak perubahan

Rekap konsumsi air September dari laundry sebuah rumah sakit sampai di meja manajer bagian umum dengan tanda merah: 1.700 m³, naik sekitar 30 persen, dan air per kilogram linen melonjak dari sekitar 42 menjadi 54,5 liter. Grafik harian di lampiran memperlihatkan sebabnya: tanggal 14 tercatat 438 m³, sedangkan hari-hari lain berkisar 40 sampai 47 m³. Manajer menduga pipa bocor di bawah lantai dan meminta kontraktor plambing datang esok paginya.

Teknisi jaga membuka buku catatan meter di ruang pompa. Untuk tanggal 14 operator menulis 43,8; koma desimalnya terlewat ketika angka diketik ke lembar kerja. Kontraktor batal dipanggil. Teknisi itu tetap mencatat di laporannya bahwa hari dengan pemakaian sepuluh kali lipat bisa saja nyata, misalnya karena katup pengisian tangki macet terbuka, sehingga angka seperti itu tidak boleh dihapus hanya karena tampak aneh. Bab ini menjelaskan cara memeriksa angka yang mencurigakan sampai sebabnya jelas, lalu memperbaikinya dengan cara yang dapat dilacak.

Batas pembahasan

Bab ini membahas kumpulan data yang sudah ada: jenis kesalahan, pemeriksaan kewajaran, duplikat, data hilang dan imputasi, pencilan dengan pagar jangkauan antarkuartil dan diagram kotak, uji Grubbs, keputusan membuang data, dan jejak perubahan. Pencegahan kesalahan di formulir, jejak audit formulir digital, dan ukuran mutu data dibahas di Bab 9 tentang catatan lapangan; rerata, simpangan baku, dan metode kuartil di Bab 2 tentang ringkasan data; konversi di Bab 3 · Satuan & Matematika tentang satuan; celah dan penanda waktu rekaman pencatat di Bab 12 tentang data deret waktu; pencilan pada garis regresi di Bab 7 tentang regresi; titik di luar batas kendali di Bab 3 tentang kontrol proses.

Jenis kesalahan dan tanda khasnya

Galat pemakai adalah sumber masalah ketiga saat melakukan pengukuran. Galat sistematis selalu berasal dari pengetahuan atau pemakaian sensor yang keliru.

Pembersihan data (data cleaning) adalah pekerjaan memeriksa, menandai, dan memperbaiki kesalahan dalam kumpulan data yang sudah terkumpul dengan cara yang tercatat dan dapat diulang. Dalam siklus kerja ilmu data, pembersihan adalah satu langkah tetap, sesudah pengambilan data beserta asal-usulnya dan sebelum analisis eksploratif. Pembersihan yang baik tidak membuat data tampak rapi; ia membuat data jujur. Setiap jenis kesalahan meninggalkan pola yang dapat dikenali:

Menghitung dengan tangan itu melelahkan dan rawan salah, dan besaran serta simbol dalam persamaan harus dinyatakan dalam satuan yang serupa. Kesalahan satuan biasanya muncul ketika dua sumber digabung, misalnya catatan manual dalam bar dan ekspor pencatat dalam psi; nilai yang terbukti bersatuan lain dikonversi di data bersih dengan tanda "dikoreksi: satuan", dan pengaturan ekspor diperbaiki. Cara mengonversi satuan ada di Bab 3 · Satuan & Matematika tentang konversi; di sini yang penting adalah mengenali sekelompok angka yang berasal dari satuan lain.

Pemeriksaan rentang dan kewajaran

Pemeriksaan kewajaran (plausibility check) adalah pengujian setiap nilai terhadap batas fisik, batas proses, dan hubungan dengan besaran lain sebelum nilai dipakai untuk menghitung. Ada empat lapis pemeriksaan:

1. Batas fisik: kelembapan relatif 0 sampai 100 persen, pH 0 sampai 14, tekanan mutlak tidak negatif, angka meter kumulatif tidak turun kecuali meter diganti.
2. Batas proses dan alat: rentang ukur sensor, suhu yang mungkin dicapai pemanas, debit paling besar pompa. Nilai di luar rentang ukur sensor tidak dapat dipercaya walaupun mungkin secara fisik.
3. Laju perubahan: suhu air di tangki besar tidak naik 20 °C dalam satu menit. Lompatan secepat itu menandai kesalahan baca, gangguan sinyal, atau pergantian sensor.
4. Konsistensi antarbesaran: suhu keluar pemanas lebih tinggi daripada suhu masuk; tidak ada pemakaian air pada hari laundry tutup; jumlah pemakaian harian sama dengan selisih angka meter kumulatif; jumlah sub-meter tidak melebihi meter induk.

Lapis keempat paling kuat untuk data energi dan air. Bila pemakaian harian dihitung dari selisih pembacaan meter kumulatif, satu pembacaan yang salah ketik menghasilkan dua hari aneh berurutan, satu terlalu tinggi dan satu negatif, sedangkan jumlah keduanya tetap benar (Contoh 2).

Duplikat dan data hilang

Duplikat (duplicate record) adalah baris data yang mewakili pengukuran atau kejadian yang sama lebih dari sekali. Duplikat biasanya lahir dari dua ekspor yang digabung, dari pencatat yang mengirim ulang data setelah sambungan pulih seperti dibahas di Bab 12 tentang data deret waktu, atau dari lembar yang diketik dua orang. Duplikat menaikkan total tetapi hampir tidak mengubah rata-rata, sehingga mudah lolos. Cara menemukannya adalah menghitung baris per hari atau per bulan dan mencari kunci yang sama: tanggal, jam, dan identitas alat.

Data hilang tidak diisi nol, karena nol adalah nilai. Pemakaian air nol pada hari kerja berarti laundry tidak memakai air, dan rata-rata yang menghitungnya menjadi terlalu rendah (Latihan 4). Data hilang ditandai kosong, alasannya dicatat bila diketahui, dan setiap ringkasan menyebut berapa data yang dipakai, seperti diminta Bab 9 tentang mutu data. Data yang tidak lengkap dan data tanpa konteks termasuk bentuk pemakaian data yang menyesatkan.

Sebab hilangnya data juga penting. Data yang hilang secara acak, misalnya karena baterai pencatat habis, tidak membuat ringkasan bias. Data yang hilang karena alasan yang berkaitan dengan nilainya, misalnya pencatat yang mati setiap kali panel terlalu panas, membuat panel tampak lebih dingin daripada kenyataan.

Imputasi sederhana dan batasnya

Imputasi (imputation) adalah pengisian nilai yang hilang dengan nilai perkiraan supaya perhitungan dapat diteruskan. Cara sederhana yang umum:

1. Selisih meter kumulatif: bila meter mempunyai angka kumulatif, total pemakaian di seluruh celah diketahui pasti; hanya pembagiannya per hari yang diperkirakan.
2. Interpolasi linear di antara dua nilai tetangga, untuk besaran yang berubah lambat seperti suhu tangki.
3. Nilai terakhir dibawa maju, untuk setelan atau status yang jarang berubah.
4. Rata-rata hari sejenis, misalnya rata-rata hari kerja lain pada minggu yang sama.

Imputasi punya tiga batas. Pertama, nilai hasil imputasi selalu ditandai dan metodenya dicatat. Kedua, imputasi boleh dipakai untuk tampilan atau total energi, tetapi tidak untuk bukti kepatuhan; catatan suhu ruang dingin yang hilang tidak diisi untuk menunjukkan bahwa suhu selalu dalam batas. Ketiga, imputasi menyembunyikan kejadian di dalam celah, misalnya penurunan suhu saat pemanas mati (Contoh 6).

Pencilan, pagar 1,5 IQR, dan diagram kotak

Pencilan potensial (potential outlier) adalah nilai yang jauh berbeda dari sebagian besar nilai lain dalam kumpulan data yang sama sehingga perlu diselidiki. Nilai seperti ini dapat berupa kesalahan, suatu kelainan, atau justru kunci untuk memahami data. Bab 2 tentang ringkasan data sudah membahas pengaruh nilai ekstrem pada rerata dan simpangan baku; bab ini memberi cara menandainya.

Aturan paling sederhana memakai jangkauan antarkuartil (IQR, rentang antarkuartil di Bab 2). Pagar pencilan (outlier fence) adalah batas bawah dan batas atas yang dihitung dari kuartil pertama, kuartil ketiga, dan jangkauan antarkuartil; nilai di luar batas ditandai untuk diperiksa. Nilai dicurigai sebagai pencilan potensial bila letaknya lebih dari 1,5 kali IQR di bawah kuartil pertama atau di atas kuartil ketiga, dan pencilan potensial selalu memerlukan penyelidikan lanjut:

$$IQR = Q_3 - Q_1, \qquad \text{pagar bawah} = Q_1 - 1{,}5\,IQR, \qquad \text{pagar atas} = Q_3 + 1{,}5\,IQR$$

$Q_1$ dan $Q_3$ adalah kuartil pertama dan ketiga, dan IQR memakai satuan data. Kuartil di bab ini dihitung dengan metode median separuh data, sama dengan Bab 2 tentang ringkasan data. Banyak analis juga memakai pagar luar pada jarak 3 kali IQR untuk pencilan jauh, yang dikenal sebagai aturan Tukey.

Aturan pagar tahan terhadap pencilan karena kuartil hampir tidak bergeser oleh satu atau dua nilai jauh, dan tidak menganggap data normal. Kelemahannya: pada data yang memang menceng, misalnya waktu perbaikan, aturan ini menandai banyak nilai wajar di ekor panjang.

Diagram kotak (box plot) adalah grafik yang menggambarkan minimum, kuartil pertama, median, kuartil ketiga, dan maksimum sekumpulan data pada satu garis bilangan berskala. Kotak membentang dari kuartil pertama sampai kuartil ketiga dan kumis menjulur ke nilai terkecil dan terbesar; sebagian diagram menandai pencilan dengan titik sehingga kumisnya tidak sampai ke minimum dan maksimum, dan diagram kotak harus dimulai dengan garis bilangan berskala.

Uji Grubbs dan efek penutupan

Aturan kasar yang sering dipakai adalah menandai nilai yang lebih dari dua atau tiga simpangan baku dari rata-rata. Dua simpangan baku adalah aturan praktis, bukan aturan kaku, dan pencilan dapat membuat simpangan baku sangat besar. Di situlah kelemahannya: pencilan ikut memperbesar ukuran yang dipakai untuk menilainya.

Uji Grubbs (Grubbs' test) adalah uji statistik untuk memeriksa apakah nilai paling jauh dalam sekumpulan data yang kira-kira berdistribusi normal merupakan satu pencilan. Menurut e-Handbook NIST, uji ini menguji hipotesis tidak ada pencilan melawan tepat satu pencilan, statistiknya adalah simpangan mutlak terbesar dari rata-rata dalam satuan simpangan baku sampel, dan ada versi satu sisi untuk nilai terkecil atau terbesar. Dokumentasi perangkat lunak NIST menekankan bahwa uji ini menganggap data normal, sehingga kenormalan diperiksa lebih dulu. Bentuk baku statistik dan nilai kritis dua sisinya:

$$G = \frac{\max_i \lvert x_i - \bar{x} \rvert}{s}, \qquad G_{krit} = \frac{n-1}{\sqrt{n}} \sqrt{\frac{t^2}{n-2+t^2}}$$

$x_i$ setiap nilai, $\bar{x}$ rata-rata, dan $s$ simpangan baku sampel, dalam satuan data; $n$ jumlah data; $t$ kuantil atas distribusi t untuk peluang $\alpha/(2n)$ dengan $n-2$ derajat bebas; $G$ tidak bersatuan. Nilai dianggap pencilan bila $G > G_{krit}$. Untuk taraf 5 persen dua sisi, nilai kritisnya 2,020 untuk 7 data, 2,127 untuk 8, 2,290 untuk 10, 2,412 untuk 12, 2,548 untuk 15, dan 2,708 untuk 20. Batas berikut belum dapat dipastikan dari sumber resmi: uji ini tidak dianjurkan untuk 6 data atau kurang.

Efek penutupan (masking) adalah keadaan ketika dua pencilan atau lebih saling menyembunyikan sehingga uji pencilan tidak menandai satu pun. Dua nilai jauh yang berdekatan menaikkan rata-rata dan simpangan baku bersama-sama, sehingga $G$ masing-masing tampak kecil (Contoh 5). Untuk keadaan seperti ini e-Handbook NIST menganjurkan uji Tietjen-Moore atau uji simpangan terstudentisasi ekstrem umum (GESD) bila mungkin ada lebih dari satu pencilan. Dokumentasi perangkat lunak NIST menggambarkan cara berulang, membuang satu nilai lalu menguji lagi; cara ini tetap rawan penutupan karena langkah pertamanya bisa gagal. Untuk pekerjaan lapangan: pakai aturan pagar untuk menandai, Grubbs hanya sebagai pemeriksaan kedua untuk satu nilai, dan selalu cari sebab fisiknya.

Kapan data boleh dibuang dan kapan tidak

Aturan dasarnya jelas: periksa penyebab pencilan; bila ada kesalahan, perbaiki bila mungkin atau hapus; bila datanya benar, biarkan, karena pencilan tidak selalu dihapus dan kadang memuat informasi berharga.

Aturan itu diterjemahkan menjadi empat keputusan:

1. Koreksi bila kesalahan terbukti dan nilai benarnya diketahui dari catatan asli, foto layar, atau angka meter kumulatif, seperti koma desimal pada kasus pembuka.
2. Tandai dan keluarkan dari perhitungan bila kesalahan terbukti tetapi nilai benarnya tidak diketahui, misalnya sensor yang terbukti lepas dari dudukannya. Nilai tetap disimpan di data asli.
3. Pertahankan dan laporkan bila tidak ada bukti kesalahan. Arus pompa yang naik, pemakaian air malam hari yang terus muncul, atau suhu air panas yang turun dapat menjadi tanda awal kerusakan bantalan, bocor, atau pemanas bermasalah.
4. Laporkan dua versi bila penyebab belum pasti dan keputusan bergantung pada nilai itu. Peneliti dianjurkan mencatat bahwa data dihapus beserta alasannya, atau menyajikan hasil dengan dan tanpa data itu.

Satu aturan tidak dapat ditawar: nilai yang melanggar batas keselamatan atau higiene tidak dibersihkan sebagai pencilan. Suhu ruang dingin yang tinggi atau tekanan uap di atas batas adalah temuan yang dilaporkan menurut prosedur, walaupun hanya satu dari seratus catatan.

Jejak perubahan dan versi data

Data asli harus disimpan tanpa diubah, dan konversi serta visualisasi dilakukan pada salinan yang terdokumentasi beserta satuan dan cara transformasinya. Koreksi tanpa menghilangkan nilai lama dan jejak audit formulir sudah dibahas di Bab 9 tentang catatan lapangan. Untuk kumpulan data yang dibersihkan, prinsip itu menjadi tiga lapis:

1. Data mentah dalam berkas atau lembar yang hanya dibaca, persis seperti diterima.
2. Data bersih sebagai salinan dengan kolom tambahan untuk tanda mutu, misalnya "asli", "dikoreksi", "imputasi", "dikeluarkan".
3. Jejak perubahan yang mencatat setiap perubahan.

Jejak perubahan (change log) adalah catatan berurutan tentang setiap perubahan pada kumpulan data, yang memuat baris yang diubah, nilai lama, nilai baru, alasan, bukti, nama pengubah, dan tanggal. Dengan tiga lapis ini orang lain dapat mengulang pembersihan dari data mentah dan sampai pada data bersih yang sama. Bila aturan pembersihan diubah, data bersih dibuat ulang dari data mentah, bukan ditambal di atas versi lama.

Contoh kerja

Angka dalam pembuka dan contoh di bawah adalah angka latihan, kecuali disebut asalnya.

Contoh 1: koma desimal pada kasus pembuka. Dua puluh sembilan hari lain berjumlah 1.262 m³. Dengan 438 m³, total bulan 1.700 m³; dengan nilai benar 43,8 m³, total 1.305,8 m³. Kenaikan semu $1.700/1.305{,}8 - 1 = 30{,}2\%$. Dengan linen 31.200 kg sebulan, air per kilogram turun dari 54,5 menjadi 41,9 L/kg setelah koreksi. Rasio 438 terhadap 43,8 tepat 10, tanda khas koma yang terlewat.

Contoh 2: pembacaan meter yang salah ketik. Pembacaan meter kumulatif empat hari tercatat 25.312; 25.756; 25.398; 25.443 m³. Selisih harian menjadi 444, minus 358, dan 45 m³. Pemakaian negatif mustahil, sedangkan jumlah dua hari pertama, 86 m³, wajar. Pembacaan kedua seharusnya 25.356 (digit 3 terbaca 7), sehingga pemakaian menjadi 44, 42, dan 45 m³. Koreksinya tetap memerlukan bukti dari catatan asli atau foto meter.

Contoh 3: duplikat setelah dua ekspor digabung. Gas laundry Januari sampai Juni 648, 662, 721, 645, 736, dan 743 GJ, linen 42, 45, 48, 44, 50, dan 52 ton. Totalnya 4.155 GJ dan 281 ton, intensitas $4.155/281 = 14{,}79$ GJ/ton. Ekspor kedua memuat Juni sekali lagi, sehingga gas menjadi 4.898 GJ sedangkan linen dari sistem lain tetap 281 ton, dan intensitas semu 17,43 GJ/ton, naik 17,9 persen. Hitungan baris per bulan menemukan Juni ganda.

Contoh 4: pagar 1,5 IQR. Suhu air panas di titik pakai sebuah hotel, 12 catatan (°C): 61,8; 62,4; 62,1; 61,5; 62,9; 62,2; 61,9; 26,4; 62,6; 62,0; 62,3; 61,7. Separuh bawah data terurut adalah 26,4 sampai 62,0, jadi $Q_1 = (61{,}7 + 61{,}8)/2 = 61{,}75$; separuh atas 62,1 sampai 62,9, jadi $Q_3 = (62{,}3 + 62{,}4)/2 = 62{,}35$. IQR 0,60 °C, pagar dalam 60,85 dan 63,25 °C, pagar luar 59,95 dan 64,15 °C. Nilai 26,4 berada jauh di luar pagar luar, dan nilai itu menarik rata-rata 12 catatan turun menjadi 59,15 °C. Dugaan paling masuk akal adalah digit tertukar dari 62,4, tetapi dugaan bukan bukti: bila catatan asli menunjukkan 26,4, nilai itu nyata dan katup pencampur atau pemanasnya diperiksa. Laporan "rata-rata 59 °C, di bawah target" keliru dalam kedua kemungkinan.

Contoh 5: efek penutupan. Sepuluh bacaan sensor: 50,1; 49,8; 50,3; 49,9; 50,0; 50,2; 49,7; 50,1; 58,9; 59,2. Rata-rata 51,82 dan simpangan baku 3,82, sehingga $G = (59{,}2 - 51{,}82)/3{,}82 = 1{,}93$, di bawah $G_{krit} = 2{,}290$; uji Grubbs tidak menandai apa pun. Aturan pagar memberi $Q_1 = 49{,}9$, $Q_3 = 50{,}3$, IQR 0,4, dan pagar atas 50,9, sehingga 58,9 dan 59,2 ditandai. Bila 59,2 dibuang lebih dulu, 58,9 baru terdeteksi ($G = 2{,}66$ terhadap $G_{krit} = 2{,}215$ untuk 9 data). Dua nilai berdekatan seperti ini sering berasal dari satu keadaan lain, misalnya sensor kedua.

Contoh 6: batas interpolasi. Pencatat suhu tangki air panas merekam tiap 15 menit: pukul 10.00 sebesar 61,8 °C, pukul 10.15 hilang, pukul 10.30 sebesar 62,6 °C. Interpolasi linear memberi $(61{,}8 + 62{,}6)/2 = 62{,}2$ °C untuk pukul 10.15. Buku harian ruang ketel mencatat pemanas mati pukul 10.05 sampai 10.25, sehingga suhu pukul 10.15 tidak diketahui dan mungkin jauh lebih rendah. Sel itu tetap kosong dengan catatan kejadian, dan nilai interpolasi tidak dipakai untuk menyatakan suhu tangki selalu di atas batas.

Kondisi berhenti

Hentikan pembersihan dan serahkan keputusan kepada penanggung jawab data, penyelia, atau pemilik alat ukur bila:

1. Nilai yang menyimpang mungkin menunjukkan bahaya, seperti suhu ruang dingin tinggi, tekanan uap di atas batas, atau bau gas. Laporkan menurut prosedur lebih dulu; jangan menunggu data selesai dibersihkan.
2. Data adalah bukti kepatuhan, tagihan, atau kontrak. Koreksi hanya oleh pemilik data dengan persetujuan tertulis penanggung jawab.
3. Penyebab nilai menyimpang tidak dapat dipastikan dan keputusan bergantung padanya. Sajikan dua versi dan minta keputusan.
4. Kesalahan berulang pada satu alat, tanda alat rusak atau kalibrasinya bergeser. Serahkan kepada pemilik register kalibrasi.
5. Ada permintaan menghapus atau mengubah data supaya laporan tampak baik. Tolak dan sampaikan kepada atasan penanggung jawab.
6. Duplikat atau celah berasal dari sistem pemasok atau sistem tagihan. Minta data ulang dari pemilik sistem; jangan menambal sendiri.

Salah tafsir yang sering terjadi

Hubungan dengan bab lain

Bab 9 tentang catatan lapangan mencegah kesalahan saat data dicatat; bab ini menangani yang tetap lolos. Ringkasan data ada di Bab 2, konversi satuan di Bab 3 · Satuan & Matematika, asal celah dan duplikat pencatat di Bab 12, residu regresi di Bab 7, dan sinyal diagram kendali di Bab 3. Data bersih menjadi bahan garis dasar energi di Bab 15 tentang verifikasi penghematan, KPI laundry di Bab 20 · Laundry tentang konsistensi operasi, dan grafik di Bab 16 tentang menyajikan data.

Latihan dan pembahasan

Referensi