Bagaimana AI menjawab: peluang token, sampling dan suhu, tanpa aksioma tetapi tidak netral, halusinasi, kalibrasi, alat bantu dan pencarian, dan cara memeriksa jawaban

Teknisi laundry sebuah hotel bertanya ke chatbot berapa dosis pelembut kain untuk satu muatan mesin cuci 60 kg. Jawaban pertama 600 mL. Ia mengulang pertanyaan yang sama dan mendapat 450 mL. Keduanya rapi dan yakin, sedangkan label jeriken menulis angka lain lagi (semua angka dalam kasus ini angka latihan). Chatbot itu tidak rusak: model bahasa besar menyusun jawaban token demi token dengan memilih dari daftar kemungkinan, dan dua kali memilih dapat memberi dua hasil. Kesalahannya ada pada cara pakai, karena angka dosis yang seharusnya dibaca dari label diambil dari ingatan statistik model. Dokumentasi Anthropic memberi pola yang benar untuk dosis obat: bila pencarian web tidak tersedia atau label tidak ditemukan, Claude tidak memberi angka dari ingatan dan menunjuk ke tabel dosis di label, apoteker, atau dokter anak. Bab ini menjelaskan alasannya.

Batas pembahasan

Bab ini membahas cara model memilih token, arti tepat premis "AI menjawab dengan probabilitas tanpa aksioma tanpa dogma", halusinasi, kalibrasi, penambatan jawaban, dan daftar periksa jawaban. Fakta produk dan riset berasal dari catatan fakta seri ini, dengan status di peta sumber.

Token, embedding, atensi, pralatih, dan pelatihan lanjutan ada di Bab 8, definisi AI di Bab 7, peta model di Bab 10, pemilihan model dan tingkat usaha di Bab 11, agen dan pemakaian alat di Bab 12, teknik prompt di Bab 13, alur kerja teknik di Bab 14, dan dasar peluang di Bab 2 · Data & Pengukuran.

Dari skor ke peluang: softmax

Pada setiap langkah, model menghitung satu skor untuk setiap token kandidat. Skor mentah ini disebut logit, dan fungsi softmax mengubahnya menjadi peluang yang positif dan berjumlah 1 (pengetahuan umum):

$$p_i = \frac{e^{z_i/T}}{\sum_j e^{z_j/T}}$$

dengan $z_i$ logit token ke-$i$ dan $T$ suhu. Satu token dipilih menurut peluang itu, ditempelkan ke teks, dan langkah diulang sampai jawaban selesai (pengetahuan umum). API penyedia membuka parameter pengambilan sampel atas distribusi ini, yaitu suhu dan top-p. Dua sifat rumus ini penting (pengetahuan umum):

1. Perbandingan peluang dua token hanya bergantung pada selisih logitnya: $p_a/p_b = e^{(z_a - z_b)/T}$. Menambah angka yang sama ke semua logit tidak mengubah peluang.
2. Sebelum dipotong, tidak ada token yang peluangnya tepat nol. Token yang salah, termasuk satuan yang salah, masih punya peluang, betapa pun kecilnya.

Sifat kedua menjelaskan kasus pembuka: model tidak menyimpan "angka dosis yang benar", tetapi pola yang membuat beberapa angka lebih mungkin daripada yang lain (penalaran editorial).

Suhu dan top-p

Suhu membagi semua logit sebelum softmax. Suhu di bawah 1 memperbesar selisih sehingga token teratas makin dominan, suhu di atas 1 meratakan pilihan, dan suhu yang mendekati 0 membuat model hampir selalu memilih token teratas (pengetahuan umum). Top-p, atau nucleus sampling, hanya mempertimbangkan token teratas yang peluang kumulatifnya mencapai ambang p. Holtzman dan rekan (ICLR 2020) memperkenalkannya karena decoding yang memaksimalkan peluang, misalnya beam search, cenderung menghasilkan teks hambar dan berulang; memotong "ekor" distribusi membuang token yang tidak andal. Penyedia mengatur kedua parameter ini secara berbeda:

Isi tabel berlaku per Oktober 2026 dan berubah cepat; periksa dokumentasi resmi penyedia sebelum mengandalkannya. Saran lama "pasang suhu 0 supaya jawabannya pasti" tidak berlaku umum: pada model Claude terbaru suhu tidak dapat diubah, dan pada Gemini 3 suhu rendah justru dapat merugikan. Di aplikasi obrolan, parameter ini biasanya tersembunyi; pemakai mengendalikan pertanyaan, bahan, dan cara memeriksa (penalaran editorial). Tingkat usaha dibahas di Bab 11.

Mengapa pertanyaan yang sama memberi jawaban berbeda

Pada suhu 1, model benar-benar mengambil sampel, sehingga dua jawaban berbeda adalah perilaku normal, dan menurut dokumentasi Anthropic suhu 0,0 pun tidak menjamin hasil identik. Ringkasan sekunder tulisan Thinking Machines Lab (September 2025) menyebut penyebab utamanya di server tidak hanya konkurensi dan pembulatan titik mengambang, tetapi ukuran batch yang berubah-ubah, karena kernel hitungnya tidak invarian terhadap batch; dengan kernel yang invarian batch, inferensi suhu 0 dapat dibuat deterministik dengan ongkos kinerja. Bilangan titik mengambang dibahas di Bab 3.

Dua pelajaran (penalaran editorial). Jawaban yang berubah saat pertanyaan diulang menandakan peluang yang tersebar; dokumentasi Anthropic memakainya sebagai verifikasi best-of-N, yaitu menjalankan prompt yang sama beberapa kali dan membandingkan keluarannya, karena ketidakkonsistenan dapat menandakan halusinasi. Sebaliknya, jawaban yang selalu sama tidak membuktikan kebenaran: model yang selalu memilih token teratas mengulang kesalahannya dengan konsisten. Deterministik dan benar adalah dua sifat yang berbeda.

Tanpa aksioma, tetapi tidak netral

Pemilik Arstema merumuskan premis: AI menjawab dengan probabilitas, tanpa aksioma, tanpa dogma. Rumusan yang tepat memisahkan tiga bagiannya (penalaran editorial dari catatan fakta):

Nilai masuk lewat beberapa jalur yang tercatat:

• Umpan balik manusia. InstructGPT (OpenAI) dilatih dengan peringkat keluaran dari pelabel manusia, dan ChatGPT (30 November 2022) dirancang untuk menantang premis yang keliru dan menolak permintaan yang tidak pantas. Keduanya perilaku normatif hasil pelatihan.
• Konstitusi. Constitutional AI (Anthropic, 15 Desember 2022) mengarahkan perilaku dengan daftar prinsip tertulis. Konstitusi Claude yang diterbitkan Anthropic 22 Januari 2026 memberi urutan prioritas: aman secara luas, etis secara luas, patuh pada pedoman Anthropic, lalu sungguh membantu, ditambah batasan keras untuk perilaku paling berisiko. Batasan keras adalah komitmen yang tidak boleh dilanggar, jadi lebih dekat ke aturan tetap daripada ke "tanpa dogma".
• Prompt sistem dan kebijakan penyedia. Dokumentasi Anthropic menyebut peran di prompt sistem memusatkan perilaku dan nada model, bahkan dengan satu kalimat. Aplikasi yang Anda pakai dapat membawa prompt sistem dan kebijakan yang tidak Anda lihat (penalaran editorial).
• Pola data. Santurkar dan rekan (arXiv 30 Maret 2023, ICML 2023) menemukan opini model bahasa tidak selaras dengan 60 kelompok demografis Amerika Serikat, sebesar perbedaan pendukung Demokrat dan Republik soal iklim, dan ketidakselarasan itu bertahan walaupun model diarahkan ke kelompok tertentu. Profil NIST AI 600-1 (Juli 2024) mendaftar risiko bias yang merugikan dan penyeragaman.

Rumusan seri ini: AI menjawab secara probabilistik dan tanpa aksioma formal, tetapi tidak netral, karena membawa pola data latih dan nilai dari pelatihan lanjutan. Ia juga tidak "pasti acak": pada suhu rendah hasil mendekati tetap, pelatihan dengan hadiah yang dapat diverifikasi (Bab 8) melatih kepatuhan pada aturan yang dapat diperiksa, dan model dapat memanggil alat deterministik.

Halusinasi: jawaban keliru yang disampaikan dengan yakin

Profil NIST AI 600-1 memakai istilah confabulation: sistem AI generatif menghasilkan dan dengan yakin menyajikan konten yang keliru atau palsu. Istilah sehari-harinya halusinasi; karena disajikan dengan yakin, jawaban salah tampak sama dengan jawaban benar.

Makalah "Why Language Models Hallucinate" (Kalai, Nachum, Vempala, dan Zhang dari OpenAI; arXiv 4 September 2025) menjelaskan dua sumbernya. Pada pralatih, halusinasi dianalisis sebagai galat klasifikasi biner: bila pernyataan keliru tidak dapat dibedakan dari fakta, halusinasi muncul lewat tekanan statistik alami. Sesudahnya, prosedur pelatihan dan evaluasi yang lazim menghadiahi tebakan daripada pengakuan tidak pasti. Blog OpenAI (September 2025) memakai analogi ujian pilihan ganda: menebak mungkin mendapat nilai, mengosongkan jawaban pasti nol, dan tebakan tanggal lahir benar dengan peluang sekitar 1/365. Dalam makalah itu, model sumber terbuka DeepSeek-V3 dari DeepSeek (versi Mei 2025) memberi tiga tanggal lahir berbeda untuk seorang peneliti, semuanya salah, walaupun diminta menjawab hanya bila tahu. Para penulis mengusulkan perbaikan sosio-teknis: mengubah cara penilaian tolok ukur yang sudah ada dan mendominasi papan peringkat.

Penyedia tidak menjanjikan nol halusinasi: dokumentasi Anthropic menulis bahwa model paling maju pun kadang menghasilkan teks yang salah secara fakta, dan teknik peredamannya mengurangi tetapi tidak menghilangkan halusinasi, sehingga informasi kritis selalu divalidasi, terutama untuk keputusan berisiko tinggi. Transparency Hub Anthropic (2 Oktober 2026) melaporkan bahwa dalam uji fakta 41 bidang tanpa internet, Claude Sonnet 5.5 menjawab benar lebih banyak daripada Claude Sonnet 5, tetapi juga sedikit lebih banyak salah. Papan peringkat halusinasi Vectara (diperbarui 16 Oktober 2026) meminta model meringkas lebih dari 7.700 artikel hanya dari isi dokumennya, pada suhu 0; angka terendah di tabelnya 1,8 persen. Angka itu mengukur kesetiaan ringkasan pada dokumen, bukan tingkat salah umum, dan tabelnya belum memuat model Claude generasi 5.

Kalibrasi dan penjelasan diri model

Model terkalibrasi baik bila keyakinannya sama dengan peluang benarnya: dari seratus jawaban yang diberi keyakinan 80 persen, sekitar delapan puluh benar. Laporan teknis GPT-4 dari OpenAI (arXiv 2303.08774) dikutip luas sebagai menunjukkan model pralatih terkalibrasi baik dan kalibrasinya menurun setelah pelatihan lanjutan dengan umpan balik manusia; kalimat persis laporan itu belum dapat dipastikan dari sumber resmi per 18 Oktober 2026. Menurut ringkasan makalah Tian dan rekan (2023), pada model berumpan balik manusia termasuk GPT-4, keyakinan yang diucapkan sebagai teks sering lebih terkalibrasi daripada peluang internal model. Kesimpulannya (penalaran editorial): nada yakin bukan ukuran benar, dan angka keyakinan model baru berguna setelah diuji terhadap jawaban yang sudah diketahui, seperti pada Contoh 9.

Penjelasan model tentang dirinya juga perlu diperlakukan hati-hati. Riset interpretabilitas Anthropic (27 Maret 2025) menemukan Claude memilih kata rima sebelum menulis baris puisinya, dan mengerjakan penjumlahan lewat jalur paralel: satu memperkirakan kasar, satu menentukan digit terakhir. Ketika ditanya, Claude menjelaskan metode simpan-pinjam yang lazim, padahal komputasi internalnya tidak seperti itu. Model penalaran seperti o1 dari OpenAI (12 September 2024) makin akurat dengan waktu berpikir lebih panjang, tetapi penjelasan yang ditulis model tidak selalu mencerminkan proses internalnya. Penjelasan langkah demi langkah tetap berguna karena setiap langkah dapat dihitung ulang, tetapi kerapiannya bukan bukti bahwa angkanya benar.

Menambatkan jawaban: pencarian, RAG, dan alat

Jawaban yang hanya berasal dari bobot model bergantung pada data latih dan batas pengetahuannya. Dokumentasi Anthropic menulis batas pengetahuan andal Juni 2026 untuk model Claude terkini; peristiwa sesudahnya tidak diketahui model kecuali lewat pencarian web. Tiga cara menambatkan jawaban ke sumber di luar model:

Analisis dalam catatan fakta seri ini: kalkulator dan eksekusi kode deterministik, tetapi keputusan model untuk memanggil alat, memilih argumen, dan menyalin hasilnya tetap probabilistik, sehingga angka teknis seperti dosis kimia laundry, setelan suhu, dan beban listrik tetap diperiksa. Teknik meminta kutipan ada di Bab 13, dan pemakaian alat oleh agen di Bab 12.

Daftar periksa jawaban AI

Daftar ini penalaran editorial, sebagian disusun dari panduan penyedia yang dikutip:

1. Pilah klaimnya. Pisahkan penjelasan konsep, fakta, angka, dan saran tindakan; dua yang terakhir diperiksa lebih dulu.
2. Cari dasar setiap angka. Panduan prompting GPT-5.2 dari OpenAI (11 Desember 2025, kini diarsipkan) meminta jawaban di konteks keselamatan dipindai ulang untuk asumsi tersembunyi, angka tanpa dasar, dan bahasa terlalu kuat seperti "selalu" atau "dijamin". Angka sensitif (dosis kimia, torsi, setelan proteksi, tekanan, suhu) diambil dari label, pelat nama, atau manual pabrik.
3. Periksa satuan dan kewajaran. Setiap angka bersatuan, dan besarnya masuk akal untuk alatnya (Bab 4 · Satuan & Matematika).
4. Hitung ulang. Rumus dan konversi dihitung ulang di Takar, kalkulator Arstema dengan 34 ruang konversi dan alat lapangan (akses awal di web, aplikasi Android sedang disiapkan), atau dengan tangan.
5. Tanya ulang. Ajukan pertanyaan yang sama dua atau tiga kali, atau dengan kalimat lain.
6. Buka sumbernya. Klaim yang tidak ditemukan di sumber yang disebut dianggap belum terbukti.
7. Periksa tanggal. Harga, model, standar, dan regulasi dapat berubah sesudah batas pengetahuan model.
8. Cocokkan istilah dan konsep. Istilah diperiksa di Kamus teknik Arstema, konsep dipelajari ulang di bab Academy yang bersumber, dan dugaan gangguan disusun sebagai hipotesis yang dapat diuji di Troubleshoot.
9. Serahkan keputusan. Keputusan keselamatan diambil orang yang berwenang, dengan manual pabrik sebagai acuan.

Pembagian perannya mengikuti anjuran pemilik: AI untuk menjelaskan dan menyusun draf; Arstema, manual pabrik, dan orang berwenang untuk memeriksa dan memutuskan. Arstema bukan model AI; isinya bab bersumber, kamus, kalkulator, dan alur diagnosis yang dapat diperiksa ulang.

Contoh kerja

Logit dan peluang di bawah ini angka latihan, kecuali disebut lain. Eksponen dibulatkan sampai tiga desimal.

Contoh 1. Softmax pada suhu 1. Model melanjutkan kalimat "Setel tekanan regulator ke 6 ..." dan memberi logit untuk empat token: bar 3,0; psi 2,0; kPa 1,0; MPa 0,0. Pada $T = 1$: $e^{3} = 20{,}086$, $e^{2} = 7{,}389$, $e^{1} = 2{,}718$, dan $e^{0} = 1$, dengan jumlah $31{,}193$. Peluangnya $20{,}086/31{,}193 = 0{,}644$; $7{,}389/31{,}193 = 0{,}237$; $2{,}718/31{,}193 = 0{,}087$; dan $1/31{,}193 = 0{,}032$, berjumlah 1,000. Bila manual memakai bar, satuan psi yang keliru masih terpilih kira-kira sekali dari empat jawaban.

Contoh 2. Suhu 0,5. Logit yang sama dibagi 0,5 menjadi 6, 4, 2, dan 0. $e^{6} = 403{,}429$, $e^{4} = 54{,}598$, $e^{2} = 7{,}389$, dan $e^{0} = 1$, dengan jumlah $466{,}416$. Peluangnya $0{,}865$; $0{,}117$; $0{,}016$; dan $0{,}002$, berjumlah 1,000. Token teratas makin dominan, tetapi psi masih sekitar 12 persen: suhu rendah mengurangi variasi tanpa menghilangkan token yang salah.

Contoh 3. Suhu 2 dan aturan perbandingan. Logit dibagi 2 menjadi 1,5; 1; 0,5; dan 0. $e^{1{,}5} = 4{,}482$, $e^{1} = 2{,}718$, $e^{0{,}5} = 1{,}649$, dan $e^{0} = 1$, dengan jumlah $9{,}849$. Peluangnya $0{,}455$; $0{,}276$; $0{,}167$; dan $0{,}102$. Perbandingan bar terhadap psi mengikuti $e^{(3-2)/T}$: $e^{0{,}5} = 1{,}649$ pada $T = 2$, $e^{1} = 2{,}718$ pada $T = 1$, dan $e^{2} = 7{,}389$ pada $T = 0{,}5$. Periksa: $0{,}455/0{,}276 = 1{,}65$.

Contoh 4. Potongan top-p. Jumlah kumulatif peluang Contoh 1: bar 0,644; dengan psi 0,881; dengan kPa 0,968; dengan MPa 1,000. Dengan top-p 0,9, nukleusnya adalah himpunan terkecil yang jumlahnya mencapai 0,9, yaitu bar, psi, dan kPa (0,968). MPa dibuang, dan sisanya dinormalkan ulang: $0{,}644/0{,}968 = 0{,}665$; $0{,}237/0{,}968 = 0{,}245$; $0{,}087/0{,}968 = 0{,}090$. Dengan top-p 0,5, bar saja sudah mencapai 0,644, sehingga hanya bar yang dapat terpilih pada langkah ini. Top-p membuang ekor yang mustahil, tetapi satuan salah yang tampak masuk akal (psi) tetap tinggal.

Contoh 5. Bertanya lima kali. Pada suhu 1, peluang lima jawaban yang saling bebas semuanya memilih bar adalah $0{,}644^{5} = 0{,}111$. Artinya, peluang paling sedikit satu jawaban berbeda sekitar 89 persen. Pada suhu 0,5: $0{,}865^{5} = 0{,}484$, sekitar setengah. Ketidaksamaan seperti ini yang dicari verifikasi best-of-N.

Contoh 6. Paling sedikit satu klaim salah. Draf SOP dari AI memuat 10 klaim fakta dan angka. Misalkan setiap klaim salah dengan peluang 0,02 dan kesalahan antarklaim saling bebas (angka latihan dan asumsi). Peluang paling sedikit satu klaim salah:

$$P = 1 - (1 - p)^{n} = 1 - 0{,}98^{10} = 1 - 0{,}817 = 0{,}183$$

Untuk 30 klaim: $1 - 0{,}98^{30} = 1 - 0{,}545 = 0{,}455$. Jawaban panjang mudah memuat kesalahan walaupun setiap klaimnya "hampir selalu benar", sehingga yang diperiksa setiap klaim, bukan kesan umum.

Contoh 7. Ringkasan manual. Papan peringkat Vectara mencatat tingkat halusinasi ringkasan terendah 1,8 persen. Seandainya angka itu berlaku untuk ringkasan 20 manual dan kesalahannya saling bebas (asumsi, penalaran editorial), peluang paling sedikit satu ringkasan berhalusinasi sebesar $1 - 0{,}982^{20} = 1 - 0{,}695 = 0{,}305$, sekitar 30 persen. Angka 1,8 persen adalah yang terendah di tabel, belum tentu milik model yang Anda pakai, dan diukur pada artikel, bukan manual.

Contoh 8. Menebak atau berkata "tidak tahu". Model ditanya tanggal lahir seseorang yang tidak ia ketahui; tebakan acak benar dengan peluang sekitar 1/365. Bila penilaian hanya menghitung jawaban benar (benar 1, salah 0, "tidak tahu" 0), nilai harapan menebak $1/365 = 0{,}003$, lebih besar dari 0, sehingga menebak selalu menguntungkan. Bila jawaban salah diberi nilai $-1$ (angka latihan), nilai harapan menebak $1/365 - 364/365 = -0{,}995$, sehingga "tidak tahu" jauh lebih baik. Itulah arah usulan makalah OpenAI. Nomor suku cadang yang dikarang mengikuti logika yang sama (penalaran editorial).

Contoh 9. Menguji kalibrasi. Teknisi menguji model dengan 50 pertanyaan yang jawabannya ada di manual, dan model menyatakan "90 persen yakin" pada semuanya. Bila terkalibrasi, sekitar $50 \times 0{,}9 = 45$ jawaban benar dan 5 salah. Hasilnya 36 benar: akurasi $36/50 = 0{,}72$, dengan 14 salah, hampir tiga kali yang diharapkan. Model terlalu yakin sebesar 18 poin persentase, sehingga ucapan "90 persen yakin" bukan alasan melewatkan pemeriksaan.

Kondisi berhenti

Berhenti memakai jawaban AI dan rujuk label, manual pabrik, sumber resmi, atau orang berwenang bila:

1. Jawaban memuat angka keselamatan atau proses (dosis kimia, torsi, tekanan, suhu, setelan proteksi) yang tidak dapat dilacak ke label, pelat nama, atau manual.
2. Pertanyaan yang sama memberi angka atau kesimpulan yang berbeda saat diulang.
3. Sumber yang disebut tidak dapat dibuka, tidak ada, atau tidak memuat klaim itu.
4. Satuan hilang atau tidak konsisten, atau hasil gagal uji kewajaran (Bab 4 · Satuan & Matematika).
5. Jawaban menyangkut harga, model, standar, atau regulasi terbaru, padahal model tidak memakai pencarian.
6. Jawaban menyarankan memintas pengaman, atau pekerjaan gas dan listrik di luar wewenang Anda. Berhenti bekerja dan ikuti Bab 1 · Keselamatan.
7. Hitung ulang di Takar atau dengan tangan memberi angka lain, atau langkah penjelasannya tidak menghasilkan angka yang ditulis.

Salah tafsir yang sering terjadi

"Suhu 0 membuat jawaban pasti benar." Suhu 0 tidak menjamin hasil identik, suhu pada model Claude terbaru tidak dapat diubah, dan hasil yang konsisten tetap dapat salah.

"Tanpa dogma berarti AI netral." Nilai ditanamkan lewat umpan balik manusia, konstitusi, prompt sistem, dan kebijakan keamanan, dan opini model tidak selaras dengan banyak kelompok.

"Jawaban yang yakin dan rapi lebih mungkin benar." Konfabulasi justru didefinisikan sebagai konten keliru yang disajikan dengan yakin, dan kalibrasi dilaporkan dapat menurun setelah pelatihan lanjutan.

"Penjelasan langkah demi langkah menunjukkan cara AI menghitung." Riset Anthropic menemukan penjelasan Claude tentang penjumlahan berbeda dari komputasi internalnya.

"Kalau AI menyebut sumber, klaimnya sudah terverifikasi." Sumber harus dibuka dan klaimnya ditemukan di sana; dokumentasi Anthropic meminta klaim tanpa kutipan pendukung ditarik.

Hubungan dengan bab lain

Bab 8 menjelaskan asal logit, Bab 7 beda AI dengan pengendali berbasis aturan, Bab 10 dan Bab 11 model dan tingkatnya, Bab 12 agen yang memakai alat, Bab 13 cara meminta kutipan dan asumsi, dan Bab 14 penerapan daftar periksa ini pada pekerjaan teknik. Bab 4 · Satuan & Matematika memberi uji kewajaran, Bab 2 · Data & Pengukuran peluang dan distribusi, Bab 3 bilangan titik mengambang, Bab 1 · Keselamatan kondisi berhenti saat bahaya, dan Bab 1 · Sistem, Diagram & Diagnosis cara menuliskan asumsi.

Latihan dan pembahasan

Tuliskan rumus, angka antara, dan asumsi. Semua angka adalah angka latihan.

1. Tiga token memiliki logit 2,0; 1,0; dan 0,0. Hitung peluangnya pada suhu 1 dan 0,5, dan perbandingan token teratas terhadap token kedua.
2. Distribusi empat token adalah 0,50; 0,25; 0,15; dan 0,10. Token mana yang tersisa dengan top-p 0,7, dan berapa peluangnya setelah dinormalkan ulang?
3. Draf SOP memuat 25 klaim. Berapa peluang salah per klaim paling besar supaya peluang paling sedikit satu klaim salah tidak melebihi 10 persen, dan apa artinya bagi pemeriksaan?
4. AI menghitung arus motor dengan kalkulator. Peluang ia memilih rumus yang tepat 0,99, memasukkan argumen benar 0,97, dan menyalin hasil benar 0,99. Berapa peluang jawaban akhirnya benar, dan apa yang diperiksa?
5. Rekan kerja berkata: "AI tidak punya dogma, jadi jawabannya netral dan objektif." Tanggapi dengan alasan dari bab ini.
6. AI memberi dosis bahan kimia pencuci untuk mesin 30 kg, dengan penjelasan rapi dan nama sebuah standar sebagai sumber. Susun langkah pemeriksaan dan kapan Anda berhenti memakai jawaban itu.

Kunci jawaban beralasan

1. Pada suhu 1: $e^{2} = 7{,}389$, $e^{1} = 2{,}718$, $e^{0} = 1$, jumlah 11,107, sehingga peluangnya 0,665; 0,245; dan 0,090. Pada suhu 0,5 logit menjadi 4, 2, dan 0: $e^{4} = 54{,}598$, $e^{2} = 7{,}389$, dan 1, jumlah 62,987, sehingga peluangnya 0,867; 0,117; dan 0,016. Token teratas $e^{1} = 2{,}72$ kali token kedua pada suhu 1 dan $e^{2} = 7{,}39$ kali pada suhu 0,5, karena perbandingan hanya bergantung pada selisih logit dibagi suhu.
2. Jumlah kumulatifnya 0,50; 0,75; 0,90; dan 1,00. Himpunan terkecil yang mencapai 0,7 adalah dua token pertama (0,75), sehingga dua token terakhir dibuang. Setelah dinormalkan: $0{,}50/0{,}75 = 0{,}667$ dan $0{,}25/0{,}75 = 0{,}333$. Token ketiga yang dibuang mungkin saja yang benar, karena top-p memotong menurut peluang, bukan menurut kebenaran.
3. Syaratnya $(1 - p)^{25} \ge 0{,}9$, sehingga $1 - p \ge 0{,}9^{1/25}$. Dengan logaritma, $\ln 0{,}9 = -0{,}1054$, dibagi 25 menjadi $-0{,}00421$, dan $e^{-0{,}00421} = 0{,}9958$, sehingga $p \le 0{,}0042$, sekitar 0,42 persen per klaim. Tidak ada model yang menjamin peluang sekecil itu, sehingga setiap klaim diperiksa satu per satu terhadap manual, dengan asumsi yang ditulis seperti di Bab 1 · Sistem, Diagram & Diagnosis.
4. Bila ketiga langkah saling bebas, peluang benar $0{,}99 \times 0{,}97 \times 0{,}99 = 0{,}951$, sehingga sekitar 4,9 persen jawaban salah walaupun kalkulatornya sendiri tidak pernah salah. Yang diperiksa rumus yang dipilih, angka masukan beserta satuannya, dan kesamaan hasil yang ditulis dengan hasil alat, lalu angkanya dihitung ulang di Takar.
5. Bagian "probabilistik dan tanpa aksioma formal" benar, karena jawaban diambil sebagai sampel dari distribusi token, bukan diturunkan dari aksioma. Bagian "netral" tidak tepat: nilai sengaja ditanamkan lewat umpan balik manusia, konstitusi, prompt sistem, dan kebijakan keamanan, dan Santurkar dan rekan menemukan opini model tidak selaras dengan 60 kelompok demografis. Jawaban AI diperlakukan sebagai draf yang membawa sudut pandang pelatihannya.
6. Cari dosis di label produk dan manual mesin, karena angka dosis tidak diambil dari ingatan model; buka standar yang disebut dan cari klaim itu; periksa satuan (per kilogram cucian atau per muatan) dan kewajarannya; tanyakan ulang. Berhenti bila angka tidak ada di label atau manual, standar tidak dapat dibuka atau tidak memuat angka itu, atau jawaban berubah saat diulang, lalu tanyakan ke pemasok bahan kimia atau penyelia.

Referensi