Cara kerja model bahasa besar: token, embedding, transformer dan atensi, pralatih prediksi token berikutnya, parameter, jendela konteks, pelatihan lanjutan, dan model penalaran

Seorang teknisi dapur hotel menanyakan arti kode galat oven kombi kepada chatbot AI. Jawabannya lancar dan rapi, tetapi langkah perbaikannya tidak cocok dengan oven yang ia rawat. Sore harinya ia menempelkan bab pemecahan masalah dari manual pabrik oven itu ke percakapan yang sama dan mengulang pertanyaannya. Kali ini jawabannya mengutip tabel kode galat dari manual. Modelnya sama; yang berbeda hanya teks yang dibaca model. Jawaban pertama disusun dari pola yang dipelajari saat pelatihan. Pada jawaban kedua, manual itu masuk ke jendela konteks, yaitu teks yang dapat dilihat model saat menyusun jawaban. Bab ini menjelaskan mesin di balik kedua jawaban itu.

Batas pembahasan

Bab ini membahas mekanisme model bahasa besar (large language model, LLM) pada tingkat yang cukup untuk teknisi: token, embedding, transformer dan atensi, pralatih, parameter dan campuran pakar, jendela konteks, pelatihan lanjutan, dan model penalaran. Fakta riset, model, dan dokumentasi berasal dari catatan fakta seri ini per 18 Oktober 2026; status setiap fakta ada di peta sumber.

Definisi AI ada di Bab 7. Cara model memilih token, suhu, halusinasi, dan pemeriksaan jawaban ada di Bab 9. Peta model dan harga ada di Bab 10, pemilihan tingkat model di Bab 11, agen di Bab 12, cara memberi perintah di Bab 13, dan pemakaian untuk pekerjaan teknik di Bab 14. Penjelasannya disederhanakan dan bukan resep membangun model.

Token dan tokenisasi

Model bahasa tidak membaca huruf atau kata seperti manusia. Teks lebih dulu dipecah menjadi token, satuan dasar yang diproses model. Menurut halaman bantuan OpenAI, token bisa sependek satu karakter atau sepanjang satu kata, dan cara pemecahannya berbeda per model. Kata yang sering muncul biasanya menjadi satu token, sedangkan kata langka, kode suku cadang, atau angka panjang dipecah menjadi beberapa potong (pengetahuan umum).

Halaman yang sama memberi patokan kasar untuk bahasa Inggris: satu token sekitar 4 karakter atau tiga perempat kata, sehingga 100 token sekitar 75 kata. Sumbernya tidak memberi rasio untuk Bahasa Indonesia, dan rasio bahasa Inggris tidak boleh dipakai begitu saja untuk teks Indonesia. Bila angkanya penting, ukur sendiri dari laporan pemakaian layanan.

Token penting karena batas jendela konteks dihitung dalam token, pemakaian layanan dihitung dalam token (halaman bantuan OpenAI membedakan token input, output, tersimpan, dan penalaran), dan model menulis jawaban token demi token sehingga jawaban panjang butuh waktu lebih lama (pengetahuan umum).

Embedding: token menjadi deretan angka

Setiap token diubah menjadi deretan angka yang disebut vektor; di dalam model, vektor inilah yang diolah (pengetahuan umum). Gagasan yang sama dipakai layanan embedding untuk pencarian dokumen. Dokumentasi OpenAI menjelaskan embedding sebagai vektor bilangan titik mengambang: jarak kecil antara dua vektor berarti sangat terkait, jarak besar berarti kurang terkait. Panjang vektor bawaan text-embedding-3-small dari OpenAI adalah 1.536 angka dan text-embedding-3-large 3.072 angka. Bilangan titik mengambang dijelaskan di Bab 3.

Akibatnya, pencarian berbasis embedding dapat menemukan bagian manual yang relevan walaupun kata kuncinya berbeda (penalaran editorial); pemakaiannya dibahas di Bab 9.

Transformer dan atensi

Arsitektur transformer diperkenalkan dalam makalah "Attention Is All You Need" oleh Vaswani dan tujuh penulis lain, dengan versi pertama di arXiv 12 Juni 2017. Makalah itu menyebut transformer bertumpu sepenuhnya pada mekanisme atensi, tanpa rekurensi dan konvolusi, dan melaporkan 28,4 BLEU pada terjemahan Inggris ke Jerman WMT 2014. LLM yang dibahas di bab ini dibangun di atas gagasan yang sama (pengetahuan umum).

Secara sederhana, atensi bekerja begini: untuk setiap token, model menentukan seberapa besar perhatian yang diberikan kepada token lain di konteks, lalu mencampur informasinya menurut bobot itu. Bobotnya positif dan berjumlah satu, mirip pembagian persentase. Ini penyederhanaan pengetahuan umum; catatan fakta seri ini tidak memeriksa rincian matematisnya, jadi rumus lengkapnya dirujuk ke makalah aslinya. Skor kecocokan diubah menjadi bobot dengan softmax, yang dibahas di Bab 9.

Pada kalimat "Motor kipas trip karena ventilasinya tersumbat serat", akhiran "-nya" perlu dihubungkan dengan "motor". Atensi memberi jalan langsung ke token mana pun di konteks tanpa meneruskan informasi kata demi kata (penalaran editorial dari rumusan "tanpa rekurensi").

Pralatih: belajar menebak token berikutnya

Tahap pertama pelatihan disebut pralatih (pre-training). Model diberi teks dalam jumlah sangat besar dan dilatih menebak token berikutnya dari token sebelumnya; setiap tebakan yang meleset dipakai untuk menyetel parameternya sedikit demi sedikit (pengetahuan umum). README DeepSeek-V3 dari DeepSeek menyebut 14,8 triliun token dan 2,788 juta jam GPU H800, README Kimi K2 dari Moonshot AI 15,5 triliun token, dan laporan teknis Qwen3 dari Alibaba 36 triliun token dalam 119 bahasa dan dialek, termasuk evaluasi Bahasa Indonesia.

Makalah GPT-3 dari OpenAI (Brown dan kawan-kawan, arXiv 28 Mei 2020) menunjukkan bahwa model 175 miliar parameter hasil pralatih dapat mengerjakan tugas hanya dari instruksi atau contoh di dalam teks, tanpa pelatihan ulang. Kemampuan ini kita pakai saat memberi contoh di dalam perintah (Bab 13).

Dua hal perlu diingat. Pertama, model menyimpan pola di dalam parameternya, tidak menyimpan salinan dokumen yang dapat dicari seperti basis data; Anthropic membedakan jendela konteks dari korpus pelatihan. Kedua, pengetahuan model berhenti pada batas data latih. Dokumentasi Anthropic yang dibuka 18 Oktober 2026 menyebut batas pengetahuan semua model Claude terkini adalah Juni 2026. Kejadian sesudahnya tidak diketahui model kecuali diberikan lewat konteks atau pencarian (penalaran editorial).

Parameter dan campuran pakar

Parameter adalah angka di dalam model yang disetel selama pelatihan, dan jumlahnya dipakai sebagai ukuran model (pengetahuan umum). GPT-3 punya 175 miliar parameter. Untuk banyak model tertutup terbaru, catatan fakta seri ini tidak menemukan angka parameter resmi, jadi angka yang beredar tanpa dokumen pengembang jangan dianggap fakta.

Sejumlah model besar berbobot terbuka memakai campuran pakar (mixture of experts, MoE): model berisi banyak sub-jaringan "pakar", dan setiap token hanya memakai sebagian kecil di antaranya (pengetahuan umum). Karena itu ada parameter total dan parameter aktif per token:

Status angka dan tanggal tiap baris ada di peta sumber. Tabel ini contoh ukuran, bukan peta model (Bab 10); daftar seperti ini berubah cepat, jadi periksa halaman resmi pengembang sebelum memilih atau membeli.

Memori untuk memuat model ditentukan parameter total, sedangkan komputasi per token ditentukan parameter aktif. Aturan praktisnya: memori bobot sama dengan jumlah parameter kali bita per parameter, ditambah ruang untuk konteks.

Menyimpan parameter dengan bit lebih sedikit disebut kuantisasi (pengetahuan umum); bit dan bita dijelaskan di Bab 3. Contoh 5 dan 6 mencocokkan aturan ini dengan dokumen pengembang.

Jendela konteks

Anthropic mendefinisikan jendela konteks sebagai seluruh teks yang dapat "dilihat kembali" model saat menghasilkan teks baru, ditambah teks yang dihasilkannya. Jendela ini berbeda dari korpus pelatihan dan berfungsi seperti memori kerja. Menurut dokumentasi Anthropic yang dibuka 18 Oktober 2026, Claude Fable 5.1, Opus 5.5, Sonnet 5.5, dan Haiku 5.5, yang dirilis antara 1 September dan 7 Oktober 2026, berjendela 1 juta token dengan keluaran maksimum 128 ribu token. README Kimi K3 menulis 1.048.576 token, dan model card Llama 4 menulis 10 juta token untuk Scout. Angka ini berubah setiap kali model baru terbit; periksa halaman resmi.

Ada tiga akibat praktis. Pertama, input dan keluaran berbagi jendela: dokumentasi Anthropic menyebut bahwa pada Claude 4.5 ke atas, bila input ditambah batas keluaran (max_tokens) melebihi jendela, pembangkitan berhenti di batas itu. Kedua, jendela konteks bukan ingatan permanen. Manual yang ditempel tidak mengubah parameter model, dan itulah sebabnya jawaban kedua pada kasus pembuka berubah (penalaran editorial). Ketiga, jendela besar tidak menjamin setiap bagian dokumen dipakai dengan benar, jadi jawaban tetap dicocokkan dengan dokumennya (penalaran editorial).

Pelatihan lanjutan: dari pelanjut teks menjadi asisten

Model hasil pralatih pandai melanjutkan teks, tetapi belum tentu menjawab pertanyaan, mengikuti instruksi, atau menolak permintaan berbahaya. Pelatihan lanjutan membentuknya menjadi asisten:

Makalah InstructGPT (Ouyang dan kawan-kawan, OpenAI, NeurIPS 2022) menyetel GPT-3 dengan demonstrasi pelabel, lalu dengan umpan balik manusia berupa peringkat keluaran. Penilai lebih menyukai keluaran InstructGPT 1,3 miliar parameter daripada GPT-3 175 miliar, "despite having 100x fewer parameters", dan InstructGPT 175 miliar disukai 85 ± 3 persen kali dibanding GPT-3 175 miliar, walaupun model masih membuat kesalahan sederhana.

Constitutional AI dari Anthropic memakai daftar prinsip tertulis, yang disebut konstitusi, sebagai satu-satunya pengawasan manusia: model mengkritik dan merevisi jawabannya sendiri, lalu dilatih dengan umpan balik AI (RLAIF). Menurut pengumuman Anthropic, konstitusi baru Claude dipublikasikan 22 Januari 2026 (dokumen bertanggal 21 Januari 2026) sebagai bagian krusial proses pelatihan. Urutan prioritasnya: aman secara luas, etis secara luas, patuh pada pedoman Anthropic, lalu benar-benar membantu. Dokumen itu lebih banyak menjelaskan alasan, tetapi tetap memuat batasan keras untuk perilaku paling berisiko.

Makalah Tülu 3 dari Ai2 (Lambert dan kawan-kawan, November 2024) memperkenalkan istilah RLVR: jawaban sampel diperiksa fungsi deterministik dan mendapat hadiah α bila benar dan 0 bila salah, untuk tugas yang keberhasilannya dapat diukur seperti matematika dan kepatuhan instruksi. DeepSeek-R1-Zero memakai hadiah berbasis aturan (pencocokan jawaban, eksekusi kode, cek format) dan sengaja menghindari model hadiah neural agar model tidak mengakali hadiah.

Bagian ini menjawab premis "AI menjawab dengan probabilitas, tanpa aksioma, tanpa dogma". Model memang menyusun jawaban dari peluang yang dipelajari, tidak dari aksioma formal. Namun model tidak netral: pralatih membawa pola data latih, dan pelatihan lanjutan menanamkan nilai lewat umpan balik manusia, konstitusi, prompt sistem, dan kebijakan keamanan (penalaran editorial). Rinciannya di Bab 9.

Model penalaran dan komputasi saat menjawab

OpenAI memperkenalkan o1 pada 12 September 2024 sebagai model yang dilatih dengan pembelajaran penguatan skala besar untuk memakai rantai pikir (chain of thought). Menurut OpenAI, kinerjanya naik dengan lebih banyak pelatihan penguatan dan lebih banyak waktu berpikir saat menjawab (test-time compute), dan model belajar mengenali kesalahan, memecah langkah sulit, dan berganti pendekatan. Token penalaran tercatat terpisah dalam data pemakaian API dan ikut ditagih.

README DeepSeek-R1 mengklaim kinerja setara OpenAI-o1 di matematika, kode, dan penalaran; ini klaim vendor. README Qwen3 menyebut perpindahan mode berpikir dan tidak berpikir, README Seed-OSS-36B dari ByteDance Seed (20 Agustus 2025) menyebut anggaran berpikir yang dapat diatur, dan dokumentasi Anthropic menyebut adaptive thinking selalu aktif pada Claude Fable 5.1. Pengaturan tingkat usaha dibahas di Bab 11.

Riset interpretabilitas Anthropic (27 Maret 2025) menemukan bahwa saat menulis puisi, Claude memilih kata rima sebelum menulis barisnya. Keluaran dibuat token demi token, tetapi perhitungan di dalam model dapat merencanakan ke depan. Temuan lain riset itu, tentang penjelasan model atas cara kerjanya sendiri, dibahas di Bab 9.

Bagi teknisi, model penalaran berarti lebih banyak token, waktu, dan biaya, dan penalaran panjang tidak otomatis benar. Pakai AI untuk menjelaskan dan menyusun draf; periksa angka, satuan, dan rumus di Takar, istilah di Kamus teknik, dan konsepnya di Academy Arstema; putuskan dengan manual pabrik dan orang yang berwenang.

Contoh kerja

Contoh 1. Token manual berbahasa Inggris. Bab pemecahan masalah manual pengering berbahasa Inggris berisi 18.000 kata atau 96.000 karakter (angka latihan). Dengan 100 token per 75 kata, jumlahnya $18.000 \times 100/75 = 24.000$ token; dengan 4 karakter per token, $96.000/4 = 24.000$ token. Hasilnya sama karena teks ini rata-rata $96.000/18.000 = 5{,}33$ karakter per kata, yaitu $4/0{,}75$. Untuk SOP berbahasa Indonesia 3.000 kata, sumber tidak memberi rasio. Dengan misalan 1,3 sampai 2 token per kata (angka latihan), perkiraannya 3.900 sampai 6.000 token; angka sebenarnya dibaca dari laporan pemakaian.

Contoh 2. Jarak dua embedding. Dalam dua dimensi (angka latihan), "saringan serat" A = (0,9; 0,2), "lint filter" B = (0,8; 0,3), dan "katup gas" C = (0,1; 0,9). Jaraknya $d(A,B) = \sqrt{0{,}1^2 + 0{,}1^2} = \sqrt{0{,}02} = 0{,}14$ dan $d(A,C) = \sqrt{0{,}8^2 + 0{,}7^2} = \sqrt{1{,}13} = 1{,}06$. Jarak kecil berarti lebih terkait, jadi dalam contoh ini "saringan serat" jauh lebih dekat ke "lint filter" daripada ke "katup gas". Vektor sungguhan berisi 1.536 atau 3.072 angka, dengan rumus jarak yang sama atas semua komponen (pengetahuan umum).

Contoh 3. Bobot atensi sederhana. Misalkan "ventilasinya" dipecah menjadi "ventilasi" dan "nya", lalu token "nya" memberi bobot 0,6 ke "motor", 0,3 ke "kipas", dan 0,1 ke "trip", berjumlah 1,0 (angka latihan). Vektor nilainya motor (1,0; 0,2), kipas (0,4; 0,8), dan trip (0,0; 1,0) (angka latihan). Campurannya $0{,}6(1{,}0;\,0{,}2) + 0{,}3(0{,}4;\,0{,}8) + 0{,}1(0{,}0;\,1{,}0) = (0{,}72;\,0{,}46)$, dari $0{,}6 + 0{,}12 + 0 = 0{,}72$ dan $0{,}12 + 0{,}24 + 0{,}1 = 0{,}46$. Vektor baru "nya" paling banyak membawa informasi "motor". Pada model sungguhan, bobot dihitung dengan softmax (Bab 9) dan langkahnya diulang di banyak lapis (pengetahuan umum).

Contoh 4. Peluang token berikutnya. Sesudah "Suhu air bilas akhir diatur ke", model memberi peluang (angka latihan) "40" 0,45; "30" 0,25; "60" 0,20; dan token lain 0,10. Jumlahnya 1,00, sehingga ini sebuah distribusi peluang (Bab 2 · Data & Pengukuran). Bila peluang "°C" sesudah "40" maupun "30" adalah 0,90, lanjutan "40 °C" berpeluang $0{,}45 \times 0{,}90 = 0{,}405$ dan "30 °C" berpeluang $0{,}25 \times 0{,}90 = 0{,}225$. "40 °C" paling mungkin menurut pola data latih, tetapi itu bukan bukti setelan yang benar; setelan ada di manual mesin dan lembar data pemasok bahan kimia. Cara model memilih di antara peluang dibahas di Bab 9.

Contoh 5. Memori bobot model kecil. Vicuna-7B dalam FP16 butuh $7 \times 10^9 \times 2 = 14 \times 10^9$ bita, yaitu 14 GB bila 1 GB sama dengan $10^9$ bita (pengetahuan umum). README FastChat menyebut sekitar 14 GB. Vicuna-13B butuh $13 \times 10^9 \times 2 = 26 \times 10^9$ bita atau 26 GB, sedangkan README menyebut sekitar 28 GB. Selisihnya menunjukkan bahwa selain bobot ada kebutuhan memori lain, seperti ruang konteks, sehingga hasil rumus diperlakukan sebagai batas bawah (penalaran editorial).

Contoh 6. Memori model campuran pakar. DeepSeek-V3 punya 671 miliar parameter total dan 37 miliar aktif. Dalam FP8 bobotnya butuh $671 \times 1 = 671$ GB. Menghitung dari parameter aktif memberi 37 GB, terlalu kecil $671/37 = 18{,}1$ kali. Pada 4 bit kebutuhannya $671 \times 0{,}5 = 335{,}5$ GB. Llama 4 Scout dengan INT4 butuh $109 \times 0{,}5 = 54{,}5$ GB, sejalan dengan pernyataan model card bahwa Scout muat di satu GPU H100. Kimi K3 dengan MXFP4 sekitar 0,5 bita per parameter butuh $2.800 \times 0{,}5 = 1.400$ GB, ukuran server multi-GPU.

Contoh 7. Porsi parameter aktif. Porsi aktif DeepSeek-V3 adalah $37/671 = 0{,}055$ (5,5 persen), gpt-oss-120b $5{,}1/117 = 0{,}044$ (4,4 persen), dan Kimi K3 $104/2.800 = 0{,}037$ (3,7 persen). Per token, DeepSeek-V3 menghitung kira-kira seperti model 37 miliar parameter walaupun memorinya untuk 671 miliar. Porsi pakar aktif Kimi K3, $16/896 = 0{,}018$ (1,8 persen), lebih kecil dari porsi parameter aktifnya. Bila pakar berukuran sama, artinya sebagian parameter dipakai setiap token di luar pakar yang terpilih (penalaran editorial).

Contoh 8. Jendela konteks dalam halaman. Model Claude terkini berjendela 1 juta token, di sini dihitung 1.000.000, dengan keluaran maksimum 128.000 token (per Oktober 2026). Bila keluaran maksimum dicadangkan, ruang input $1.000.000 - 128.000 = 872.000$ token, agar pembangkitan tidak berhenti di batas jendela. Untuk bahasa Inggris, itu $872.000 \times 0{,}75 = 654.000$ kata, atau $654.000/500 = 1.308$ halaman pada 500 kata per halaman (angka latihan). Manual 300 halaman (angka latihan) berisi 150.000 kata atau $150.000/0{,}75 = 200.000$ token, sehingga muat $872.000/200.000 = 4{,}4$ kali. Untuk teks Indonesia, ukur dulu rasio tokennya.

Contoh 9. Token penalaran. Sebuah model penalaran menjawab pertanyaan diagnosis pengering dengan 5.200 token penalaran dan 650 token jawaban (angka latihan). Porsi penalarannya $5.200/5.850 = 0{,}889$ (88,9 persen). Pada 80 token per detik (angka latihan), keluaran selesai dalam $5.850/80 = 73{,}1$ detik, dibanding $650/80 = 8{,}1$ detik tanpa penalaran. Token penalaran ikut ditagih, jadi untuk pertanyaan ringan tambahan ini tidak sepadan; tingkat usaha dibahas di Bab 11.

Kondisi berhenti

Berhenti memakai jawaban AI, atau berhenti bekerja dan bertanya ke manusia atau sumber resmi, bila:

1. Dokumen yang dibutuhkan lebih panjang dari jendela konteks, atau jawaban terpotong di tengah langkah. Jangan menjalankan prosedur yang terpotong; pecah dokumen dan ulangi pertanyaan.
2. Jawaban menyebut angka teknis (suhu, dosis kimia, torsi, arus, tekanan) yang tidak berasal dari dokumen yang Anda berikan. Peluang token yang tinggi bukan bukti kebenaran; cocokkan dengan manual pabrik dan hitung ulang di Takar.
3. Pertanyaan menyangkut kejadian, harga, model, atau aturan sesudah batas pengetahuan model (Juni 2026 untuk model Claude terkini), dan jawabannya tidak memakai pencarian atau dokumen. Periksa halaman resmi.
4. Perkiraan memori dari parameter total melebihi memori komputer yang akan menjalankan model berbobot terbuka. Jangan memaksa; tanyakan ke bagian TI, dan untuk data tamu ikuti Bab 14.
5. Pekerjaan menyangkut gas, listrik, tekanan, atau pengaman mesin. Penjelasan AI hanya bahan belajar; keputusan mengikuti manual pabrik dan orang yang berwenang (Bab 1 · Keselamatan).
6. Rantai penalaran panjang tampak meyakinkan, tetapi langkahnya tidak dapat Anda periksa. Minta sumbernya atau tanyakan kepada orang yang menguasai bidangnya.

Salah tafsir yang sering terjadi

"AI menyimpan semua dokumen latihnya dan mencarinya saat ditanya." Pralatih menyetel parameter dari pola data, dan Anthropic membedakan jendela konteks dari korpus pelatihan. Dokumen rujukan harus diberikan ke konteks atau dicari dengan alat.

"Satu token sama dengan satu kata." Token bisa sependek satu karakter atau sepanjang satu kata, dan patokan tiga perempat kata per token hanya untuk bahasa Inggris.

"Model hanya menebak satu kata ke depan tanpa rencana." Keluaran memang dibuat token demi token, tetapi riset Anthropic menemukan Claude memilih kata rima sebelum menulis barisnya.

"Model 1 triliun parameter cukup dimuat dengan memori untuk 32 miliar karena hanya itu yang aktif." Parameter aktif menentukan komputasi per token; memori ditentukan parameter total.

"Jendela konteks 1 juta token berarti model tidak pernah lupa." Jendela konteks adalah memori kerja untuk input dan keluaran; bila batasnya terlampaui, pembangkitan berhenti, dan isinya tidak mengubah parameter model.

"Karena menjawab dengan peluang dan tanpa aksioma, AI pasti netral." Pola data latih dan nilai dari pelatihan lanjutan, seperti umpan balik manusia dan konstitusi, ikut membentuk jawaban.

Hubungan dengan bab lain

Bab 7 menempatkan LLM dalam hierarki istilah AI, dan Bab 9 melanjutkan ke pemilihan token, halusinasi, dan pemeriksaan jawaban. Bab 10 memetakan model, Bab 11 memakai jendela konteks dan token penalaran untuk memilih tingkat model, Bab 12 membahas agen, Bab 13 memakai kemampuan belajar dari contoh, dan Bab 14 menerapkannya pada pekerjaan teknik. Bab 4 · Satuan & Matematika melatih pemeriksaan kewajaran angka seperti di Contoh 5 sampai 8, Bab 2 · Data & Pengukuran menjelaskan distribusi, Bab 1 membedakan aturan tetap dari sistem yang belajar dari data, Bab 3 menjelaskan bit, bita, dan titik mengambang, dan Bab 1 · Keselamatan memberi kondisi berhenti untuk pekerjaan berbahaya.

Latihan dan pembahasan

Untuk setiap soal, tuliskan rumus, satuan, dan asumsi. Angka dalam soal adalah angka latihan kecuali disebut berasal dari sumber.

1. Panduan pemecahan masalah berbahasa Inggris berisi 36.000 karakter. Perkirakan jumlah token dan katanya. Bolehkah angka itu dipakai untuk terjemahan Indonesianya?
2. Qwen3-235B-A22B punya 235 miliar parameter total dan 22 miliar aktif. Hitung memori bobot dalam BF16, FP8, dan 4 bit, serta porsi aktifnya. Angka mana yang menentukan memori?
3. InstructGPT 1,3 miliar parameter lebih disukai penilai daripada GPT-3 175 miliar. Bandingkan perbandingan ukurannya dengan frasa "100x fewer parameters". Apa pelajarannya bagi pemakai AI?
4. Kumpulan SOP berbahasa Inggris berjumlah 2.000 halaman dengan 500 kata per halaman. Apakah kumpulan itu muat di jendela konteks 1 juta token? Bila tidak, apa langkahnya?
5. Dalam RLVR, delapan jawaban sampel soal konversi psi ke bar diperiksa, dan tiga benar. Hadiahnya 1 bila benar dan 0 bila salah. Hitung rata-rata hadiahnya. Mengapa cara ini cocok untuk konversi satuan, tetapi tidak untuk menilai kesopanan balasan kepada tamu?
6. Tahap mana yang paling menjelaskan perilaku model berikut: (a) mengenal istilah "lint filter"; (b) mengikuti instruksi "jawab dalam tabel"; (c) menolak menjelaskan cara memintas pengaman nyala pembakar gas; (d) tidak mengenal model AI yang dirilis Agustus 2026 tanpa diberi konteks; (e) menulis langkah hitungan panjang sebelum menjawab soal beban listrik?

Kunci jawaban beralasan

1. Dengan 4 karakter per token, $36.000/4 = 9.000$ token, dan dengan 0,75 kata per token, $9.000 \times 0{,}75 = 6.750$ kata. Angka itu tidak boleh dipakai untuk terjemahan Indonesia, karena sumber hanya memberi patokan bahasa Inggris. Jumlah token terjemahannya diukur dari laporan pemakaian layanan.
2. BF16 butuh $235 \times 2 = 470$ GB, FP8 235 GB, dan 4 bit $235 \times 0{,}5 = 117{,}5$ GB; porsi aktifnya $22/235 = 0{,}094$ atau 9,4 persen. Parameter total menentukan memori, sedangkan parameter aktif menentukan komputasi per token. Ruang konteks belum dihitung, sehingga angka ini batas bawah.
3. Perbandingannya $175/1{,}3 = 134{,}6$ kali, jadi frasa "100 kali lebih sedikit" adalah pembulatan ke bawah dan tidak melebih-lebihkan. Pelatihan lanjutan ternyata dapat lebih menentukan kesukaan penilai daripada ukuran model. Namun disukai tidak sama dengan benar; makalah yang sama mencatat model masih membuat kesalahan sederhana.
4. Jumlah katanya $2.000 \times 500 = 1.000.000$ kata, atau sekitar $1.000.000 \times 100/75 = 1.333.333$ token. Angka itu sudah melebihi 1.000.000 token sebelum ruang keluaran dihitung, sehingga tidak muat. Pilih bagian yang relevan, pecah per topik, atau pakai pencarian dokumen (Bab 9), lalu cocokkan jawaban dengan SOP aslinya.
5. Rata-rata hadiahnya $(3 \times 1 + 5 \times 0)/8 = 0{,}375$. Konversi psi ke bar punya jawaban tunggal yang dapat diperiksa fungsi deterministik, sesuai syarat RLVR untuk tugas yang keberhasilannya dapat diukur. Kesopanan balasan kepada tamu tidak punya pemeriksa seperti itu, sehingga butuh penilaian manusia atau prinsip tertulis seperti pada RLHF dan Constitutional AI.
6. (a) Pralatih, karena kosakata teknis dipelajari dari data latih. (b) Penyetelan terarah dan umpan balik manusia, seperti InstructGPT yang dilatih dari demonstrasi dan peringkat. (c) Pelatihan lanjutan yang menanamkan nilai dan kebijakan keamanan, misalnya umpan balik manusia dan konstitusi (penalaran editorial). (d) Batas data pralatih; batas pengetahuan model Claude terkini adalah Juni 2026. (e) Model penalaran yang dilatih dengan pembelajaran penguatan untuk memakai komputasi saat menjawab; hitungannya tetap diperiksa di Takar.

Referensi