Cara kerja model bahasa besar: token, embedding, transformer dan atensi, pralatih prediksi token berikutnya, parameter, jendela konteks, pelatihan lanjutan, dan model penalaran

Seorang teknisi dapur hotel menanyakan arti kode galat oven kombi kepada chatbot AI. Jawabannya lancar dan rapi, tetapi langkah perbaikannya tidak cocok dengan oven yang ia rawat. Sore harinya ia menempelkan bab pemecahan masalah dari manual pabrik oven itu ke percakapan yang sama dan mengulang pertanyaannya. Kali ini jawabannya mengutip tabel kode galat dari manual. Modelnya sama; yang berbeda hanya teks yang dibaca model. Jawaban pertama disusun dari pola yang dipelajari saat pelatihan. Pada jawaban kedua, manual itu masuk ke jendela konteks, yaitu teks yang dapat dilihat model saat menyusun jawaban. Bab ini menjelaskan mesin di balik kedua jawaban itu.

Batas pembahasan

Bab ini membahas mekanisme model bahasa besar (large language model, LLM) pada tingkat yang cukup untuk teknisi: token, embedding, transformer dan atensi, pralatih, parameter dan campuran pakar, jendela konteks, pelatihan lanjutan, dan model penalaran. Fakta riset, model, dan dokumentasi di bab ini berlaku per 18 Oktober 2026.

Definisi AI ada di Bab 7 tentang apa itu kecerdasan buatan. Cara model memilih token, suhu, halusinasi, dan pemeriksaan jawaban ada di Bab 9 tentang bagaimana AI menjawab. Peta model dan harga ada di Bab 10 tentang peta model AI frontier, pemilihan tingkat model di Bab 11 tentang memilih model dalam satu keluarga, agen di Bab 12 tentang agen AI, cara memberi perintah di Bab 13 tentang cara memberi perintah ke AI, dan pemakaian untuk pekerjaan teknik di Bab 14 tentang AI untuk pekerjaan teknik di hotel, laundry, dan dapur. Penjelasannya disederhanakan dan bukan resep membangun model.

Token dan tokenisasi

Model bahasa tidak membaca huruf atau kata seperti manusia. Teks lebih dulu dipecah menjadi token. Token (token) adalah satuan dasar teks yang diproses model; menurut OpenAI, token bisa sependek satu karakter atau sepanjang satu kata, dan cara pemecahannya berbeda per model. Kata yang sering muncul biasanya menjadi satu token, sedangkan kata langka, kode suku cadang, atau angka panjang dipecah menjadi beberapa potong.

OpenAI juga memberi patokan kasar untuk bahasa Inggris: satu token sekitar 4 karakter atau tiga perempat kata, sehingga 100 token sekitar 75 kata. Patokan itu tidak diberikan untuk Bahasa Indonesia, dan rasio bahasa Inggris tidak boleh dipakai begitu saja untuk teks Indonesia. Bila angkanya penting, ukur sendiri dari laporan pemakaian layanan.

Token penting karena batas jendela konteks dihitung dalam token, pemakaian layanan dihitung dalam token (OpenAI membedakan token input, output, tersimpan, dan penalaran), dan model menulis jawaban token demi token sehingga jawaban panjang butuh waktu lebih lama.

Embedding: token menjadi deretan angka

Setiap token diubah menjadi deretan angka yang disebut vektor; di dalam model, vektor inilah yang diolah. Gagasan yang sama dipakai layanan embedding untuk pencarian dokumen. Embedding (embedding) adalah vektor bilangan titik mengambang; menurut OpenAI, jarak kecil antara dua vektor berarti sangat terkait, dan jarak besar berarti kurang terkait. Panjang vektor bawaan text-embedding-3-small dari OpenAI adalah 1.536 angka dan text-embedding-3-large 3.072 angka. Bilangan titik mengambang dijelaskan di Bab 3 tentang bilangan dan representasi data di perangkat kendali.

Akibatnya, pencarian berbasis embedding dapat menemukan bagian manual yang relevan walaupun kata kuncinya berbeda; pemakaiannya dibahas di Bab 9 tentang bagaimana AI menjawab.

Transformer dan atensi

Transformer (transformer) adalah arsitektur model yang bertumpu sepenuhnya pada mekanisme atensi, tanpa rekurensi dan konvolusi. Arsitektur ini diperkenalkan dalam makalah "Attention Is All You Need" oleh Vaswani dan tujuh penulis lain, dengan versi pertama di arXiv 12 Juni 2017, dan makalah itu melaporkan 28,4 BLEU pada terjemahan Inggris ke Jerman WMT 2014. LLM yang dibahas di bab ini dibangun di atas gagasan yang sama.

Atensi (attention) adalah mekanisme yang, untuk setiap token, menentukan seberapa besar perhatian yang diberikan kepada token lain di konteks, lalu mencampur informasinya menurut bobot itu. Bobotnya positif dan berjumlah satu, mirip pembagian persentase. Ini penyederhanaan; rumus lengkapnya ada di makalah aslinya. Skor kecocokan diubah menjadi bobot dengan softmax, yang dibahas di Bab 9 tentang bagaimana AI menjawab, dan pada model sungguhan langkah ini diulang di banyak lapis.

Pada kalimat "Motor kipas trip karena ventilasinya tersumbat serat", akhiran "-nya" perlu dihubungkan dengan "motor". Atensi memberi jalan langsung ke token mana pun di konteks tanpa meneruskan informasi kata demi kata.

Pralatih: belajar menebak token berikutnya

Pralatih (pre-training) adalah tahap pertama pelatihan: model diberi teks dalam jumlah sangat besar dan dilatih menebak token berikutnya dari token sebelumnya, dan setiap tebakan yang meleset dipakai untuk menyetel parameternya sedikit demi sedikit. DeepSeek menyebut 14,8 triliun token dan 2,788 juta jam GPU H800 untuk DeepSeek-V3, Moonshot AI 15,5 triliun token untuk Kimi K2, dan Alibaba 36 triliun token dalam 119 bahasa dan dialek untuk Qwen3, dengan evaluasi yang mencakup Bahasa Indonesia.

Makalah GPT-3 dari OpenAI (Brown dan kawan-kawan, arXiv 28 Mei 2020) menunjukkan bahwa model 175 miliar parameter hasil pralatih dapat mengerjakan tugas hanya dari instruksi atau contoh di dalam teks, tanpa pelatihan ulang. Kemampuan ini kita pakai saat memberi contoh di dalam perintah, seperti di Bab 13 tentang cara memberi perintah ke AI.

Dua hal perlu diingat. Pertama, model menyimpan pola di dalam parameternya, tidak menyimpan salinan dokumen yang dapat dicari seperti basis data; Anthropic membedakan jendela konteks dari korpus pelatihan. Kedua, pengetahuan model berhenti pada batas data latih. Per 18 Oktober 2026, Anthropic menyebut batas pengetahuan semua model Claude terkini adalah Juni 2026. Kejadian sesudahnya tidak diketahui model kecuali diberikan lewat konteks atau pencarian.

Parameter dan campuran pakar

Parameter (parameter) adalah angka di dalam model yang disetel selama pelatihan, dan jumlahnya dipakai sebagai ukuran model. GPT-3 punya 175 miliar parameter. Untuk banyak model tertutup terbaru, angka parameter resmi tidak ditemukan, jadi angka yang beredar tanpa dokumen pengembang jangan dianggap fakta.

Campuran pakar (mixture of experts, MoE) adalah susunan model yang berisi banyak sub-jaringan "pakar", dan setiap token hanya memakai sebagian kecil di antaranya. Sejumlah model besar berbobot terbuka memakai susunan ini, sehingga ada parameter total dan parameter aktif per token:

Tabel ini contoh ukuran, bukan peta model; peta model ada di Bab 10 tentang peta model AI frontier. Daftar seperti ini berubah cepat, jadi periksa halaman resmi pengembang sebelum memilih atau membeli.

Memori untuk memuat model ditentukan parameter total, sedangkan komputasi per token ditentukan parameter aktif. Aturan praktisnya: memori bobot sama dengan jumlah parameter kali bita per parameter, ditambah ruang untuk konteks.

$$M_{\text{bobot}} = N \times b$$

dengan $M_{\text{bobot}}$ memori bobot (bita), $N$ jumlah parameter total, dan $b$ bita per parameter menurut format bobot. Ruang konteks belum termasuk, sehingga hasilnya batas bawah.

Kuantisasi (quantization) adalah penyimpanan parameter dengan bit lebih sedikit; bit dan bita dijelaskan di Bab 3 tentang bilangan dan representasi data di perangkat kendali. Contoh 3 dan 4 mencocokkan aturan ini dengan dokumen pengembang.

Jendela konteks

Jendela konteks (context window) adalah seluruh teks yang dapat "dilihat kembali" model saat menghasilkan teks baru, ditambah teks yang dihasilkannya. Anthropic membedakan jendela ini dari korpus pelatihan dan menyebutnya berfungsi seperti memori kerja. Per 18 Oktober 2026, menurut Anthropic, Claude Fable 5.1, Opus 5.5, Sonnet 5.5, dan Haiku 5.5, yang dirilis antara 1 September dan 7 Oktober 2026, berjendela 1 juta token dengan keluaran maksimum 128 ribu token. Moonshot AI menulis 1.048.576 token untuk Kimi K3, dan Meta menulis 10 juta token untuk Llama 4 Scout. Angka ini berubah setiap kali model baru terbit; periksa halaman resmi.

Ada tiga akibat praktis. Pertama, input dan keluaran berbagi jendela: menurut Anthropic, pada Claude 4.5 ke atas, bila input ditambah batas keluaran (max_tokens) melebihi jendela, pembangkitan berhenti di batas itu. Kedua, jendela konteks bukan ingatan permanen. Manual yang ditempel tidak mengubah parameter model, dan itulah sebabnya jawaban kedua pada kasus pembuka berubah. Ketiga, jendela besar tidak menjamin setiap bagian dokumen dipakai dengan benar, jadi jawaban tetap dicocokkan dengan dokumennya.

Pelatihan lanjutan: dari pelanjut teks menjadi asisten

Model hasil pralatih pandai melanjutkan teks, tetapi belum tentu menjawab pertanyaan, mengikuti instruksi, atau menolak permintaan berbahaya. Pelatihan lanjutan (post-training) adalah tahap sesudah pralatih yang membentuk model menjadi asisten:

Makalah InstructGPT (Ouyang dan kawan-kawan, OpenAI, NeurIPS 2022) menyetel GPT-3 dengan demonstrasi pelabel, lalu dengan umpan balik manusia berupa peringkat keluaran. Penilai lebih menyukai keluaran InstructGPT 1,3 miliar parameter daripada GPT-3 175 miliar, "despite having 100x fewer parameters", dan InstructGPT 175 miliar disukai 85 ± 3 persen kali dibanding GPT-3 175 miliar, walaupun model masih membuat kesalahan sederhana.

Constitutional AI dari Anthropic memakai daftar prinsip tertulis, yang disebut konstitusi, sebagai satu-satunya pengawasan manusia: model mengkritik dan merevisi jawabannya sendiri, lalu dilatih dengan umpan balik AI (RLAIF). Menurut pengumuman Anthropic, konstitusi baru Claude dipublikasikan 22 Januari 2026 (dokumen bertanggal 21 Januari 2026) sebagai bagian penting proses pelatihan. Urutan prioritasnya: aman secara luas, etis secara luas, patuh pada pedoman Anthropic, lalu benar-benar membantu. Dokumen itu lebih banyak menjelaskan alasan, tetapi tetap memuat batasan keras untuk perilaku paling berisiko.

Makalah Tülu 3 dari Ai2 (Lambert dan kawan-kawan, November 2024) memperkenalkan istilah RLVR: jawaban sampel diperiksa fungsi deterministik dan mendapat hadiah α bila benar dan 0 bila salah, untuk tugas yang keberhasilannya dapat diukur seperti matematika dan kepatuhan instruksi. DeepSeek-R1-Zero memakai hadiah berbasis aturan (pencocokan jawaban, eksekusi kode, cek format) dan sengaja menghindari model hadiah neural agar model tidak mengakali hadiah.

Bagian ini menjawab premis "AI menjawab dengan probabilitas, tanpa aksioma, tanpa dogma". Model memang menyusun jawaban dari peluang yang dipelajari, tidak dari aksioma formal. Namun model tidak netral: pralatih membawa pola data latih, dan pelatihan lanjutan menanamkan nilai lewat umpan balik manusia, konstitusi, prompt sistem, dan kebijakan keamanan. Rinciannya ada di Bab 9 tentang bagaimana AI menjawab.

Model penalaran dan komputasi saat menjawab

Model penalaran (reasoning model) adalah model yang dilatih untuk memakai lebih banyak komputasi saat menjawab. OpenAI memperkenalkan o1 pada 12 September 2024 sebagai model yang dilatih dengan pembelajaran penguatan skala besar untuk memakai rantai pikir (chain of thought). Menurut OpenAI, kinerjanya naik dengan lebih banyak pelatihan penguatan dan lebih banyak waktu berpikir saat menjawab (test-time compute), dan model belajar mengenali kesalahan, memecah langkah sulit, dan berganti pendekatan. Token penalaran tercatat terpisah dalam data pemakaian API dan ikut ditagih.

DeepSeek mengklaim DeepSeek-R1 berkinerja setara OpenAI-o1 di matematika, kode, dan penalaran; ini klaim vendor. Qwen3 dapat berpindah antara mode berpikir dan tidak berpikir, Seed-OSS-36B dari ByteDance Seed (20 Agustus 2025) punya anggaran berpikir yang dapat diatur, dan menurut Anthropic adaptive thinking selalu aktif pada Claude Fable 5.1. Pengaturan tingkat usaha dibahas di Bab 11 tentang memilih model dalam satu keluarga.

Riset interpretabilitas Anthropic (27 Maret 2025) menemukan bahwa saat menulis puisi, Claude memilih kata rima sebelum menulis barisnya. Keluaran dibuat token demi token, tetapi perhitungan di dalam model dapat merencanakan ke depan. Temuan lain riset itu, tentang penjelasan model atas cara kerjanya sendiri, dibahas di Bab 9 tentang bagaimana AI menjawab.

Bagi teknisi, model penalaran berarti lebih banyak token, waktu, dan biaya, dan penalaran panjang tidak otomatis benar. Pakai AI untuk menjelaskan dan menyusun draf; periksa angka, satuan, dan rumus di Takar, istilah di Kamus teknik, dan konsepnya di Academy Arstema; putuskan dengan manual pabrik dan orang yang berwenang.

Contoh kerja

Angka dalam contoh di bawah adalah angka latihan, kecuali disebut asalnya.

Contoh 1: token manual berbahasa Inggris. Bab pemecahan masalah manual pengering berbahasa Inggris berisi 18.000 kata atau 96.000 karakter. Dengan 100 token per 75 kata, jumlahnya $18.000 \times 100/75 = 24.000$ token; dengan 4 karakter per token, $96.000/4 = 24.000$ token. Hasilnya sama karena teks ini rata-rata $96.000/18.000 = 5{,}33$ karakter per kata, yaitu $4/0{,}75$. Untuk SOP berbahasa Indonesia 3.000 kata, patokan bahasa Inggris tidak berlaku. Dengan misalan 1,3 sampai 2 token per kata, perkiraannya 3.900 sampai 6.000 token; angka sebenarnya dibaca dari laporan pemakaian.

Contoh 2: peluang token berikutnya. Sesudah "Suhu air bilas akhir diatur ke", model memberi peluang "40" 0,45; "30" 0,25; "60" 0,20; dan token lain 0,10. Jumlahnya 1,00, sehingga ini sebuah distribusi peluang seperti di Bab 2 · Data & Pengukuran tentang variasi dan distribusi data. Bila peluang "°C" sesudah "40" maupun "30" adalah 0,90, lanjutan "40 °C" berpeluang $0{,}45 \times 0{,}90 = 0{,}405$ dan "30 °C" berpeluang $0{,}25 \times 0{,}90 = 0{,}225$. "40 °C" paling mungkin menurut pola data latih, tetapi itu bukan bukti setelan yang benar; setelan ada di manual mesin dan lembar data pemasok bahan kimia. Cara model memilih di antara peluang dibahas di Bab 9 tentang bagaimana AI menjawab.

Contoh 3: memori bobot model kecil. Vicuna-7B dalam FP16 butuh $7 \times 10^9 \times 2 = 14 \times 10^9$ bita, yaitu 14 GB bila 1 GB sama dengan $10^9$ bita. Pengembang FastChat menyebut sekitar 14 GB. Vicuna-13B butuh $13 \times 10^9 \times 2 = 26 \times 10^9$ bita atau 26 GB, sedangkan pengembangnya menyebut sekitar 28 GB. Selisihnya menunjukkan bahwa selain bobot ada kebutuhan memori lain, seperti ruang konteks, sehingga hasil rumus diperlakukan sebagai batas bawah.

Contoh 4: memori model campuran pakar. DeepSeek-V3 punya 671 miliar parameter total dan 37 miliar aktif. Dalam FP8 bobotnya butuh $671 \times 1 = 671$ GB. Menghitung dari parameter aktif memberi 37 GB, terlalu kecil $671/37 = 18{,}1$ kali. Pada 4 bit kebutuhannya $671 \times 0{,}5 = 335{,}5$ GB. Llama 4 Scout dengan INT4 butuh $109 \times 0{,}5 = 54{,}5$ GB, sejalan dengan pernyataan Meta bahwa Scout muat di satu GPU H100. Kimi K3 dengan MXFP4 sekitar 0,5 bita per parameter butuh $2.800 \times 0{,}5 = 1.400$ GB, ukuran server multi-GPU.

Contoh 5: jendela konteks dalam halaman. Model Claude terkini berjendela 1 juta token, di sini dihitung 1.000.000, dengan keluaran maksimum 128.000 token (per Oktober 2026). Bila keluaran maksimum dicadangkan, ruang input $1.000.000 - 128.000 = 872.000$ token, agar pembangkitan tidak berhenti di batas jendela. Untuk bahasa Inggris, itu $872.000 \times 0{,}75 = 654.000$ kata, atau $654.000/500 = 1.308$ halaman pada 500 kata per halaman. Manual 300 halaman berisi 150.000 kata atau $150.000/0{,}75 = 200.000$ token, sehingga muat $872.000/200.000 = 4{,}4$ kali. Untuk teks Indonesia, ukur dulu rasio tokennya.

Contoh 6: token penalaran. Sebuah model penalaran menjawab pertanyaan diagnosis pengering dengan 5.200 token penalaran dan 650 token jawaban. Porsi penalarannya $5.200/5.850 = 0{,}889$ (88,9 persen). Pada 80 token per detik, keluaran selesai dalam $5.850/80 = 73{,}1$ detik, dibanding $650/80 = 8{,}1$ detik tanpa penalaran. Token penalaran ikut ditagih, jadi untuk pertanyaan ringan tambahan ini tidak sepadan; tingkat usaha dibahas di Bab 11 tentang memilih model dalam satu keluarga.

Kondisi berhenti

Berhenti memakai jawaban AI, atau berhenti bekerja dan bertanya ke manusia atau sumber resmi, bila:

1. Dokumen yang dibutuhkan lebih panjang dari jendela konteks, atau jawaban terpotong di tengah langkah. Jangan menjalankan prosedur yang terpotong; pecah dokumen dan ulangi pertanyaan.
2. Jawaban menyebut angka teknis (suhu, dosis kimia, torsi, arus, tekanan) yang tidak berasal dari dokumen yang Anda berikan. Peluang token yang tinggi bukan bukti kebenaran, seperti dibahas di Bab 9 tentang bagaimana AI menjawab; cocokkan dengan manual pabrik dan hitung ulang di Takar.
3. Pertanyaan menyangkut kejadian, harga, model, atau aturan sesudah batas pengetahuan model (Juni 2026 untuk model Claude terkini), dan jawabannya tidak memakai pencarian atau dokumen. Periksa halaman resmi.
4. Perkiraan memori dari parameter total melebihi memori komputer yang akan menjalankan model berbobot terbuka. Jangan memaksa; tanyakan ke bagian TI, dan untuk data tamu ikuti Bab 14 tentang AI untuk pekerjaan teknik, data pribadi, dan rahasia.
5. Pekerjaan menyangkut gas, listrik, tekanan, atau pengaman mesin. Penjelasan AI hanya bahan belajar; keputusan mengikuti manual pabrik dan orang yang berwenang, seperti di Bab 1 · Keselamatan tentang bahaya, risiko, energi tersimpan, dan kondisi berhenti.
6. Rantai penalaran panjang tampak meyakinkan, tetapi langkahnya tidak dapat Anda periksa. Minta sumbernya atau tanyakan kepada orang yang menguasai bidangnya; alasannya dibahas di Bab 9 tentang bagaimana AI menjawab.

Salah tafsir yang sering terjadi

Hubungan dengan bab lain

Bab 7 tentang apa itu kecerdasan buatan menempatkan LLM dalam hierarki istilah AI, dan Bab 9 tentang bagaimana AI menjawab melanjutkan ke pemilihan token, halusinasi, dan pemeriksaan jawaban. Bab 10 tentang peta model AI frontier memetakan model, Bab 11 tentang memilih model dalam satu keluarga memakai jendela konteks dan token penalaran untuk memilih tingkat model, Bab 12 tentang agen AI membahas agen, Bab 13 tentang cara memberi perintah ke AI memakai kemampuan belajar dari contoh, dan Bab 14 tentang AI untuk pekerjaan teknik menerapkannya pada pekerjaan teknik. Bab 4 · Satuan & Matematika tentang estimasi, skala, dan pemeriksaan kewajaran melatih pemeriksaan kewajaran angka seperti di Contoh 3 sampai 5. Bab 2 · Data & Pengukuran tentang variasi, distribusi, dan ringkasan data menjelaskan distribusi, Bab 1 tentang dekomposisi, algoritma, data, dan otomasi membedakan aturan tetap dari sistem yang belajar dari data, Bab 3 tentang bilangan dan representasi data menjelaskan bit, bita, dan titik mengambang, dan Bab 1 · Keselamatan tentang bahaya, risiko, dan kondisi berhenti memberi kondisi berhenti untuk pekerjaan berbahaya.

Latihan dan pembahasan

Untuk setiap soal, tuliskan rumus, satuan, dan asumsi. Angka dalam soal dipilih untuk berlatih, kecuali yang disebut asalnya.