Saya sudah lama memikirakan apakah model LLM bisa dibangun secara incremental. Jawaban yang saya dapat dulu tidak bisa. Karena itu ada LLM versi training cut off kapan. Pemahaman saya belakangan ini melihat kelemahan LLM dalam menghadapi pertanyaan yang terkait peristiwa/data yang terbentuk setelah tanggal cut off trainig ditutup dengan fitur memasukkan summary dari hasil searching Internet sebagai bagian dari repository pendukung prompt.
Dari Googling tentang incremental LLM traning ternyata ada teknik yang disebut dengan nama fine-tuning. Sangat menarik mengikuti berbagai teknik fine-tune untuk memperbarui model, trade off antara biaya yang terus membengkak vs penalti penurunan kualitas model bila tidak melakukannya besar-besaran secara komprehensif. Artikel ini merupakan dokumentasi dari hasil pembelajaran saya tentang perkembangan model LLM dengan ChatGPT.
Perkembangan model AI generatif selama beberapa tahun terakhir mengikuti pola yang cukup sederhana. Model dibuat semakin besar, diberi semakin banyak data, kemudian dilatih dengan semakin banyak komputasi. Setelah model dasar terbentuk, dilakukan berbagai tahap fine-tuning, reinforcement learning, synthetic data generation, dan post-training untuk memperoleh kemampuan yang lebih baik.
Masalahnya muncul ketika pola ini diteruskan secara linear. Jika setiap penambahan kemampuan dilakukan dengan full-parameter fine-tuning, setiap versi baru pada dasarnya membutuhkan perubahan terhadap seluruh parameter model. Jika model juga harus mempertahankan berbagai domain pengetahuan dan berbagai versi spesialisasinya, kita akan berhadapan dengan ledakan ukuran model, checkpoint, bandwidth, dan biaya inference.
Secara sederhana, bayangkan sebuah model berukuran 500 miliar parameter. Jika setiap kebutuhan baru menghasilkan satu model hasil full fine-tuning, maka model untuk hukum, kedokteran, coding, pendidikan, bahasa Indonesia, customer service, dan sebagainya masing-masing berpotensi menjadi salinan baru dari ratusan miliar parameter tersebut.
Secara arsitektural, ini bukan strategi yang masuk akal untuk jangka panjang.
BASE MODEL
500B params
|
+---------------+---------------+
| | |
Legal Medical Coding
| | |
500B 500B 500B
| | |
Finance Education Robotics
500B 500B 500BMasalahnya bukan hanya storage. Setiap salinan membawa seluruh kemampuan yang sebenarnya tidak diperlukan untuk domain tersebut. Model hukum tetap membawa kemampuan coding, model coding tetap membawa kemampuan bahasa umum, dan model medis tetap membawa sebagian besar pengetahuan yang tidak relevan dengan tugas medis.
Karena itu, arah perkembangan industri AI kemungkinan besar bukan sekadar membuat model semakin besar atau semakin kecil. Yang lebih mungkin terjadi adalah perubahan cara kita mendefinisikan “ukuran model”.
Ukuran total model, jumlah parameter yang aktif ketika menghasilkan satu token, jumlah parameter yang benar-benar dilatih ketika menambahkan kemampuan baru, jumlah pengetahuan yang disimpan dalam weights, dan jumlah komputasi yang digunakan saat inference akan semakin dipisahkan.
Dari model tunggal menuju reservoir kapasitas
Salah satu arah yang sudah jelas terlihat adalah Mixture-of-Experts atau MoE. Dalam model dense, hampir seluruh jaringan digunakan untuk memproses setiap token. Dalam MoE, model memiliki banyak expert, tetapi router hanya mengaktifkan sebagian expert untuk setiap token.
MODEL MoE
+-------------------------+
| Expert 1 |
| Expert 2 |
| Expert 3 |
| ... |
| Expert 100 |
| ... |
| Expert 128 |
+------------+------------+
|
Router
|
+-------+-------+
| |
Expert 17 Expert 83
| |
+-------+-------+
|
OutputDengan cara ini, kapasitas total model dapat sangat besar tanpa seluruh kapasitas tersebut harus digunakan pada setiap token.
Ini bukan berarti persoalan ukuran model hilang. Parameter tetap harus disimpan dan sebagian besar tetap harus tersedia pada sistem. Tetapi beban komputasi aktif dapat jauh lebih kecil daripada jumlah parameter total.
Perbedaan ini penting.
Traditional dense:
Total parameters ≈ Active parameters
MoE:
Total parameters >> Active parametersMaka salah satu metrik penting AI masa depan bukan lagi sekadar “berapa miliar parameter model ini?”, tetapi “berapa parameter yang aktif per token?”
Model dengan 1 triliun parameter tetapi hanya mengaktifkan puluhan miliar parameter per token dapat secara praktis lebih efisien daripada model dense yang jauh lebih kecil.
Fine-tuning tidak harus menghasilkan model baru
Masalah berikutnya adalah bagaimana menambahkan kemampuan baru tanpa membuat salinan penuh model. Di sinilah parameter-efficient fine-tuning seperti LoRA menjadi penting. Base model dapat tetap dibekukan sementara hanya sejumlah kecil parameter tambahan yang dilatih.
BASE MODEL
500B params
|
+-------------+-------------+
| | |
LoRA-A LoRA-B LoRA-C
hukum medis coding
| | |
+-------------+-------------+
|
selected adapter
|
outputSecara konseptual, kita berpindah dari:
Base model
|
+--> Model hukum 500B
+--> Model medis 500B
+--> Model coding 500Bmenjadi:
Base model
500B
|
+--------+--------+
| | |
LoRA-A LoRA-B LoRA-C
kecil kecil kecil
| | |
hukum medis codingPenghematan storage dan training dapat sangat besar. Tetapi ada penalti kualitas yang tidak boleh diabaikan. Adapter kecil tidak mempunyai kapasitas yang sama dengan kebebasan mengubah seluruh model. Jika perubahan yang diperlukan sangat fundamental, PEFT dapat menghasilkan model yang kalah kualitas dibanding full-parameter fine-tuning.
Jadi hubungan sederhananya adalah:
KAPASITAS PERUBAHAN
^
|
Full FT | *
|
| *
| *
LoRA | *
| *
+-------------------->
jumlah parameter
yang diubahSemakin sedikit parameter yang diubah, semakin murah proses adaptasinya, tetapi semakin besar kemungkinan terjadi batas kemampuan adaptasi.
Knowledge tidak semuanya perlu dimasukkan ke weights
Perubahan yang lebih mendasar adalah memisahkan “kemampuan berpikir” dari “pengetahuan yang sedang digunakan”. Model tidak harus menghafalkan seluruh dokumen perusahaan, regulasi terbaru, katalog produk, atau database akademik di dalam weights. Pengetahuan tersebut dapat berada di luar model.
USER QUESTION
|
v
LLM
|
query
|
v
+------------------+
| External Knowledge|
| |
| database |
| documents |
| vector store |
+--------+---------+
|
retrieved
context
|
v
LLM
|
v
ANSWERInilah prinsip RAG dan berbagai bentuk external memory.
Keuntungannya besar: perubahan pengetahuan tidak selalu membutuhkan retraining. Jika peraturan berubah, database dapat diperbarui. Jika katalog berubah, database dapat diperbarui. Jika harga berubah, database dapat diperbarui. Model tidak perlu dilatih ulang hanya karena fakta eksternal berubah.
Namun sekali lagi ada penalti kualitas. Retrieval bisa salah, dokumen yang relevan bisa tidak ditemukan, konteks bisa terlalu panjang, dan model bisa salah menginterpretasikan informasi yang ditemukan.
Dengan demikian:
Knowledge in weights
|
+-- fast
+-- integrated
+-- robust to retrieval failure
|
+-- expensive to update
+-- difficult to remove
+-- requires retraining
Knowledge outside weights
|
+-- cheap to update
+-- easy to replace
+-- domain-specific
|
+-- retrieval errors
+-- context limitations
+-- additional latencyTidak ada solusi gratis. Kita hanya memindahkan biaya dan risiko dari satu bagian sistem ke bagian lain.
Model besar sebagai guru, bukan selalu sebagai pekerja
Ada strategi lain yang semakin penting: distillation. Daripada menggunakan model terbesar untuk semua permintaan, model besar digunakan sebagai teacher untuk menghasilkan data, reasoning trace, evaluasi, atau contoh jawaban bagi model yang lebih kecil.
LARGE MODEL
1T params
|
+-------+-------+
| |
answers reasoning
| |
+-------+-------+
|
distillation
|
v
SMALL MODEL
30B
|
usersDengan demikian, model terbesar dapat berfungsi sebagai semacam “pabrik intelligence”. Model kecil kemudian digunakan untuk sebagian besar pekerjaan sehari-hari. Ini menghasilkan struktur ekonomi yang berbeda. Model frontier tidak harus menjadi model yang melayani seluruh traffic. Ia dapat menjadi teacher yang menghasilkan kemampuan untuk model-model yang jauh lebih murah.
Penalti kualitasnya jelas: student tidak selalu mampu mereplikasi seluruh kemampuan teacher. Sebagian informasi hilang dalam proses distillation. Tetapi justru di sinilah muncul pertanyaan ekonomi yang penting.
Apakah kehilangan 5 persen kualitas layak ditukar dengan penghematan 90 persen biaya inference? Untuk sebagian besar aplikasi, jawabannya mungkin ya. Untuk aplikasi tertentu yang kritis, jawabannya mungkin tidak.
Reasoning semakin dipindahkan dari weights ke compute
Ada perubahan lain yang tidak kalah penting. Kemampuan model tidak lagi semata-mata ditentukan oleh ukuran weights. Model dapat diberikan lebih banyak compute pada saat inference untuk melakukan reasoning, search, verification, self-consistency, atau menjalankan tools.
SAME MODEL
|
+-----------+-----------+
| | |
simple complex critical
query query query
| | |
1x 10x 100x
compute compute compute
| | |
+-----------+-----------+
|
answerIni mengubah persamaan lama:
Better model = Bigger modelmenjadi:
Better result =
model capability + training quality +
test-time compute + tools + external knowledgeAkibatnya, satu model dapat digunakan dengan tingkat komputasi berbeda sesuai tingkat kesulitan masalah. Pertanyaan sederhana tidak perlu diberi reasoning panjang. Masalah sulit dapat diberi lebih banyak compute. Ini jauh lebih efisien daripada membuat semua permintaan diproses oleh model terbesar.
Jadi apa yang terjadi dengan full fine-tuning?
Full-parameter fine-tuning tidak akan hilang. Untuk perubahan yang fundamental, ia tetap berguna. Jika kita benar-benar ingin mengubah kemampuan dasar atau representasi internal model, mengubah seluruh parameter masih mempunyai keunggulan. Masalahnya adalah jika pendekatan itu digunakan untuk setiap penambahan pengetahuan kecil.
Ada perbedaan besar antara:
Saya ingin model belajar cara baru melakukan reasoning.dan:
Saya ingin model mengetahui dokumen terbaru tahun 2026.Yang pertama mungkin memang membutuhkan training. Yang kedua hampir pasti tidak perlu. Dengan demikian, sistem masa depan kemungkinan semakin selektif dalam menentukan apa yang layak masuk ke weights.
NEW INFORMATION
|
+-------+-------+
| |
Fundamental? Factual?
| |
YES YES
| |
Train model External memory
|
+-----+------+
| |
Full FT PEFT
|
if necessaryEkonomi versus kualitas: tidak ada penghematan yang gratis
Di sinilah analisisnya menjadi lebih menarik. Setiap strategi penghematan membawa semacam penalti kualitas.
| Strategi | Penghematan utama | Penalti potensial |
|---|---|---|
| MoE | Compute per token | Routing complexity, expert imbalance |
| LoRA/PEFT | Training + storage | Kapasitas adaptasi terbatas |
| RAG | Retraining knowledge | Retrieval error, latency |
| Distillation | Inference cost | Capability loss |
| Smaller model | Compute + memory | Lower capability ceiling |
| Test-time compute | Menghindari model lebih besar | Latency + inference cost |
| External tools | Pengetahuan/action eksternal | Tool failure, orchestration complexity |
| Full fine-tuning | Maksimalisasi adaptasi | Training cost + forgetting |
| Full retrain | Kontrol penuh | Risiko gagal mereplikasi capability |
Maka optimasi masa depan tidak akan mencari “model paling murah”. Yang dicari adalah:
TOTAL COST
|
+------------+------------+
| | |
Training Inference Storage
| | |
+------------+------------+
|
SYSTEM QUALITYKualitas sistem secara keseluruhan lebih penting daripada kualitas weights semata.
Penalti kualitas mungkin menjadi trade-off utama
Bayangkan tiga model hipotetis.
Model A
Quality = 100
Cost = 100
Model B
Quality = 97
Cost = 30
Model C
Quality = 90
Cost = 10Untuk aplikasi medis kritis, Model A mungkin masuk akal. Untuk chatbot customer service jutaan pengguna, Model B bisa jauh lebih ekonomis. Untuk klasifikasi sederhana, Model C mungkin sudah cukup. Maka “model terbaik” tidak memiliki arti absolut. Yang relevan adalah:
QUALITY
^
|
A *
|
| *
B |
|
| *
C |
+-------------------->
COSTOptimalnya bukan titik dengan kualitas tertinggi. Optimalnya adalah titik yang memberikan kualitas yang cukup untuk tugas dengan biaya minimum. Ini akan mendorong arsitektur AI menjadi semakin heterogen.
Masa depan mungkin bukan satu model, tetapi model sebagai ekosistem
Jika tren tersebut diteruskan, sistem AI masa depan lebih mungkin berbentuk seperti ini:
USER
|
v
ROUTER
|
+----------------+----------------+
| | |
SMALL LLM MEDIUM LLM FRONTIER
| | |
| | |
simple normal difficult
tasks tasks tasks
| | |
+----------------+----------------+
|
+---------+---------+
| |
RAG / DATA TOOLS / API
| |
+---------+---------+
|
TEST-TIME RL /
SEARCH
|
v
ANSWERDalam sistem seperti ini, model terbesar hanya digunakan ketika memang diperlukan. Model kecil menangani pekerjaan rutin. Adapter menangani spesialisasi. RAG menangani pengetahuan yang berubah. Tools menangani tindakan yang tidak perlu ditanamkan ke weights. MoE menyediakan reservoir parameter yang besar tetapi sparse.
Distillation membuat kemampuan model besar dapat diturunkan ke model yang lebih murah. Test-time computation memberikan tambahan intelligence ketika masalah memang sulit.
Apakah ini berarti ledakan ukuran model selesai?
Tidak. Justru kemungkinan besar ukuran total model frontier akan tetap meningkat. Tetapi ada perbedaan antara:
model sizedan:
effective compute
effective active parameters
effective storage per application
effective cost per queryIndustri kemungkinan tidak akan berhenti membuat model dengan parameter semakin banyak karena parameter masih merupakan cara untuk menambah kapasitas. Yang berubah adalah cara kapasitas tersebut digunakan. Model masa depan mungkin memiliki:
TOTAL CAPACITY
10T
|
+-------------+-------------+
| | |
Expert A Expert B Expert ...
| | |
+-------------+-------------+
|
Router
|
ACTIVE = 100B
|
computation
|
external knowledge
|
test-time compute
|
ANSWERJadi “10 triliun parameter” tidak lagi berarti setiap pertanyaan membutuhkan komputasi setara dengan model dense 10 triliun parameter.
Prediksi yang lebih jauh
Saya melihat setidaknya lima arah yang cukup kuat.
Pertama, foundation model akan semakin menjadi shared infrastructure. Tidak masuk akal membuat satu full copy untuk setiap domain.
Kedua, pengetahuan akan semakin dipisahkan dari intelligence. Model tidak perlu menghafalkan semua hal yang dapat diperoleh secara murah dari database atau retrieval.
Ketiga, specialization akan semakin modular. LoRA, adapters, sparse experts, dan mekanisme sejenis akan menjadi cara untuk menambahkan kemampuan tanpa menduplikasi seluruh model.
Keempat, inference akan semakin adaptif. Model tidak akan selalu menggunakan jumlah compute yang sama. Pertanyaan mudah dan pertanyaan sulit akan memperoleh “anggaran berpikir” yang berbeda.
Kelima, model terbesar mungkin semakin berperan sebagai teacher dan research engine, sementara sebagian besar traffic produksi akan dilayani oleh model yang lebih kecil dan lebih murah.
Namun ada satu hal yang tidak boleh dilupakan: setiap trik efisiensi mempunyai harga. RAG dapat salah mengambil dokumen. Distillation dapat menghilangkan kemampuan. LoRA dapat membatasi ruang adaptasi. MoE dapat menimbulkan persoalan routing dan balancing. Test-time reasoning menambah latency dan biaya inference. Model kecil mempunyai capability ceiling yang lebih rendah.
Karena itu, masa depan AI bukanlah perlombaan sederhana menuju model terbesar atau model termurah. Yang lebih mungkin terjadi adalah perlombaan menuju alokasi compute yang paling efisien terhadap kualitas yang dibutuhkan.
Dengan kata lain, pertanyaan strategisnya akan bergeser dari:
“Berapa besar model yang kita perlukan?”
menjadi:
“Bagian mana dari intelligence yang harus ditanamkan ke weights, bagian mana yang cukup menjadi adapter, bagian mana yang sebaiknya berada di luar model, dan berapa banyak compute yang layak dikeluarkan ketika model sedang menjawab?”
Di situlah kemungkinan besar pertarungan teknologi AI berikutnya akan berlangsung.
Bukan lagi sekadar siapa yang mempunyai model terbesar, tetapi siapa yang paling baik mengubah parameter, data, memory, tools, dan compute menjadi intelligence dengan biaya paling rendah tanpa kehilangan kualitas yang dibutuhkan.
