Saya sudah lama memikirakan apakah model LLM bisa dibangun secara incremental. Jawaban yang saya dapat dulu tidak bisa. Karena itu ada LLM versi training cut off kapan. Pemahaman saya belakangan ini melihat kelemahan LLM dalam menghadapi pertanyaan yang terkait peristiwa/data yang terbentuk setelah tanggal cut off trainig ditutup dengan fitur memasukkan summary dari hasil searching Internet sebagai bagian dari repository pendukung prompt.
Dari Googling tentang incremental LLM traning ternyata ada teknik yang disebut dengan nama fine-tuning. Sangat menarik mengikuti berbagai teknik fine-tune untuk memperbarui model, trade off antara biaya yang terus membengkak vs penalti penurunan kualitas model bila tidak melakukannya besar-besaran secara komprehensif. Artikel ini merupakan dokumentasi dari hasil pembelajaran saya tentang perkembangan model LLM dengan ChatGPT.
Perkembangan model AI generatif selama beberapa tahun terakhir mengikuti pola yang cukup sederhana. Model dibuat semakin besar, diberi semakin banyak data, kemudian dilatih dengan semakin banyak komputasi. Setelah model dasar terbentuk, dilakukan berbagai tahap fine-tuning, reinforcement learning, synthetic data generation, dan post-training untuk memperoleh kemampuan yang lebih baik.
Masalahnya muncul ketika pola ini diteruskan secara linear. Jika setiap penambahan kemampuan dilakukan dengan full-parameter fine-tuning, setiap versi baru pada dasarnya membutuhkan perubahan terhadap seluruh parameter model. Jika model juga harus mempertahankan berbagai domain pengetahuan dan berbagai versi spesialisasinya, kita akan berhadapan dengan ledakan ukuran model, checkpoint, bandwidth, dan biaya inference.
Continue reading Ke Mana Model AI Akan Berkembang? Menghindari Ledakan Ukuran Model dengan Harga Penalti Kualitas
