Teknik Baru Mampu Kurangi Parameter LLM Hingga 77%
Sebuah teknik inovatif baru saja diperkenalkan yang diklaim mampu mengurangi parameter non-embedding (non-penyematan) pada Large Language Models (LLM) (Model Bahasa Besar) hingga mencapai 77%. Hebatnya, pengurangan signifikan ini diklaim tidak mengorbankan kemampuan pembelajaran model. Para peneliti berhasil menemukan cara untuk memangkas ukuran parameter model bahasa secara drastis dengan memanfaatkan grouped pointwise convolutions (konvolusi titik demi titik berkelompok). Metode ini, yang awalnya berasal dari bidang computer vision (visi komputer), kini diadaptasi dan diterapkan pada arsitektur transformers (transformator) yang menjadi tulang punggung banyak LLM modern. Bagi Anda yang ingin menyelami lebih dalam, laporan teknis lengkap dalam format PDF, model checkpoints (titik pemeriksaan model) di HuggingFace, dan berkas eksperimen mentah telah disediakan melalui tautan cepat dalam laporan tersebut.
Pengurangan parameter yang mengesankan ini dicapai dengan mengadaptasi teknik reduksi parameter yang sebelumnya banyak digunakan dalam computer vision (visi komputer). Teknik ini bekerja dengan mengganti lapisan padat (dense layers) yang umum dalam arsitektur LLM dengan sebuah sub-jaringan (subnetwork) yang telah dioptimalkan. Sub-jaringan ini menggunakan grouped pointwise convolutions (konvolusi titik demi titik berkelompok), yang memungkinkan model untuk mencapai efisiensi parameter yang jauh lebih tinggi tanpa kehilangan kemampuan untuk belajar dan memahami bahasa.
Model yang Dioptimalkan Mencapai Performa Setara
Untuk menguji efektivitas teknik baru ini, para peneliti menggunakan model phi-3-mini-4k-instruct dari Microsoft sebagai model dasar (baseline). Hasilnya sungguh menggembirakan: model yang dioptimalkan, yang diberi nama kphi-3, mampu mencapai tingkat validation loss (kerugian validasi) yang sebanding dengan model dasar, namun hanya dengan menggunakan 15-23% dari parameter non-embedding (non-penyematan) asli. Artinya, kphi-3 berhasil mencapai performa yang hampir sama dengan phi-3, tetapi dengan ukuran model yang jauh lebih kecil dan efisien.
Beberapa temuan kunci dari penelitian ini patut untuk disoroti. Pertama, teknik ini berhasil mencapai pengurangan parameter hingga 77%, sebuah angka yang sangat signifikan. Kedua, model yang dioptimalkan menunjukkan peningkatan dalam kemampuan generalisasi, yang berarti model menjadi lebih baik dalam menangani data atau tugas baru yang belum pernah dilihat sebelumnya. Ketiga, pengujian kualitatif juga menunjukkan peningkatan kualitas keluaran (output) dari model kphi-3. Arsitektur model yang dioptimalkan ini melibatkan modifikasi pada transformer decoder (dekoder transformator) dengan penerapan grouped pointwise convolutions (konvolusi titik demi titik berkelompok).
Berikut adalah tabel perbandingan antara model dasar (phi-3) dan model yang dioptimalkan (kphi-3) yang lebih detail:
| Parameter | phi-3 (Baseline) | kphi-3 (Optimized) |
|---|---|---|
| Lapisan (Layers) | [Data Lapisan phi-3] | [Data Lapisan kphi-3] |
| Dimensi Intermediet (Intermediate Dimensions) | [Dimensi Intermediet phi-3] | [Dimensi Intermediet kphi-3] |
| Parameter Non-embedding (Non-embedding Parameters) | [Parameter Non-embedding phi-3] | [Parameter Non-embedding kphi-3] |
| Training Loss (Kerugian Pelatihan) | [Training Loss phi-3] | [Training Loss kphi-3] |
| Validation Loss (Kerugian Validasi) | [Validation Loss phi-3] | [Validation Loss kphi-3] |
Implikasi untuk Riset dan Penerapan AI
Salah satu aspek menarik dari penelitian ini adalah skalabilitas dan aksesibilitasnya. Eksperimen yang mendemonstrasikan teknik pengurangan parameter ini berhasil dilakukan hanya dalam waktu 3 hari dan menggunakan satu Graphics Processing Unit (GPU) (Unit Pemrosesan Grafis) NVIDIA L4. Pendekatan ini secara signifikan meningkatkan aksesibilitas terhadap riset Artificial Intelligence (AI) (Kecerdasan Buatan), membuka peluang bagi lebih banyak peneliti dengan sumber daya terbatas untuk berkontribusi dalam pengembangan model bahasa yang lebih efisien.
Temuan dari penelitian ini memberikan indikasi kuat bahwa arsitektur Large Language Models (LLM) (Model Bahasa Besar) saat ini mungkin mengalami overparameterized (kelebihan parameter). Dengan kata lain, model-model tersebut mungkin memiliki jumlah parameter yang jauh lebih banyak dari yang sebenarnya dibutuhkan untuk mencapai performa yang optimal. Implikasi dari temuan ini sangat signifikan, karena membuka jalan bagi pengembangan model AI yang lebih efisien dalam hal pelatihan dan penerapan. Model LLM yang lebih kecil dan efisien akan membutuhkan sumber daya komputasi yang lebih sedikit, sehingga memungkinkan penerapan yang lebih luas pada berbagai perangkat dan aplikasi, serta mengurangi jejak karbon yang terkait dengan pelatihan model AI raksasa.