Mengembangkan model sendiri tidaklah mudah, dibutuhkan dataset yang besar untuk melakukan training dan validasi. Selain itu diperlukan juga computing resource yang besar.
Mungkin Anda pernah mendengar tentang imagenet, kompetisi yang diikuti perusahaan teknologi. Perusahaan teknologi tersebut melatih model yang kompleks, dengan dataset yang besar dan dilakukan hingga memakan waktu berminggu-minggu.
Kompetisi ini banyak menghasilkan pre-trained model yang dapat digunakan misalnya, inception, mobilenet, VGG16, VGG19 dan banyak lagi.
Tentu akan sangat memudahkan jika kita dapat menggunakan model pre-trained hasil kompetisi diatas. Nah, kabar baiknya adalah ya, kita bisa menggunakannya. Ada dua pendekatan, yaitu Transfer Learning dan Fine Tuning.
Transfer Learning
Teknik menggunakan model yang sudah pre-trained adalah Transfer Learning, kita dapat menggunakan pre-trained model untuk melakukan task tertentu, pada tutorial akan dilakukan binary classfication mengenali anjing atau kucing menggunakan mobilenet.
Pre-trained model dapat dibagi menjadi dua bagian besar, yaitu base model dan custom head network. Jadi kita tetap menggunakan base model dari mobilenet, lalu mengubah bagian Custom head network agar sesuai dengan kebutuhan klasifikasi yang akan kita lakukan.
Base model akan di-freeze dan tidak dilakukan perubahan.
Fine Tuning
Fine tuning lebih cocok untuk dataset yang besar dan ada perbedaan dengan imagenet dataset. Pendekatan yang dilakukan adalah dengan freeze bagian awal dari base model. Bagian lainnya dari model dapat kita ubah sesuai dengan kebutuhan.
Transfer Learning atau Fine Tuning?
Berikut panduan sederhana dalam memilih transfer learning atau fine tuning.
- Jika dataset besar dan berbeda: Training ulang model.
- Jika dataset besar dan mirip: Fine Tuning
- Jika dataset kecil dan berbeda: Fine Tuning
- Jika dataset kecil dan sama: Transfer learning
source: https://skillplus.web.id/transfer-learning-dan-fine-tuning-1/