Hyperparameter Deep Learning
Dec 31, 2022
Hyperparameter adalah parameter yang tidak dioptimalkan secara otomatis oleh algoritma pelatihan. Sebaliknya, hyperparameter harus ditentukan oleh pengembang sistem atau data scientist sebelum pelatihan dimulai. Hyperparameter biasanya ditentukan dengan menggunakan teknik yang disebut “tuning hyperparameter”.
Hyperparameter dapat sangat mempengaruhi kinerja model deep learning. Beberapa contoh hyperparameter yang umum digunakan dalam deep learning adalah:
- Jumlah lapisan dan unit dalam setiap lapisan dari model
- Fungsi aktivasi yang digunakan dalam lapisan model
- Nilai learning rate untuk optimizer
- Ukuran batch dan epochs saat melatih model
- Penggunaan regularisasi seperti dropout dan L1/L2 regularization
Tuning hyperparameter biasanya dilakukan dengan mencoba berbagai kombinasi hyperparameter yang berbeda dan mengevaluasi kinerja model untuk setiap kombinasi. Kemudian, hyperparameter yang menghasilkan model terbaik dipilih sebagai hyperparameter akhir.
