Dalam suatu 'network/model' di area deep learning atau machine learning, satu hyper-parameter yang penting dan perlu untuk di tune adalah learning rate. Learning rate menentukan seberapa cepat suatu model untuk converge dan mempelajari sesuatu yang berguna. Pada umumnya, learning rate yang rendah dapat mengakibatkan waktu training yang begitu lama. Sebaliknya, learning rate yang tinggi dapat mengalihkan model dari hal yang ingin di pelajari (suboptimal solution). See illustration above. Karena itu, cukuplah penting untuk learning rate sebuah model untuk di tune, sehingga model ini bisa di latih untuk mempelajari sesuatu yang di inginkan dalam jangka waktu yang wajar.
Kalau berpikir soal education dan learning di Indonesia, satu hal yang kadang muncul adalah kenapa kitong di timur selalu duduk di belakang. Common answers, 'ooh fasilitas kurang baik, dana kurang, guru tidak ada, dll...'. My question is mau begini sampai kapan? (Note that there is 'time' aspect here) The thing is, fasilitas bisa di bangun dan guru bisa di sediakan. Tapi people nya ready kah? Ready to learn. What I see, kita di timur itu mulai dari titik mulai yang berbeda dengan yang di barat. Ibaratnya di graph di atas, misal kitong di timur itu di path 2 (merah) dan di barat itu di path 1 (ungu). Jadi untuk mencapai titik yang sama di path goal, perlu untuk kitong tingkatnya 'learning rate'. Tapi tidak terlalu tinggi juga agar tidak menyimpang dari apa yang ingin kita capai (goal curve).
From my experience study abroad, I had to do everything double the effort dibandingkan teman-teman yang lain. Contoh, ada barier bahasa dalam study, perlu punya skill yang lebih supaya bisa diterima kerja, dll. Ini contoh kecil. Kalau selama ini, there are always excuses tentang fasilitas etc, sudah saat nya sekarang bekerja lebih keras, make use of all available resources, adjust our learning rate to learning more quickly dan mampu beradaptasi dengan berbagai changes. Dengan begini kita bisa berada di titik yang sama dengan yang lain; duduk di bangku yang sama, di depan.