Learning rate

Dalam suatu 'network/model' di area deep learning atau machine learning, satu hyper-parameter yang penting dan perlu untuk di tune adalah learning rate. Learning rate menentukan seberapa cepat suatu model untuk converge dan mempelajari sesuatu yang berguna. Pada umumnya, learning rate yang rendah dapat mengakibatkan waktu training yang begitu lama. Sebaliknya, learning rate yang tinggi dapat mengalihkan model dari hal yang ingin di pelajari (suboptimal solution). See illustration above. Karena itu, cukuplah penting untuk learning rate sebuah model untuk di tune, sehingga model ini bisa di latih untuk mempelajari sesuatu yang di inginkan dalam jangka waktu yang wajar.

Kalau berpikir soal education dan learning di Indonesia, satu hal yang kadang muncul adalah kenapa kitong di timur selalu duduk di belakang. Common answers, 'ooh fasilitas kurang baik, dana kurang, guru tidak ada, dll...'. My question is mau begini sampai kapan? (Note that there is 'time' aspect here) The thing is, fasilitas bisa di bangun dan guru bisa di sediakan. Tapi people nya ready kah? Ready to learn. What I see, kita di timur itu mulai dari titik mulai yang berbeda dengan yang di barat. Ibaratnya di graph di atas, misal kitong di timur itu di path 2 (merah) dan di barat itu di path 1 (ungu). Jadi untuk mencapai titik yang sama di path goal, perlu untuk kitong tingkatnya 'learning rate'. Tapi tidak terlalu tinggi juga agar tidak menyimpang dari apa yang ingin kita capai (goal curve).

From my experience study abroad, I had to do everything double the effort dibandingkan teman-teman yang lain. Contoh, ada barier bahasa dalam study, perlu punya skill yang lebih supaya bisa diterima kerja, dll. Ini contoh kecil. Kalau selama ini, there are always excuses tentang fasilitas etc, sudah saat nya sekarang bekerja lebih keras, make use of all available resources, adjust our learning rate to learning more quickly dan mampu beradaptasi dengan berbagai changes. Dengan begini kita bisa berada di titik yang sama dengan yang lain; duduk di bangku yang sama, di depan.​

Work-life balance?

Saya sering sekali mendengar isitilah ini, “work-life balance”. Jadi basically, kerjaan dan kehidupan kita harus seimbang; tidak bekerja berlebihan tetapi juga tidak bermalas-malasan. Saya jadi berpikir, is there a such thing as this, work-life balance?

The thing is, kenapa kita merasa bahwa kerja itu sesuatu yang menjadi beban. Satu hal yang bisa membuat kerja menjadi beban adalah ketika pekerjaan kita tidak sesuai dengan passion. Jadinya, mau kerja pun jadi malas, dan ultimately itu menjadi beban. Sehingga ada kebutuhan dimana kita perlu stop dari kerja dan live a life.
Sekarang coba bayangkan kalau perkerjaan kita sesuai dengan passion. Ini akan menjadi lebih mudah berkerja pun tidak menjadi beban lagi. Sehingga the need untuk stop berkerja pun akan jarang dirasakan.

Nah, saya tidak mengatakan bahwa perkerjaan adalah life, tapi ketika our work aligns with the passion and calling, kita tidak akan merasa beban dan the work-life balance akan terwujud secara otomatis.

Negative feedback

In control systems theory, there’s a notion called negative feedback. Negative feedback ini sering digunakan untuk mengatur (ambil kendali) suatu sistem output “y” agar tidak melenceng jauh dari hasil yang di inginkan “x”. Kalau melihat gambar diatas, negative feedback berkerja dengan cara: (1) mengobservasi jalan nya output sekarang, (2) dan mengembalikan nilai observasi tersebut untuk di bandingkan dengan hasil yang di inginkan “(x-z)”, (3) perbandingan ini lah yang menjadi input berikut nya. Sehingga kita bisa lihat bahwa, input yang berikan ke suatu sistem “G” tidak berlebihan, dan hasilnya akan lebih akurat. Jika tidak ada negative feedback, output sistem ini tidak bisa dikendalikan (tidak ada tolak ukur untuk perbandingan) sehingga hasilnya bisa melenceng jauh dari yang di inginkan. Inilah yang menjadikan “negative feedback” sering dipakai dalam control systems theory.

The same thing applies in our daily life here. Negative feedback bisa dikatakan seperti sebuah kritikan, atau masukan, dan saran. We understand that dengan kritik, kita bisa belajar untuk menjadi lebih baik dalam melakukan sesuatu.

Let’s take a specific example in the government. Dalam pemerintahan, alangkah baik nya kalau ada opsisi (ini negative feedback). Ini bukan berarti kita tidak boleh bersatu sebagai bangsa, melainkan kehadiran opsisi bisa membantu the current government untuk “stay on track” atau tidak melenceng dari the common goal yaitu kesejahteraan masyarakat. Kalau semuanya jadi koalisi, tidak akan ada “feedback” yang menjaga/mengontrol kebijakan-kebijakan yang dilakukan suatu pemerintahan. Karena itu at some level, kita membutuhkan opsisi dalam pemerintahan.

Negative feedback sudah terbukti penting untuk menjaga keberhasilan suatu sistem, entah itu di engineering, government atau pun kehidupan sehari-hari.

Can we really have different opinions?

2020 was an interesting year. So many things had happened, from COVID to US presidential election. Just like many people, I spent a lot of time at home (due to social distancing and lockdown) which means I had a little bit more time to think about stuff in general. So I want to share some of my thoughts about “opinions”.

A couple months ago, Elon Musk (a pretty famous guy, people say he’s the real-life Iron Man) twitted about how he got a rapid test for COVID-19.

The reaction from public was really ambiguous. Majority of public (which on the internet for sure) criticized his tweet and started to make random conclusion. Something like: “Apparently Elon is not as smart as we think”, or “You don’t have to become smart to lead a tech company”, and many more. I guess, I’m a bit confused why people drew conclusions like that. Just because you don’t agree with him, it doesn’t mean that he is “stupid”. I think he merely made an observation about the testing results, and just stated the facts. I understand that with the amount of influence he has, making such statements could lead some people to believe otherwise (which I guess catergorized as spreading false information?). But again, it is his opinion that based on an observation. I don’t see anything wrong with it, especially when you live in the US with that “freedom of speech” thingy.

Nowdays, it seems that we can’t even have different opinions. If somebody doesn’t like my opinion, then I’ll be judged and criticized. It is really sensitive to have a debate, or disagree with some “common” views. Moreover, with more separation of political views today people can’t even admit if something doesn’t look right with their political views. Their opinions are always biased towards their view.

I think having different opinions is actually good. The effect of “opposition” or “feedback” keeps the society in check and not going towards the extremes. I’ll talk about this in another blog post. Thats why I feel kind of sad in seeing the situation we are in. As humans (social beings), we can’t even have a healthy conversation without being toxic anymore. I’m not sure if this happen because of COVID stress, or because the presidential election. But it happens and I don’t think it is a good thing.

However, I’m hopeful still. I think overtime people can start value opinions again and have a good constructive conversation, even if it means there will be a healthy debate or difference in opinions.
So, can we really have different opinions? I hope we can.

The importance of a right support system

Recently, my younger brother aksed me: “Bagaimana cara kakak dulu belajar sampai bisa kuliah di US?”. Bukan hanya adik saya, tetapi beberapa teman-teman sempat menanyakan pertanyaan yang sama. Jawaban saya biasa sangat general. I usually say, belajar yang tekun, terus motivasi diri untuk menggapai mimpi dsb. While these things are true, sebenarnya ada hal yang lain yang berperan besar dalam academic journey saya. That is a right support system.

Kalau melihat journey saya sampai sekarang, saya bukan lah orang dengan kemampuan intelektual yang tinggi. Namun dalam perjalan ini, saya di kelilingi oleh banyak orang dan fasilitas yang memberikan support untuk mencapai gol dan tujuan saya. Dari kedua support faktor ini (people and facilities), yang paling terpenting adalan support dari people around me.

Contohnya dulu sebelum ke US, saya sempat belajar di Jakarta. Dalam proses ini, saya di berikan sebuah support system yang dimana saya bisa bertanya, belajar dengan orang-orang yang memiliki misi yang sama, dan tentunya berkompetisi secara sehat. Support system seperti ini lah yang membuat saya bermimpi untuk melanjutkan pendidikan di US, dan akhirnya dengan bantuan teman, guru, dan orang-orang di sekitar, saya dapat study abroad di US. Begitu pun pada saat kerja setelah kuliah. I had a right support system sehingga bisa mendapatkan kesempatan kerja di US. Ini beberapa contoh dari banyak pengalaman saya.

Pada initinya, untuk mencapai gol dan tujuan kita perlu untuk berkerja keras. Namun satu faktor yang juga penting adalah dukungan dari lingkungan, dari orang yang peduli, dari fasilitas, dan tentunya dari keluarga. Sehingga sangat penting buat kita untuk memilih lingkungan yang tepat, teman yang mempunyai visi yang sama, mentor yang peduli, dan keluarga yang selalu mendukung. Surround yourself with great people, so you can be like one; like minded-one. It is important to have a right support system for your success.

First post: initial condition = 0

This is my first post. I’m trying out a new thing this year. Blogging.
I’m starting this blog to speak my mind about anything that is interesting to me.

Let’s see if I can keep this thing alive.

Peace!