Scrapped Table Data dari Website Pakai Google Sheet

Belajar benda baru semalam so better aku tulis kat blog.

Kebiasaan kerja data engineer adalah untuk cari data yang available from web, scrapped data tu, save kat satu tempat dan buat data cleaning.

Selalunya kalau aku buat web scrapping, aku akan code pakai python. Tak susah pun cuma remeh la sikit sebab nak kena identify html tags. Siapa pernah buat faham kot kenapa kena identify html tags ni. Basically, kita code kat python untuk scrapped data based on html tags tu. So katala nak ambil data dari website yang ada table. Kena identify html tags untuk table tu dan barula dapat data.

Semalam kawan aku bgtau boleh jer pakai google sheet. Caranya guna formula importhtml.

1. Buka google sheet baru
2. Pilih cell A1 dan letak formula =IMPORTHTML("web address","table",index)
3. Index tu nak tau table yang ke berapa nak scrap. Nak tau index kena la buka developer console kat web browser pastu pastekan code ni

var i = 1; [].forEach.call(document.getElementsByTagName("table"), function(x) { console.log(i++, x); });

Nanti code tu akan return senarai table berserta indexnya sekali. Bila dah dapat index, letakkan index kat formula dalam google sheet tu.

Dah siap dan dapat data dari table.

Yang bestnya setiap kali data kat table tu update, automatically data kat google sheet tu pun update.

Movement Control Order

Rasanya semua tahu apa movement control order ni. Disebabkan oleh virus covid-19, kerajaan perintahkan semua rakyat Malaysia untuk membataskan pergerakan, tinggal di rumah, dan cuma keluar bila ada urusan penting macam beli barang keperluan bila dah abis atau bekerja dalam sektor yang penting. 

Virus covid-19 ni masih belum jumpa penawar. Covid-19 ni boleh menjangkiti orang bila kita dekat dengan orang yang dah sakit. Pastu boleh berjangkit bila kita sentuh tempat2 yang ada virus ni, dan tangan kita pegi sentuh muka, hidung, mulut dan mata. Virus ni masuk ke dalam badan dan kita dah jadi host. Problemnya kita sendiri tak tau siapa yang sakit, sebab kalau orang yang terang-terang ada simptom macam demam dan batuk, kita boleh hindarkan diri dari orang tu. Tapi ada orang yang positif covid-19, dan dia takda simptom. Ni yang bahaya sebab kita boleh terjangkit tanpa sedar. Jadi kerajaan pun isytiharkan movement control order. So dengan secara tidak langsung, kena la bekerja dari rumah atau work from home. 

Since aku cumalah seorang software developer yang kerja menghadap laptop dan most of the time kerja seorang2, jadi memang kena duduk rumah jer la. Cuma agak payah nak buat kerja sebab bini pun kena kerja dari rumah, anak-anak pun duduk rumah. Aku susun jadual aku buat kerja start petang sampai malam. Bini buat kerja pagi. Anak2 kena buat kerja sekolah atau kena la layan dorang bermain sepahkan barang.

Hari ni rasanya dah masuk hari ke 7. Aku so far takde la bosan sangat duduk rumah. Layan trade demo sambil2 asah skills. Kerja buat juga cuma slow. Nak start tu coding tu memerlukan azam yang tinggi lagi2 bila duduk rumah. Kalau duduk sorang takpe jugak sebab takde distraction. Ni distraction banyak sangat.

Sebab dah duduk rumah, diet memang hancur. Pagi makan, tengahari makan, malam makan, in between meal pun makan. Abiss laaa niat nak diet. Bersenam? apa tu? hahahaa. Memang tak bersenam langsung duduk rumah ni. Rambut pun dah tebal ni, dah macam afro dah. Nak gunting rambut kedai semua tutup.

Movement control order ni sampai 31 Mac, 14 hari dari tarikh diumumkan. Entah mengapa aku rasa akan sambung lagi perintah ni sampai bilangan positif covid-19 ni terkawal. Aku dah naik risau dengan kemungkinan company tempat aku kerja ni akan bungkus. Kalau dah 2 minggu tak kerja then kalau sambung lagi perintah ni, mana business nak jalan. Doakan yang baik-baik saja la.

Kerja jadi tak best bila..

1. Kerja (workload) terlalu banyak sampai dah tak tau dan tak sempat nak keep track semua kerja. 

Kerja memang la tak pernah abis tapi at least task atau satu-satu projek tu ada la tanda bila patut stop.

2. Bagi task yang asik berubah-ubah. 

Hari ni nak macam ni, tak lama lepas tu nak macam tu pulak, pastu tukar lagi. Last-last balik ke asal, nak yang macam dulu. Bila ko kena lead, memang susah la nak keep everyone motivated. Tapi bila ko sorang jer kena buat kerja tu, macam-macam rasa ko rasa nak luah.

3. Bagi task tapi tak consider resources. 

Ni memang tak tau nak cakap apa. Mentang-mentang la ko boleh buat kerja, semua kerja kena humban kat ko. Sebab dah banyak kerja sampai satu kerja pun tak siap

4. Bagi task yang takde kena mengena dengan job description atau kpi. 

Aku dah selalu kena, dan selalu jugak la task yang aku buat bos tak recognised. Sebab aku dah start berkira, aku selalunya pastikan bos aku tau aku dapat task takde kene mengena dengan kpi. Dan kalau aku dapat direct order bukan dari bos aku, aku suruh orang yang direct order tu inform kat bos aku secara bertulis. Sebab aku pernah kena bila bos aku cakap dia tak tau aku buat apa padahal aku buat kerja direct order.

5. Banyak lagi sebab tapi ni yang paling tak best, gaji sangkut. 

Lately ni company aku kerja dah start lewat bayar gaji on time. Ada masalah financial sebab duit projek banyak sangkut dan takde projek baru masuk. Senang cerita orang sales tak capai target, orang yang kena assign projek asik lambat deliver, tak meet dateline. Ni dah tanda-tanda awal untuk aku consider masa depan aku kat company ni. 

Sekarang ni aku memang tengah planning nak cari kerja lain. Problemnya pulak susah nak dapat kerja kat tempat yang dekat dengan rumah aku. Aku pulak tak berapa nak suka kerja kat area KL sebab traffic dan sesak. Sekarang ni aku ada 3 option: cari kerja baru, jadi full time trader, atau remain kat company skrang untuk lead satu internal projek. Internal projek ni plan dia best dan plan paling besar, projek ni akan jadi independent business stail startup. Aku masih berfikir-fikir lagi sebab kena tengok jugak tanggungjawab untuk keluarga. Doakan la yang terbaik untuk aku.