Posted on Feb. 21, 2022, 9:05 a.m.
Hari ini, 18 Februari 2022, Tokopedia UI AI Center of Excellence menyelenggarakan acara AI Talk Series yang dilaksanakan secara daring dengan menggunakan platform Zoom Meeting. Acara talk series kali ini mengusung topik “Towards Production-Ready AI Services”. Adapun pembicara yang dihadirkan adalah Bapak Radityo Eko Prasojo, Ph.D atau yang akrab disapa dengan Bapak Ridho. Beliau merupakan Head of AI Research di Kata.ai dan Adjuct Member di Fasilkom UI.
Acara mini workshop dimulai oleh Bapak Fariz Darari, Ph.D. selaku moderator dan Co-director dari Tokopedia UI AI Center of Excellence memberikan sambutan dan menjelaskan secara singkat terkait Tokopedia-UI AI Center. Tujuan dari diselenggarakannya acara ini antara lain peserta dapat memahami bagaimana penerapan kecerdasan buatan untuk layanan industri, problem yang biasa ditemui, dan solusi dari problem tersebut.
Sesi talk series ini diawali dengan membahas tentang AI services di Kata.ai secara umum. Di kata.ai, salah satu AI services yang dikembangkan adalah platform untuk task-oriented chatbots. Platform ini nantinya dapat dikustomisasi oleh pelanggan. Bapak Ridho menjelaskan bahwa untuk menyelesaikan model intent classification dan named-entity recognition (NER) untuk chatbot, model deep learning yang biasa digunakan adalah BERT guna memperoleh nilai F1-score yang relatif tinggi. Namun, penggunaan dari BERT sendiri memputuhkan komputasional yang tinggi. Selain itu, permasalahan lain yang juga dijumpai adalah scalability, ekspektasi pelanggan, dan GPU cloud services yang masih belum tersedia di Indonesia. Sedangkan model yang harus di deploy harus memiliki cost rendah dan memiliki skor F1 yang baik (cost-effective, good result), prediksi model dengan CPU harus cepat, waktu training model harus cepat, serta diharapkan model dapat flexible terhadap banyak task dan banyak klien. Maka dari itu, model BERT akan dibandingkan dengan model classical method seperti SVM, CRF, dan NB. Dari hasil evaluasi, performa classical method cukup baik dan lebih memiliki banyak benefit seperti 7-135x lebih kecil, 4-250x lebih cepat dalam training, dan 50-600x lebih cepat dalam CPU prediction.
Agar tetap dapat membuat BERT dapat dimanfaatkan, ada beberapa cara yang dapat dilakukan yaitu dengan (1) model compression seperti memanfaatkan efficient attention, shared weights, knowledge distillation, neural architecture search, quantization, dan multitask model serta (2) membuat model utama yang dapat digunakan oleh beberapa klien misalnya NER supermodel yang dikembangkan di kata.ai. Dari beberapa model compression, knowledge distillation akan menjadi topik tambahan yang akan dibahas. Knowledge distillation adalah proses mentransfer knowledge dari model yang besar (teacher) ke model yang lebih kecil (student). Strategi dalam membangun model untuk knowledge distillation yaitu dengan melakukan data augmentation, embedding layer initialization pada student, dst. BERT juga dapat dimanfaatkan untuk membangun knowledge distillation baik sebagai pretrained model atau fine-tuned model. Setelah seluruh materi disampaikan, para partisipan antusias untuk mengajukan pertanyaan dan sesi pun diakhiri dengan foto bersama.
Link Video: https://s.id/AIServiceTalkRecording
Link Materi: https://s.id/AIServiceTalkSlides
uncategorized
