Machine Learning dan UX

Machine Learning (ML) dan User Experience (UX) seringkali dianggap dua disiplin yang sangat berlawanan. Meskipun keduanya mungkin sama-sama dipelajari dan diajarkan di jurusan bidang komputer (ML di mata kuliah Kecerdasan Buatan, UX di mata kuliah Interaksi Manusia Komputer), tetapi secara kodratnya ML lebih dekat ke ilmu-ilmu eksak seperti matematika dan statistik, sedangkan UX lebih dekat ke ilmu desain dan psikologi. Sehingga tak heran ketika kita sulit untuk mencari irisan antar kedua bidang tersebut.

Saya sendiri dulunya adalah UX designer / front-end dev yang berpindah haluan ke pekerjaan yang berusan erat dengan Machine Learning. Jadi saya sering memikirkan hubungan antar dua bidang tersebut, sekalian memikirkan tentang salah satu opsi tema Disertasi jika nantinya lanjut kuliah. Sebelumnya saya biasanya berpikir penerapan Machine Learning pada UX itu semacam magic pills yang tiba-tiba bisa membuat suatu produk mempunyai UX yang baik dengan menerapkan Machine Learning didalamnya, atau suatu tools yang meng-_generate_ design yang baik untuk kemudian tinggal diedit sedikit oleh designer. Tapi jelas tidak mungkin bisa serta-merta seperti itu, setidaknya untuk sekarang.

Seperti yang dibahas sebelumnya, masih jarang artikel yang membahas tentang Machine Learning dan UX. Hasil quick search di Arxiv dan Science Direct dengan keyword tersebut tidak menunjukkan paper yang didalamnya memuat ML dan UX secara eksplisit. Sedangkan di Google Books hanya terdapat dua buku yang memuat dua keyword tersebut, itupun hanya dibahas pada satu section saja.

Padahal jika kita mengubah perspektif kita sedikit, mencari dengan keyword yang sedikit berbeda, ternyata sebenarnya banyak penerapan Machine Learning pada UX, baik yang sifatnya masih penelitian maupun yang sudah dikembangan dan di-_deploy_ menjadi produk atau aplikasi yang kita gunakan sekarang ini. Pada tulisan ini saya kelompokkan penerapan tersebut menjadi dua:

1. ML sebagai fitur untuk User

Pada kategori pertama ini, ML digunakan directly pada aplikasi/produk yang digunakan oleh user. Baik pada core feature-nya ataupun pada hidden feature yang membuat produk tersebut memiliki UX yang lebih baik bagi user. ML memungkinkan aplikasi untuk berinteraksi dengan user secara lebih pintar dan lebih personal. Dan ternyata hal ini sudah banyak diterapkan dan digunakan oleh kita sehari-hari. Berikut beberapa jenis dari penggunaan ML pada kategori ini:

Suggestion

Contoh pertama adalah fitur suggestion / recommendation pada beberapa website/aplikasi seperti Amazon, Netflix, dan Google Play. Fitur ini sempat menjadi tren sebagai tema yang diambil untuk skripsi pada saat saya S1 (smart recommendation system pada e-commerce). Dengan fitur ini website/aplikasi memberikan saran produk, film, atau aplikasi lain apa yang direkomendasikan berdasarkan item yang kita lihat.

Contoh lainnya adalah pada fitur suggestion pada keyboard di smartphone. Fitur tersebut memudahkan mempercepat kita ketika mengetik sesuatu. Dengan bantuan Machine Learning, aplikasi keyboard memprediksi kata apa yang akan kita ketik selanjutnya, bahkan mempelajari berdasarkan kebiasaan kita mengetik.

Conversational UI

Conversational UI adalah model interaksi dengan cara percakapan, baik dgn teks ataupun suara. Model interaksi ini sangat berkaitan dengan disiplin ilmu bernama Natural Language Processing (NLP). Machine Learning kini menjadi metode yang banyak digunakan dalam NLP, yang sebelumnya menggunakan rule-based method dengan rule yang disusun secara manual oleh ahli bahasa.

Contoh pertama pada conversational UI adalah Chatbot. Dengan chatbot, sebuah perusahaan bisa melakukan efisiensi dalam hal pelayanan kepada pelanggannya, terutama dalam menjawab pertanyaan-pertanyaan standar yang bisa dijawab secara otomatis oleh bot.

Contoh selanjutnya adalah Virtual Assistant (VA). VA bisa dibilang merupakan versi lebih kompleks dari chatbot, dengan tambahan dasar berupa voice-to-text dan text-to-voice module. Tetapi tidak hanya itu, VA memungkinkan pengguna untuk melakukan fungsi lain seperti menambah/mengetahui jadwal, melakukan pencarian di web, memutar musik, dll. Contoh VA paling terkenal saat ini adalah Google Assistants, Amazon Alexa, dan Apple Siri.

Baru-baru ini Google memperkenalkan Duplex, sebuah teknologi yang memungkinkan Google Assistant untuk melakukan panggilan telepon ke orang lain (restoran, salon, dll.) atas perintah pengguna. Yang menarik pada Duplex ini, selain AI tersebut mengerti percakapan dengan lawan bicaranya dan bisa melaksanakan tugas yang diminta, Duplex juga terdengar natural, dengan intonasi, jeda, dan kata-kata seperti “hhmm, uh” yang biasanya diucapkan oleh manusia.

Gesture UI

Gesture UI merupakan model interaksi dengan gerakan. Salah satu metodanya adalah dengan menggunakan kamera (biasanya stereo dan/atau depth-aware) yang menangkap titik-titik representatif pada tubuh manusia. Titik-titik tersebut kemudian diterjemahkan menjadi gesture khusus yang nantinya menjadi command tertentu untuk aplikasi. Alat yang umum digunakan pada contoh seperti ini adalah Microsoft Kinect, yang menyediakan API sehingga developer bisa mendapat titik-titik tersebut untuk diterjemahkan. Machine learning dalam kasus ini digunakan untuk menerjemahkan rangkaian perubahan posisi titik-titik tersebut menjadi gesture/perintah khusus.

Baru-baru ini, peneliti facebook merilis DensePose, sebuah metode untuk menangkap titik-titik tadi tanpa menggunakan kamera khusus (single camera). DensePose menggunakan Deep Learning (varian dari CNN) untuk mengestimasi titik-titik tersebut. Metode ini disebut mampu beroperasi secara real-time, pada 25 fps di gambar berukuran 320x240 pixel dan 4-5 fps di gambar berukuran 800x1100 pixel menggunakan GPU GTX1080.

Multimodal Interaction

Model interaksi ini merupakan model gabungan antara interaksi-interaksi lain sehingga membentuk satu kesatuan interaksi yang utuh. Dengan model ini diharapkan manusia bisa berinteraksi secara natural, yang menggabungkan antara gesture, suara, ekspresi, dll. Selain harus bisa menerjemahkan masing-masing building block interaksi sebelumnya (suara, gesture, dll.) sistem juga harus bisa mengerti konteks pada saat instruksi dilakukan dan menggabungkannya. Area ini merupakan area riset yang masih sangat aktif dilakukan, bahkan menjadi tema disertasi salah seorang senior kantor di ITB. Contoh model interaksi ini adalah interaksi Tony Stark dengan Jarvis di Film Ironman.

2. ML sebagai tools untuk Designer

Pada kategori ini, Machine Learning tidak digunakan secara langsung pada produk/aplikasi yang dibuat, tetapi pada proses desain UX itu sendiri. Contoh pertama adalah ketika product manager ingin mengetahui target user dan fitur apa saja yang dibutuhkan pada aplikasi yang akan dibuat. UX researcher bisa bekerjasama dengan tim Data science untuk mencari tahu karakteristik_ target user_ dan fitur apa saja yang esensial untuk membangun sebuah Minimum Viable Product (MVP).

Contoh selanjutnya adalah ketika pengujian beta produk tersebut. Selain dengan observasi_ beta-tester_ secara manual, bisa juga dipasang sensor-sensor biosignal (misalnya EEG dan ECG) pada tester tersebut untuk mengetahui tingkat stress, enjoyment, dan cognitive load ketika tester menggunakan produk yang diuji. Peran Machine Learning disini tentu saja untuk menerjemahkan biosignal tadi menjadi ukuran-ukuran pengujian.

Contoh terakhir adalah ketika melakukan evaluasi dan iterasi untuk pengembangan produk dari produk yang sudah dirilis. Untuk menentukan fitur apa yang ditambah atau dihilangkan, UX researcher bekerjasama dengan tim Data science untuk melihat bagaimana produk digunakan.

Penutup

Demikian contoh penerapan Machine Learning pada ranah User Experience, yang tanpa kita sadari sudah banyak diterapkan dan digunakan kita sehari-hari. Bidang ini masih sangat luas untuk dieksplorasi dan sangat mungkin berkembang di masa depan. Di tim UX Google sendiri, dimulai upaya bernama “human-centered machine learning” (HCML) untuk memberikan guide dalam integrasi ML di ranah UX. Untuk lebih lanjut bisa dibaca di artikel ini dan ini. Terima kasih.