Implementasi Convolutional Neural Network untuk Klasifikasi Variasi Intensitas Emosi pada Dynamic Image Sequence Implementation of a Convolutional Neural Network for the Classification of Emotional Intensity Variations in Dynamic Image Sequences

摘要

Face emotion recognition (FER) merupakan salah satu topik penelitian yang berfokus pada analisis pada ekspresi emosi wajah manusia. Penelitian FER sudah banyak dilakukan pada single image atau pembacaan emosi pada foto. Analisis emosi pada single image memiliki banyak kekurangan dibandingkan pada dynamic image sequence atau video. Hal ini dikarenakan karena manusia mengeluarkan emosi atau ekspresi dalam tempo waktu tertentu. Klasifikasi emosi manusia menjadi rumit ketika berhadapan dengan intensitas emosi yang berbeda-beda. Ada beberapa orang yang sangat expresif, ada beberapa orang yang memiliki ekspresi yang rendah atau sedang. Prediksi akurasi emosi manusia mengalami penurunan atau kesalahan karena dataset yang hanya menyediakan beberapa intensitas emosi. Anotasi data menjadi satu masalah besar bidang pengenalan yang membutuhkan banyak waktu dan tenaga untuk meng-anotasi data baru. Penelitian ini bertujuan untuk mencari akurasi klasifikasi emosi wajah dengan tantangan intensitas emosi dari halus sampai tajam dalam sebuah image sequence atau video. Datasets akan ditraining menggunakan Convolutional neural network dengan melakukan augmentasi untuk menambah anotasi data. Metode yang diusulkan dievaluasi menggunakan dataset publik BP4D-Spontaneous. Hasil evaluasi menunjukkan rata-rata pengenalan emosi pada video sequence menggunakan metode holdout sebesar 18 . Evaluasi parameter loss function menunjukkan overfitting dimana gap generalisasi kurva tinggi. Evaluasi terakhir adalah evaluasi kelas emosi antara kelas sebenarnya dan kelas prediksi sebesar 14,28. Hal ini menunjukkan klasifikasi pada pengenalan emosi di dynamic image sequence cukup rendah.