EEG ve Yüz İfadelerine Dayalı Çok Modlu Duygu Tanıma

Abstract

Duygu tanıma alanındaki ilerlemelere rağmen, araştırma alanı hala iki temel sınırlamayla karşı karşıyadır: giderek daha karmaşık hesaplamalar yapmak için derin modellerin kullanımı ve çeşitli veri türlerinin bir karışımıyla duyguların tanımlanması. Bu çalışma, elektroensefalografi (EEG) sinyallerini yüz ifadeleriyle birleştirerek, Transformer, LSTM ve GRU gibi gelişmiş modelleri içeren multimodal duygu tanıma konusundaki bilgi birikimine katkıda bulunmaktadır. Sonuçlar, önerilen yaklaşımın etkinliğini doğrulamaktadır, çünkü GRU modelinin sırasıyla tek modlu (yalnızca EEG) ve çok modlu (EEG ve yüz ifadeleri) veri setlerinde %88 ve %97 gibi yüksek tahmin doğruluğu göstermektedir. Bulgular, geleneksel tek modlu tekniklerine kıyasla, çok modlu yaklaşımların dikkate değer ilerlemeler sağladığını göstermektedir. Çalışma, karmaşık sinirsel dinamikleri ve görünür duygusal ipuçlarını yakalayan, duygu tanıma sistemlerinin sağlamlığını ve doğruluğunu artıran bir çerçeve sunmaktadır. Bu sonuçlar, çeşitli veri kaynaklarını gelişmiş modellerle entegre ederek tek modlu sistemlerin yarattığı sınırlamanın nasıl aşılacağını göstermeleri açısından önemli pratik çıkarımlara sahiptir.