Duygusal Reaksiyonların Fizyolojik Deneyim Örnekleme ile Analizi

Abstract

Stres, modern toplumumuzun ayrılmaz bir parçası haline geldi. Gelişmekte olan teknolojinin sağladığı akıllı cihazların yaygın bir şekilde kullanılması, bu cihazlarla stresi algılama ve hafifletme amacıyla kullanılması araştırma konusunu haline gelmiştir. Son zamanlarda göze çarpmayan giyilebilir cihazların ekolojik ortamlarda araştırmalara katkı sağlaması amacıyla kullanımı başlamıştır. Bu cihazların sağladıkları veriler ile duygu ve bilişin izlenmesi, deneyim ve bağlama özgü uygulama olanakları için yeni fırsatlar sağlamıştır. Bu cihazlar, günlük yaşamdaki çeşitli alanlardan çok miktarda yüksek oranda çözülmüş ve kişisel verilerin toplanmasını sağlayan deneyim örnekleme metodolojisi kullanılarak çoklu sensörler, kayıt kanalları ve uygulama tabanlı değerlendirme fırsatları ile donatılmıştır. Çalışmanın amacı, deneyim örnekleme metodu ile toplanan görüntü, ses ve fizyolojik sinyaller ile derin öğrenmeye dayalı duygu tahmin etme sistemlerinin oluşturulmasıdır. Çalışmaya katılan 20 katılımcı tarafından 7 gün süresince 6 defa olmak üzere 15 dakikalık oturumlar olacak şekilde, 175 saatlik fizyolojik sinyal, 111 görüntü ve 68 ses kaydı toplanmıştır. Görüntü verileri kullanılarak ses verilerinin desteklenmesi sayesinde çoklu modelleme duygu analizi gerçekleştirildi. Füzyon verileri için görüntü verilerinden duygu tahmini yapılabilme %83 oranında, ses sinyallerinde duygu tahmini ise %74 oranında başarı ile tahmin edildi. Çalışma kapsamında toplanan fizyolojik sinyallerin tümünün sentezlenmesi için geliştirilen optimum performansa sahip modelin başarı oranı %94 olarak tespit edilmiştir. Toplanan fizyolojik sinyallerin çeşitli kombinasyonları transfer öğrenimi tekniğinin ardından optimum model ve optimum zaman pencereleri kullanarak stres tahmini gerçekleştirildi. İkili ve üçlü fizyolojik sinyal kombinasyonları sonucunda EDA ve BVP sinyallerinin stres tespitinde etkin rol oynadığı görülmüştür.