See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/261026804 A NOVEL EYE-BLINK BASED EASY COMMUNICATION DEVICE FOR AMYOTROPHIC LATERAL SCLEROSIS PATIENTS: EyePad® Conference Paper · November 2012 CITATIONS READS 2 225 4 authors: Serkan Gurkan Güray Gürkan Turkish Land Forces NCO Vocational College T.C. Istanbul Kultur University 18 PUBLICATIONS   195 CITATIONS    11 PUBLICATIONS   12 CITATIONS    SEE PROFILE SEE PROFILE Alper Kaya Ali Bulent Usakli ALS/MND Association KTO Karatay University, Konya, Turkey 15 PUBLICATIONS   2 CITATIONS    30 PUBLICATIONS   317 CITATIONS    SEE PROFILE SEE PROFILE Some of the authors of this publication are also working on these related projects: Real-time Visible Band Spectrometer View project Designing a Portable Data Acquisition System for HumanComputer Interface Applications View project All content following this page was uploaded by Serkan Gurkan on 21 July 2017. The user has requested enhancement of the downloaded file. AMİYOTROFİK LATERAL SKLEROZ HASTALARI İÇİN GÖZ KIRPMA ESASLI YENİ BİR KOLAY İLETİŞİM CİHAZI: EyePad® A NOVEL EYE-BLINK BASED EASY COMMUNICATION DEVICE FOR AMYOTROPHIC LATERAL SCLEROSIS PATIENTS: EyePad® Serkan GÜRKAN1, Güray GÜRKAN2, Alper KAYA3, Ali Bülent UŞAKLI1 1 Elektrik ve Elektronik Bölümü K.K. Astsubay Meslek Yüksek Okulu, Balıkesir, Türkiye {serkangurkan, abusakli}@mynet.com 2 Elektronik Mühendisliği T.C. İstanbul Kültür Üniversitesi, İstanbul, Türkiye g.gurkan@iku.edu.tr 3 ALS MNH Derneği, İzmir, Türkiye alper.kaya@gmail.com Özet sinir (nervus facialis) yoluyla orbicularis oculi adelesini uyarması sonucu göz kırpma hareketi oluşur. İkincisi ise Bu bildiride, istemli göz kırpma hareketi sonucu oluşan istemli kırpma olup kraniyal motor sinirlerden nervus elektrookülogram ve elektromiyogram sinyalleri ve facialis yoluyla doğrudan istemli olarak orbicularis oculi özgün olarak tasarlanan sanal klavye (EyePad®) vasıtası adelesinin kasılması durumudur. Burada istemli kontrol ile kontrol edilebilen ve amiyotrofik lateral skleroz (ALS) olduğu için sağ veya sol göz kırpma hareketi ayrı ayrı motor nöron hastalarının dış dünya ile kolay iletişimini kontrol edilebilir. Göz kırpma hareketinin üçüncüsü ise sağlayabilecek bir sistem sunulmaktadır. Göz kırpma “Bell fenomeni” olarak adlandırılan gözün istemli olarak sinyalinin sürekli ve rahat bir şekilde alınabilmesi için kırpma hareketi ve uyku sırasında gözün yukarı bakış tasarlanan elektrot yerleştirilmiş gözlük, kullanımı pozisyonuna gelmesidir. Burada elektrookulografik kolaylaştırmıştır. Bu sinyalin varlığı, mobil ünitede (EOG) potansiyel düşey eksende değişiklik bulunan yükselteç, karşılaştırıcı ve radyo frekans verici gösterebilmektedir. Kaş kaldırma hareketi ise istemli ve ile sanal klavyenin bulunduğu bilgisayardaki alıcıya alın bölgesindeki frontal adelenin (musculus frontalis) kablosuz olarak gönderilmektedir. Tasarlanan sanal kasılması ile oluşur ve burada elektromiyografik (EMG) klavye ile 5 harfli bir kelime 15 saniyede potansiyel elde edilebilir. Sonuç olarak göz kırpma yazılabilmektedir. sırasında göz çevresinden yüzey elektrotları ile elde edilen aksiyon potansiyeller hem EMG hem EOG Abstract aksiyon potansiyeli özelliği taşımaktadır [1-3]. In this paper, we present a system that can be controlled Beyin bilgisayar arayüzü (BBA) özellikle motor by a novel virtual keyboard (EyePad®) and nöron hastalıkları sonucunda istemli hareket yeteneğini electrooculogram and electromyogram signals occuring kaybeden hastalar için oldukça önemli bir çalışmaalanıdır. Bu hastalarda ileriki safhalarda konuşma under voluntary eye-blink and enables communication of amyotrophic lateral sclerosis (ALS) patients. The ensure yeteneği kaybedilse de, görme yeteneği ve göz hareketleri extended and comfortable signal acquisition, we also ancak devam etmektedir. Dış ortamdan gelen uyaranların designed an electrode montaged eye glasses. The algılanıp herhangi bir fiziksel tepki verme yetisininkaybedildiği ALS hastalarında göz çevresi kasları, göz existance of eye-blink signal is sent to the virtual keyboard’s computer via wireless transmission from the kapağı ve göz hareketlerini sağlayan kaslar en son mobile unit that consists of a biopotential amplifier, kaybedilen kaslar olmaktadır. İyi bir tıbbî bakım, comparator and a radio-frequency transmitter. The solunum ve beslenme desteği ile bu ALS hastaları uzunyıllar yaşamlarını sürdürebilmektedir. relevant system enables patients to write any 5 letter word in 15 seconds. Teknolojiyi kullanarak zamanla ilerleyen ALShastalığının yaşam kalitesini düşürücü etkisinin azaltılması, bu çalışmanın asıl motivasyonunu 1. Giriş oluşturmaktadır. Bu çalışmada göz kırpma yeteneğinikaybetmemiş hastaların dış dünya ile iletişim Göz kırpma hareketi, farklı vücut sistemleriyle kurabilmelerini sağlayan bir sistem geliştirilmiştir. ® yönetilebilmektedir. Bunlardan ilki istemsiz (otonom Sistem, ekrandaki sanal bir klavye (EyePad ) üzerinde sistem) kontrollüdür ve dakikada 10-15 kez gözün kornea belirli bir satır ve sütun sırasıyla yanan harflerin hızlı ve tabakasını ıslatmak için yapılan kırpma hareketidir. yüksek bir doğrulukla sadece göz kırpma hareketi ile Burada gözün kornea tabakasının ara katmanlarında seçilebilmesine olanak sağlamaktadır. bulunan göz kurumasına ve mekanik uyarıya duyarlı sinir liflerinin otonom ve refleks uyarısı sonucunda fasiyal Şekil 1: Göz kırpma sinyalinin alımı ve sistemin genel görünümü. 2. Sistem Yapısı düşey hareket genlikleri, kırpma sinyaline kıyasla oldukça düşüktür (Şekil 6). Bu durum, kırpma sonucu a. Ana Ünite oluşan sinyali eşik gerilimi ayarlanabilen (VEŞİK) basit bir karşılaştırıcı ile ayırt edilebilmesini mümkün kılmaktadır. EOG sinyali, Şekil 1’de gösterildiği gibi, kullanım Yükseltme ve filtreleme işlemlerinden geçen sinyal, eşik kolaylığı için tasarlanan gözlük üzerine yerleştirilmiş seviyesinin cihaz dışından ayarlanabildiği karşılaştırma elektrotlar ile alınan göz kırpma sinyali enstrümantasyon devresine uygulanarak göz kırpma hareketi ayırt yükseltecine uygulanmaktadır. Şekil 3’te tüm sistemin edilebilmektedir. Göz kırpma hareketi ile oluşan eşik blok diyagramı gösterilmiştir. Buna göre, seviyesinin geçilmesi durumu, cihaz üzerindeki sarı enstrümantasyon yükselteci ile yükseltilen sinyal önce renkteki LED’in yanması ile de görülebilmektedir. PIC® alçak geçiren filtreden geçirilmektedir ve DC bileşen mikrodenetleyici, karşılaştırma devresinden gelen kırpma filtrelenip, yükseltilen sinyalden çıkarılmaktadır. Sonraki bilgisine göre, ardışık olarak bağlanmış olan RF yükseltme işlemini şebeke frekansından kaynaklanan 50 vericisine “START1STOP” dizisini iletmektedir. Seri Hz’lik gürültüyü bastıran çentik filtre takip etmektedir. haberleşme parametreleri Tablo 1’de verilmiştir. Ana ünitede, Şekil 3’te gösterilen tüm filtreleme ve Veri, radyo frekans (RF) verici, 433 MHz yükseltme işlemleriyle 88,5 dB’lik (K~ 26440) yükseltme frekansındaki ASK (Amplitude Shift Keying – Genlik işlemi yapılmaktadır. Kaydırmalı Anahtarlama) modülasyon ile bilgisayarda Ana ünitenin, devamlı göz hareketlerinin yapıldığı bir bulunan alıcı üniteye gönderilmektedir. Elektronik durumda sadece kırpma hareketi için tetikleme sinyalini gürültüye karşı hassas olan ASK’nın cihaz performansını üretebilmesi sistemin doğru çalışması için gereken bir olumsuz etkilemediği görülmüştür. koşuldur. Daha önceki çalışmalarımızda [4-6] da gösterildiği gibi, yukarı/aşağı bakış ile kırpma hareketleri b. Alıcı Ünite EOG sinyalinin düşey bileşenlerini, sağa ve sola bakış hareketleri de yatay bileşenlerini oluşturmaktadır. Ana ünitede bulunan RF vericisi ile tek yönlü olarak veri Gözlük (Şekil 1, 2, 4) vasıtası ile düşey olarak iletimi sağlanmaktadır. Alıcıda, kırpma bilgisinin olması konumlandırılan elektrot çifti ile sağa ve sola bakış durumunda vericiden gelen mesaj, ASK hareketleri sonucunda oluşan EOG sinyali demodülasyonunun ardından mikrodenetleyicide RS232 alınmamaktadır. Buna ek olarak, sanal klavyeye bakış biçimine dönüştürülmektedir. Daha sonra RS232-USB esnasında satırlar arası göz gezdirilmesinden oluşan çevirici ile sanal klavyenin çalıştırıldığı bilgisayara USB girişi ile aktarılmaktadır (Şekil 1, 2). Şekil 2 : Tasarlanan sistemin bileşenleri. Enstrümantasyon DC Bastırma Evirmeyen 50Hz Çentik Filtre DC Bastırma Yükselteci fc= 43 Hz fc= 0,08 Hz Yükselteç (B=10 Q=5) fc= 43 Hz fc=50 Hz fc= 0,08 Hz fc= 43 Hz G=19 ~~ ~~ ~~ ~ ~~ ~~ ~~ ~~ ~ ~~ -80dB/dek -40dB/dek G=98 -80dB/dek -40dB/dek -40dB/dek Eviren Tampon Karşılaştırıcı Doğrultucu Mikro- ASK Verici ASK Alıcı Yükselteç Yükselteçfc= 43 Hz fc= 7,2 Hz denetleyici f=433,92MHz f=433,92MHz ~~~ ~ ~ ~ G=14,2 -160dB/dek -20dB/dek G=1 VEŞİK Şekil 3: Tasarlanan sisteme ait blok diyagram. Tablo 1: Seri haberleşme parametreleri 4. Test ve Bulgular Veri Hızı : 2400 bit/s Sistemin testinde, kişiden kişiye değişen kırpma eşik Veri biti sayısı : 8 bit geriliminin ayarlanması önemli bir noktayı Eşlik biti sayısı : 0 oluşturmaktadır. Göz hareketleri sonucu herhangi birtetikleme üretmeyecek şekilde eşik değerin Dur biti sayısı : 1 ayarlanabilmesi, sistemin ya da kullanıcının eğitimine ihtiyaç duyulmaması açısından bir avantaj olmaktadır. 3. Sanal Klavye: EyePad® Sistemin, sinyalverisini alan ve bilgisayara kablosuz olarak ileten donanım kısmının yanında, kullanıcının doğrudan iletişim hâalinde olduğu sanal klavye, kullanım kolaylığı açısından önemli bir bileşendir. Delphi 6.0 programlama dili kullanılarak gerçekleştirilen sanal klavye EyePad®, 7 satır ve 6 sütunluk bir hücre yapısındadır (Şekil 5) görünüm olarak Donchin ve arkadaşları tarafından P300 tabanlı beyin bilgisayar birimleri için önerilen ekran değiştirilerek kullanılmıştır [8]. Yazılımın mevcut sürümünde İngiliz alfabesine ait Şekil 4: Geliştirilen gözlüğün yüz üzerindeki görünümü. harfler, 1-9 arası rakamlar ve 4 adet yazım komutuna ek olarak açma ve kapama fonksiyonları da bulunmaktadır. Sadece göz kırpma ile harflerin ve komutların seçimine olanak sağlayan EyePad® sanal klavyesinin aktif hâle getirilmesi ardışık olarak yapılan 3 göz kırpma hareketi ile gerçekleşmektedir. İlk göz kırpma sonucunda sarı renge dönen “ON” sekmesi 300 ms bekleyip tekrar ikinci göz kırpması gelmesi durumunda yeşil renge dönmekte ve son olarak teyid için üçüncü göz kırpması gelmesi durumunda da sanal klavyeyi aktif hâle getirmektedir. Göz kırpmalar arasındaki süre yeteri kadar kısa değilse, “ON” sekmesi tekrar ilk durumu olan kırmızı rengine dönmektedir. Sanal klavyenin aktif hâle gelmesi ile en üst satırdan başlamak üzere tek tek satırların seçilebilme kipi (satır seçim kipi) başlanmaktadır. Satırlar arası otomatik geçişin 500 ms olduğu bu durumda, ilgili satıra gelindiğinde gerçekleşen göz kırpması ile sütunlardaki harf ya da komutlar seçilebilmektedir (sütun seçim kipi) . Sütunlar arası geçiş yine 500 ms aralıklarla gerçekleşmektedir. Herhangi bir harf, seçildikten sonra Şekil 5 : EyePad® sanal klavyesi. “WATER” kelimesi 15 ekranın yukarısında bulunan metin kısmına yazılmakta saniyede yazılabilmektedir.. Bu sanal klavye [8]’den ve ardından satır-sütun seçim işlemi bir sonraki satırdan değiştirilerek kullanılmıştır. devam etmektedir. Sanal klavyenin kapatılması harf seçiminde olduğu Sistemin hız testi için daha önceki çalışmamızda [4] gibi “OFF” sekmesinin seçilmesi ile yapılabilmektedir. da kullanılan kelimelerden biri olan “WATER” kelimesi kullanılmıştır. Tasarlanan yeni sistem 3 farklı bireyde denenmiş ve daha önce 25 saniyede tamamlanan kelimenin yazım süresi 15 saniyeye düşürülmüştür. Şekil [3] Gola R. , “The forehead cutaneo-musculo- 6’da bu uygulama esnasında alınan zaman serisi göz aponeurotic unit and aging of the forehead. kırpma sinyallerinden bir örnek gösterilmiştir. Anatomo-physiological considerations and surgical implications”, Ann Chir Plast Esthet, 44(1):89-102, 5. Sonuç 1999. Çalışmada, ALS hastaları için hız ve doğru hedef sayısı [4] Usakli, A.B., Gurkan, S., Aloise, F., Vecchiato, F., bakımından oldukça yüksek başarıma sahip, kullanımı Babiloni, F., “An Hybrid Platform Based on EOG kolay bir sistem gerçekleştirilmiştir. Sadece göz kırpma and EEG Signals to Restore Communication for hareketinin kullanılması ile sağlanan mesaj yazımı, göz Patients Afflicted by Progressive Motor Neurons hareketlerinin de dâhil edildiği diğer sanal klavye Diseases, Engineering The Future of the çalışmalarına göre çok daha doğru ve hızlı bir şekilde Biomedicine” IEEE EMBC 2009 Conference, yapılabilmektedir. Ayrıca tasarlanan gözlük ile sistemin, Minneapolis USA, 3-6, Sept. 2009 pp.543 – 546, 6 saat boyunca herhangi bir müdahale gerektirmeden doi: 10.1109/IEMBS.2009.5333742. kullanılabildiği gözlemlenmiştir. [5] Usakli, A.B., “Human Computer Interactions for EyePad® sanal klavye ile oluşturulan mesaj metni, bir Amyotrophic Lateral Sclerosis Patients”, metin okuyucu yazılımla sese dönüştürülmesi gelecek Amyotrophic Lateral Sclerosis, Editor: Martin H. çalışmamız olacak ve böylece konuşma yeteneğini Maurer, pp. 683-702, Intech, Rijeka, ISBN 979- kaybeden ALS hastaları için oldukça kullanışlı bir sesli 953-307-199-1, 2012. iletişim imkânı sunulabilecektir. [6] Usakli, A.B., and Gurkan S., “Design of a Novel Efficient Human Computer Interface: An 6. Kaynakça Electrooculagram Based Virtual Keyboard”, IEEE [1] Sambo CF, Liang M, Cruccu G, Iannetti GD. Transactions on Instrument and Measurement., 59, Defensive peripersonal space: the blink reflex 2009. evoked by hand stimulation is increased when the [7] ALS MNH Derneği, http://www.als.org.tr hand is near the face”, J Neurophysiol., Feb 2012, [8] E. Donchin, K. M. Spencer, and R. Wijesinghe, 107(3):880-9. “The mental prosthesis: Assessing the speed of a [2] Waters AM, Ornitz EM, “When the orbicularis P300-based brain–computer interface,”, IEEE Trans. oculi response to a startling stimulus is zero, the Rehabil. Eng., vol. 8, no. 2, pp. 174–179, Jun. 2000. vertical EOG may reveal that a blink has occurred”, Clin. Neurophysiol., 116(9):2110-20. 15 saniye W A T E R Şekil 6 : “WATER” kelimesinin yazımı süresince oluşan göz kırpma sinyalleri. DC seviyesindeki kayma, aşağı/yukarı göz hareketlerinden kaynaklanmaktadır. View publication stats