Learning Experiences Context Model - Section 2 - LIFE EXPERIENCES CONTEXT MODEL

Öğrenme Deneyimleri Bağlam Modeli - Bölüm 2
YAŞAM DENEYİMLERİ BAĞLAM MODELİ

LECOM Yaşam deneyimleri bağlam modeline göre bireylerin yaşam deneyimine kişiler, yerler, olaylar, davranışlar, özellikler, duygular ve varlıklar bağlamları eşlik eder (Mutlu, 2015a). Deneyimi çevreleyen bağlamların fiilleri (ilişkileri) deneyimi yaşayan öznenin filleridir. Diğer bir deyişle deneyimi yaşayan birey bir “yer” in içinde bulunur, “kişiler” ile iletişim kurar, “olaylar” yaşar vb. İki birey aynı gözlemlenebilir bağlamlara sahip deneyimi yaşamış olsalar bile, bu deneyimler bireylerin gözlemlenemeyen bağlamlarındaki farklılıklardan dolayı iki farklı deneyim olacaktır. 

Bireyin yaşam deneyimi içerisinde başka bireylere ait deneyimleri de gözler. Başkalarına ait bu deneyimler bireyin kendi deneyim havuzuna yerleştirilmezler. Bir başka özneye ait deneyimler bireyin deneyiminde içerik olarak yer alabilirler. 

Bağlamlar bireyin deneyimlerini ifade edebilmeleri için yeterli dil öğelerini içermelidirler. Diğer bir deyişle her deneyim bağlam fiillerinin kümesiyle tanımlanabilmelidir. Diğer bir deyişle X deneyimi esnasında Y yerinde bulunulmuş; K kişileriyle iletişim kurulmuş; O olayları yaşanmış; DA davranışları gerçekleştirilmiş; Ö özellikleri değişmiş; DU duyguları hissedilmiş; V varlıkları kullanılmış olabilir. 

Ontoloji

Ontoloji, söylemin bir alanına ait kavramların (sınıflar), kavramların niteliklerinin (özellikler) ve özelliklerin sahip olduğu kısıtlılıkların biçimsel olarak kesin biçimde tanımlanmasıdır. Pratikte bir ontoloji geliştirmek şu aşamaları içerir (Noy ve McGuinness, 2001): 

• Ontolojideki sınıfları tanımlamak 
• Sınıfları bir taksonomik hiyerarşi içerisinde düzenlemek (altsınıf – üstsınıf) (Bu düzenleme esnasında kavramlar arasında ilişkiler tanımlanır) 
• Özellikleri ve bu özelliklerin alabileceği değerlerin yapısını tanımlamak 
• Bireyleri oluşturmak için özelliklere değer yerleştirmek. 

Ontolojideki sınıfların özelliklerine değer atayarak elde edilen bireylerle bir bilgi tabanı oluşturulur. Gerçekte bir ontolojinin sona erdiği çizgide bilgi tabanı başlar (Noy ve McGuinness, 2001). (Noy ve McGuinness, 2001). 

LECOM Yaşam Deneyimleri Bağlam Modeli’ndeki Sınıflar

Yaşam deneyimleri bağlam modelinde (Mutlu, 2015a) yeralan temel kavramlardan yararlanarak aşağıdaki sınıflar tanımlanmıştır: 

• “Yaşam günlüğü” sınıfı ile “T” zamanında “C” cihazından pasif biçimde konum, görüntü ve ekran görüntüsü günlükleri ile aktif biçimde ses, video, ekran videosu ve metin içeriklerini yakalayan bir aracın yapısı tanımlanmaktadır. Yaşam günlüğü aracı bir zaman çizgisi (ağacı); seçili bir tarihteki günlük verisi ve içerik verisi görüntüleyicisi ve seçili bir yıl, ay ya da tarihteki seçili günlük verileri için sınırsızca yorum eklemeye olanak sağlayan bir veritabanı içermektedir.
• “İçerik” sınıfı ile “T” zamanında “C” cihazından yakalanan görüntü, ekran görüntüsü, ses, video, ekran videosu ve metin dosyalarını barındıran veri kümesinin yapısı tanımlanmaktadır. 
• “Etkinlik/olay yorumu” sınıfı ile yaşam günlüğünün zaman çizgisinde verilen bir “T” zamanına ait günlük ve içerik kayıtlarının birey tarafından gözden geçirilmesiyle farkedilen eylem ve oluş kümesine ait sözel açıklama tanımlanmaktadır. 
• “Bağlam” sınıfı ile yaşam günlüğünde “T” anındaki etkinlik/olay yorumlarının birey tarafından gözden geçirilmesiyle farkedilen kişi, yer, olay, davranış, varlık, özellik ve duygu değerlerinin yapısı tanımlanmaktadır. 
• “Deneyim” sınıfı ile yaşam günlüğünde “T” anında yaşanan ve o andaki bağlam değerlerinin bir araya getirilmesiyle sözel olarak ifade edilen olguya ait kişisel bilgi kümesinin yapısı tanımlanmaktadır. 
• “Epizod yorumu” ile aynı anda ya da ardışık olarak gerçekleşen birbiriyle ilişkili etkinlik ya da olayların yorumlarının oluşturduğu bilgi kümesinin yapısı tanımlanmaktadır. 
• “Öykü yorumu” ile aynı anda ya da ardışık olarak gerçekleşen birbiriyle ilişkili epizodların yorumlarının oluşturduğu bilgi kümesinin yapısı tanımlanmaktadır.

Yaşam deneyimleri bağlam modelinde deneyimler üzerinde belirli bir ayrım gerçekleştirilmeden bütün yaşam deneyimlerinin kapsandığı varsayılmaktadır. Gerçekte insan yaşamındaki bütün deneyimler dikkate alındığında ortaya bir “kişisel büyük veri” çıkmaktadır (Gurrin vd., 2014). Bireyin yaşamındaki deneyimler birbirinden bütünüyle soyutlanamasa da pratikte yaşamın belirli deneyimlerine odaklanılabilir. Örneğin, sosyal deneyimler, kültürel deneyimler, sağlık deneyimleri, finansal deneyimler, iş deneyimleri, öğrenme deneyimleri vb. Her deneyimden bir şeyler öğrenildiği için öğrenme deneyimleri diğer deneyim gruplarına göre yaşam deneyimlerinin bütününe daha fazla bağımlıdırlar.

[*] Bu bölümün yazılmasında “Mutlu, M.E. (2015). Öğrenme Deneyimleri Bağlam Modeli, 6. Uluslararası Eğitimde Yeni Eğilimler Kongresi – ICONTE 2015, 24-26 Nisan 2015, Antalya“ kaynağından yararlanılmıştır.

(Not: Yararlanılan kaynaklar yazı dizisinin sonunda topluca verilecektir.)

Learning Experiences Context Model - Section 1 - INTRODUCTION

Öğrenme Deneyimleri Bağlam Modeli - Bölüm 1
GİRİŞ [*]

Dey ve arkadaşları tarafından “bağlam” kavramının tanımı “bir varlığın durumunu karakterize etmek amacıyla kullanılan enformasyon” olarak yapılmıştır (Dey vd., 2001). Varlık, bir kullanıcı ve bir uygulama arasında gerçekleşen etkileşimle ilgili bir kişi, yer ya da nesne olabileceği gibi kullanıcının ve uygulamanın kendisi de olabilir.

Bağlam kavramının daha biçimsel bir tanımı Desmoulins ve Azouaou (2006) tarafından verilmiştir:

• Bir X öğesinin bağlamı, Y, X’in çevresinde olmak koşuluyla, Y öğesinin bütün P özellikleridir.
• Y, X’e anlam verir.
• P, X’le ilgilidir.

Bağlam kavramının öğrenme alanındaki kullanımına yönelik bir tarama yapan Capuano ve arkadaşları (2014)’na göre öğrenme bağlamı alanyazınında iki farklı yaklaşımla ele alınmaktadır: Birinci yaklaşımda yazarlar öğrenme bağlamı kavramıyla, öğrenme etkinliklerine katılan öğrenenlerin bağlamına odaklanırlar. Bu amaçla öğrenenin iç bağlamları (beklentileri, düşünceleri ve inançları), profili (kişisel enformasyonu, kişilik özellikleri, uzmanlık düzeyi), öğrenme özellikleri (öğrenenin öğrenme yaklaşımı, niyeti ve öğrenme stili) vb. ele alınır. 

İkinci yaklaşımda ise yazarlar öğrenme kavramıyla öğrenme nesnesi ya da öğrenme etkinliğinin bağlamını dikkate alırlar. Konu alanının, dersin ve öğrenme nesnesinin kapsamı, içeriği, teknolojik ve pedagojik özellikleri, e‐öğrenme mimarisi, öğrenme amaçları, öğrenmenin gerçekleşeceği ortam ve yer, altyapı, öğrenme etkinliğinin organizasyonel yapısı, öğrenmenin yapılandırılmışlık düzeyi vb. veriler değerlendirilir (Capuano vd., 2014). 

Teknoloji destekli öğrenme alanındaki bağlam modellerini tarayan Verbert ve arkadaşları 12 farklı çalışmada yer verilen bağlam öğelerinin tümünü içeren kapsayıcı bir bağlam çerçevesi önermişlerdir (Verbert vd., 2012). Bu çerçevede, bilgi işlem (yazılım, donanım, ağ), konum (nitelik nicelik, yakınlık, yönelim, iletişim), fiziksel koşullar, zaman (zaman etiketi, zaman aralığı), kaynaklar (genel, eğitsel, teknik, notlar, ilişkiler), kullanıcı (temel enformasyon, bilgi, ilgi, amaçlar (kısa dönemli, uzun dönemli), öğrenme biçimleri, duygulanımlar, arkaplan), etkinlik (eylem, görev, amaç, konu) ve sosyal ilişkiler bağlamlarına yer vermişlerdir. 

Bağlamlarla ilgili modelleme çalışmalarında güncel bir yaklaşım ontoloji tabanlı modelleme yaklaşımıdır (Hoareau, 2009). Ontoloji belirli bir alandaki kavramların, kavramların özelliklerinin ve kavramlar arasındaki ilişkilerin biçimsel olarak kesin bir biçimde tanımlanmasıdır. W3C kurumu tarafından anlamsal ağ (semantic web) alanında kullanılmak amacıyla 2003 yılında geliştirilen ağ ontoloji dili (OWL ‐ Web Ontology Language)’nin popüler olmasıyla bağlam ontolojilerini geliştirme çalışmalarında da OWL yaygın olarak kullanılmaya başlanmıştır (W3C, 2015). Öğrenme bağlamlarına yönelik olarak geliştirilen ontoloji tabanlı modellerin uygulama alanı geniş bir çeşitliliğe sahiptir: 

• Eğitim amacıyla kullanılan mobil teknolojilerin tanımlanmasına yönelik ontoloji (Ahmed ve Parsons, 2011) 
• Öğrenme nesnesi içeriğine not eklenmesine yönelik ontolojiler (Gašević vd., 2007; Aloui ve Gargouri, 2013). 
• Ders içeriğine yönelik alan ontolojileri oluşturma (Boyce ve Pahl, 2007) 
• Kişiselleştirme ve bağlamlaştırma için bağlam ontolojisi (Capuano vd., 2014) • Öğrenme nesnesi ontolojileri (Jeremić vd., 2011) 
• Öğrenme tasarımı ve öğrenme içeriğini birleştiren ontolojiler (Knight vd., 2005) • Yansıtıcı öğrenme için bağlam farkındalıklı çerçeve Greenberg vd., 2006) 
• Çevrimiçi işbirlikli öğrenmeye yönelik ontolojiler (Jeremić vd., 2012) • Kişiselleştirilmiş ve işbirlikli öğrenme için bağlam ontolojisi (Moore ve Hu, 2007 
• Kişiselleştirilmiş öğrenmeye yönelik ontolojiler (Jovanović vd, 2006) • Öğrenme kişisel ontolojisi (Osborne, 2013) 
• Öğrenen davranışı ontolojisi (Softic vd., 2013) 
• e‐öğrenmede öğrenme bağlam modeli (Tankeleviciene ve Damasevicius, 2009) 
• İşle bütünleşik öğrenme için bağlam modeli (Ulbrich vd., 2006) 
• Bağlam farkındalıklı e‐öğrenme için öğrenme bağlamları (Capuano vd., 2011; Das ve Bhaskar, 2010; Sudhana vd., 2013) 
• Bağlam farkındalıklı uyarlamalı öğrenme (Yaghmaie ve Bahreininejad, 2011) 
• Bağlam farkındalıklı mobil öğrenme için bağlam ontolojisi (Wu, 2010) 
• Bağlam farkındalıklı her yerde öğrenme ortamı tasarımı (Yang, 2006) 
• Bağlam farkındalıklı öneri sistemi (Yu vd., 2007) 
• Biyoloji dersi için bağlam farkındalıklı yaşam günlüğü sistemi (Barreau vd., 2006). 

Geliştirilen modellerde ağırlıklı olarak bağlam farkındalıklı sistemlerin amaçlandığı görülmektedir. Bağlam farkındalıklı sistemler çevredeki bağlamı algılayarak, kullanıcıya bu bağlamla ilgili olarak, kullanıcının görevinin gerektirdiği enformasyonu ya da hizmeti sunan sistemlerdir (Abowd vd., 1999). Taranan yayınlarda bağlam farkındalıklı modellerin kişiselleştirilmiş öğrenme, uyarlamalı öğrenme, mobil öğrenme, her yerde öğrenme ve öneri sistemlerinin geliştirilmesinde kullanıldığı görülmektedir.

Öğrenme alanında geliştirilen ontolojilerin bireyin sanal ortamlardaki öğrenme etkinliklerine odaklandığı; fiziksel ve sosyal ortamlardaki öğrenme deneyimlerini dikkate almadığı görülmektedir. Oysa öğrenme süreci yaşam boyu devam eden bir süreçtir ve sanal ortamlarda olduğu kadar fiziksel ve sosyal ortamlarda da gerçekleşir. 

Bu çalışmada öğrenme süreci, bir öğrenme etkinlikleri kümesi olarak değil, yaşam deneyimleri içerisine serpilmiş bir dizi deneyim olarak ele alınmaktadır. Bu doğrultuda, LECOM Yaşam Deneyimleri Bağlam Modeli (Mutlu, 2015a) öğrenme deneyimleri için uyarlanarak, yaşam günlüğü sistemiyle yakalanan öğrenme deneyimlerinin bağlamları için kavramsal bir model tasarlanacaktır. 

Bu amaçla izleyen bölümde öğrenme deneyimleri ve bu deneyimlere eşlik eden bağlamlarla ilgili önceki çalışmalar incelenmiş; ardından LECOM modelinin kavramları, aralarındaki ilişkiler ve özellikleri gözden geçirilmiştir. Araştırmanın geliştirme bölümünde LECOM modeline ait kavramlarla öğrenme deneyimleri alanında bir ontoloji oluşturmak için bir kavramsal bir model oluşturulmuştur.

[*] Bu bölümün yazılmasında “Mutlu, M.E. (2015). Öğrenme Deneyimleri Bağlam Modeli, 6. Uluslararası Eğitimde Yeni Eğilimler Kongresi – ICONTE 2015, 24-26 Nisan 2015, Antalya“ kaynağından yararlanılmıştır.

(Not: Yararlanılan kaynaklar yazı dizisinin sonunda topluca verilecektir.)

Project Completion Report Accepted at TÜBİTAK 3001 Project

TÜBİTAK 3001 Projesinde Proje Sonuç Raporu Kabul Edildi

15 Eylül 2014 tarihinde başlamış olan 114K579 numaralı ve “Öğrenme Deneyimlerinin Yönetimi için Çoklu Cihazlı ve Çoklu Algılayıcılı Bir Yaşam Günlüğü Sisteminin Tasarımı, Geliştirilmesi ve Uygulanması” başlıklı TÜBİTAK 3001 araştırma projesine ait proje sonuç raporu 15 Mart 2016 tarihinde TÜBİTAK'a teslim edilmişti. Projenin ait olduğu grup tarafından bir revizyon talep edilmiş ve proje ekibi tarafından revizyon raporu hazırlanarak Mayıs 2016 ayı içinde gruba teslim edilmiştir. TÜBİTAK tarafından Haziran 2016 ayında projeye ait sonuç raporu kabul edilmiş ve proje sonuçlanmıştır.

"Designing an Information Retrieval System for Learning Experiences in the Virtual Environments" Paper Published in Online Journal JRET

"Sanal Ortamlardaki Öğrenme Deneyimleri İçin Bir Enformasyon Erişim Sistemi Tasarımı" Makalesi JRET Çevrimiçi Dergisinde Yayınlandı

Bu yıl 13-15 Mayıs 2016 tarihleri arasında Antalya'da düzenlenen 7. Uluslararası Eğitimde Yeni Eğilimler Kongresi – ICONTE 2016'e sunmuş olduğum "Sanal Ortamlardaki Öğrenme Deneyimleri İçin Bir Enformasyon Erişim Sistemi Tasarımı" isimli çalışma Eğitim ve Öğretim Araştırmaları Dergisi'nin Mayıs 2016 sayısında yayınlandı.

Makaleye  http://www.jret.org/FileUpload/ks281142/File/38.mehmet_emin_mutlu.pdf adresinden erişilebilir.

Mutlu, M.E. (2016). Sanal Ortamlardaki Öğrenme Deneyimleri İçin Bir Enformasyon Erişim Sistemi Tasarımı, Eğitim ve Öğretim Araştırmaları Dergisi, (Journal of Research in Education and Teaching), 5(2), Mayıs 2016, 395-408, ISSN: 2146‐9199

Designing An Information Retrieval System For Learning Experiences In The Virtual Environments

Sanal Ortamlardaki Öğrenme Deneyimleri İçin Bir Enformasyon Erişim Sistemi Tasarımı

Bu yıl 13-15 Mayıs 2016 tarihleri arasında Antalya’da düzenlenecek olan “7th International Congress on New Trends in Education (ICONTE 2016)” konferansı’na gönderdiğim "Sanal Ortamlardaki Öğrenme Deneyimleri İçin Bir Enformasyon Erişim Sistemi Tasarımı" isimli çalışma sözlü bildiri olarak sunulmak üzere kabul edildi:

SANAL ORTAMLARDAKİ ÖĞRENME DENEYİMLERİ İÇİN

BİR ENFORMASYON ERİŞİM SİSTEMİ TASARIMI

Doç.Dr. Mehmet Emin Mutlu

Anadolu Üniversitesi

Açıköğretim Fakültesi

memutlu@anadolu.edu.tr

Özet
21. yüzyılda öğrenme deneyimleri ağırlıklı olarak sanal ortamlarda gerçekleşmektedir. Bireyler günlük öğrenme  etkinlikleri esnasında üzerinde çalıştıkları konularla ilişkili olarak sanal ortamlardaki geçmiş deneyimlerini sıklıkla anımsama gereksinimi duyarlar. Bu çalışmada bireylerin sanal ortamlardaki geçmiş deneyimlerine, deneyimle ilgili olarak anımsadıkları sözcük ve cümleler yardımıyla erişmelerini sağlayan bir yaşam günlüğü sistemi tasarlanarak geliştirilmiştir. Bu amaçla, bireyin kullandığı bütün bilgisayarlardan ekran görüntüleri ve ekran metinleri 30 saniyede bir yakalanarak bir bulut hizmeti üzerinden aktarılmış ve bir araya getirilmiştir. Ardından ekran metinlerine ait dosyalar bir arama motoruyla indekslenerek, anahtar sözcükler ya da cümleleri içeren dosyalara zaman ekseninde erişilebilmiştir. Böylece, bireyin bir sözcük ya da sözcük grubuyla yıl, ay, gün ve saat bazında hangi sıklıkta ilgilendiği belirlenebilmiş, bireyin geçmişte bu sözcük ya da sözcük grubunu içeren bilgisayar ekranı görüntülerine erişebilmesi sağlanmıştır. Çalışmanın son bölümünde, geliştirilen yaşam günlüğü sistemi yaşam günlüklerinin sağladığı ve 5R ile ifade edilen faydalar açısından incelenmiş, olası kullanım biçimleri ile gelecekte gerçekleştirilebilecek geliştirmeler tartışılmıştır.

Anahtar sözcükler: Yaşam günlüğü, öğrenme deneyimi, enformasyon erişim sistemi, ekrandan metin yakalama, zamansal masaüstü arama motoru

Learning Experience Design

Öğrenme Deneyimi Tasarımı

Bu yıl 13-15 Mayıs 2016 tarihleri arasında Antalya’da düzenlenecek olan “7th International Congress on New Trends in Education (ICONTE 2016)” konferansı’na Ayşe Peri Mutlu ile birlikte gönderdiğimiz "Öğrenme Deneyimi Tasarımı" isimli çalışma sözlü bildiri olarak sunulmak üzere kabul edildi:

ÖĞRENME DENEYİMİ TASARIMI

Ayşe Peri Mutlu

Anadolu Üniversitesi, Açıköğretim Fakültesi, Eskişehir

aperi@anadolu.edu.tr

Doç.Dr. Mehmet Emin Mutlu

Anadolu Üniversitesi, Açıköğretim Fakültesi, Eskişehir

memutlu@anadolu.edu.tr

Özet
"Deneyim" öğrenmenin en önemli kaynaklarından biridir. Öğrenme deneyimlerinin düzenlenmesi süreci, geçmiş deneyimlerin değerlendirilmesi, şu anda yaşanmakta olan deneyimlerin izlenmesi-denetlenmesi ve gelecekte yaşanması olası deneyimlerin planlanmasını kapsamaktadır. Yaşanmış ve yaşanmakta olan deneyimlerin düzenlenmesi alışıldık bir faaliyet iken, gelecekte yaşanması olası öğrenme deneyimlerinin planlanması belirsizlikler içermektedir. Planlama, kaynakların bir öğrenme amacı ve hedefleri için tahsis edilmesi olarak ele alındığında, bir öğrenme deneyiminin planlanması, öğrenme deneyimine eşlik eden bütün bağlamların önceden belirlenmesi, temin ve tahsis edilmesi, düzenlenmesi ve bir senaryo eşliğinde zamanlanmasını gerektirir.  Bu bağlamlar arasında mekânlar, kişiler, davranışlar, olaylar, duygular, varlıklar ve bireyin özellikleri bulunur. Bir öğrenme deneyiminin planlanması bu düzeyde ele alındığında, “öğrenme deneyimi tasarımı” kavramına gereksinim duyulmaya başlanır.  Bu çalışmada “öğrenme deneyimi tasarımı”, öğrenme deneyimlerinin yönetimi yaklaşımı açısından ele alınarak kavramsallaştırılmaya çalışılacak ve yaşam boyu öğrenme, yaşam genişliğinde öğrenme ve yaşam derinliğinde öğrenme boyutlarında uygulanabilirliği tartışılacaktır.

Anahtar sözcükler: Öğrenme deneyimi, öğrenme deneyimi bağlamları, öğrenme deneyimi tasarımı, öğrenme deneyimlerinin düzenlenmesi

[Working Paper] Screen Capture for LifeLogging - OCR Version

[Çalışma Raporu] Yaşam Günlüğü İçin Ekran Görüntüsü Yakalama - OCR Sürümü

Mutlu, M.E. (2016). Yaşam Günlüğü için Ekran Görüntüsü Yakalama – OCR Sürümü. Çalışma Raporu. Kişisel Bilgi Sistemleri Blogu. (15 Mart 2016).
http://personalinformationsystems.blogspot.com.tr/2016/03/working-paper-screen-capture-for.html

Yaşam Günlüğü İçin Ekran Görüntüsü Yakalama - OCR Sürümü

Mehmet Emin Mutlu

Anadolu Üniversitesi, Açıköğretim Fakültesi

memutlu@anadolu.edu.tr

Özet

Bilgisayarı yoğun olarak kullanan bireylerin bir yaşam günlüğü sistemiyle ekran görüntülerini kaydetmeleri, daha sonra gereksinim duyduklarında yaşam deneyimlerine geri dönerek anımsamalarını kolaylaştıracaktır. Bilgisayar ekranı görüntülerinde görüntü ve videonun yanı sıra yoğun metin bulunur. Ekran görüntüsü yakalama uygulamalarının bu metinleri ekran görüntüsünü tarayarak elde etmeleri ve kaydetmeleri deneyimlerin bilgisayar tarafından tanımlanması için sistemlerin geliştirilmesine olanak sağlayabilir. Bu çalışmada, bir yaşam günlüğü sistemiyle bütünleşik olan ekran görüntüsü yakalama uygulamasına, yakalanan ekran görüntülerindeki metinlerin açık kaynak kodlu bir optik karakter tanıma uygulamasıyla elde edilmesi ve görüntülere paralel biçimde kaydedilmesi işlevleri eklenerek, yeni bir araç geliştirilmiştir. Çalışmanın sonunda geliştirilen aracın potansiyel kullanım biçimleri tartışılmıştır.

Anahtar Sözcükler: Ekran görüntüsü yakalama, yaşam günlüğü, ekrandan karakter tanıma

Giriş

Yaşam günlüğü araştırmalarında ağırlıklı olarak giyilebilir yaşam günlüğü kameralarına odaklanıldığı için bireylerin bilgisayar başında yaşadıkları deneyimlerin incelenmesine çok yer verilmemiştir. Mutlu, kamera görüntülerinin yanı sıra ekran görüntülerini de düzenli olarak kaydeden bir yaşam günlüğü sistemi geliştirerek bu konuyu araştırmıştır (Mutlu, 2013). İlgili araştırmada yaşam günlüğü ile yakalanan ekran görüntüleri kullanıcı tarafından taranarak, görüntülerin anımsattığı etkinlikler ya da olaylar yine kullanıcı tarafından yorumlanmakta ve anlamlandırılmaktadır. Bilgi çalışanlarının ekran görüntülerinde görüntü ve videonun yanı sıra metin de önemli yer tutmaktadır. Bu çalışmada kullanıcıların yaşam günlüğü araçlarıyla yakaladıkları bilgisayar ekranı görüntülerini anlamlandırma işlemini desteklemek amacıyla ekran görüntülerinde yeralan metinlerin elde edilmesini sağlayacak açık kaynak yazılımlarıyla desteklenmiş bir uygulamanın geliştirilmesi amaçlanmıştır. 

Ekran görüntüsünden karakter tanıma

Optik karakter tanıma (OCR) yapay zekâ alanının en başarılı uygulamalarından birisidir. Genellikle kağıt ortamındaki görüntünün bir tarayıcı yardımıyla görüntü dosyasına aktarılması ve bu görüntü dosyası üzerinde çalışarak kağıt ortamındaki metnin tanınması şeklinde gerçekleşmektedir. Bu süreç genel olarak görüntünün ön işlemden geçirilmesi, karakterlerin belirlenmesi ve tanınması ve metnin yerleşim ve dil konularının ele alındığı son işlemeden geçirme şeklinde üç aşamada gerçekleştirilmektedir (Wikipedia, 2014). Dijital görüntülerden metin elde edilmesi ise ayrı bir araştırma konusudur. Einsele-Aazami (2008) dijital görüntülerden metin elde etme işleminin dört alt alana ayırmaktadır: (1) web görüntüleri, (2) video görüntüleri, (3) dijital kameralarla yakalanmış görüntüler ve (4) ekran görüntüleri. Bu alanların her birinin kendisine ait özellikleri nedeniyle metin belirleme ve tanıma süreci farklılaşmaktadır. Bilgisayar ekranındaki görüntülerden metin elde etme işlemi ise metnin bilgisayar ekranındaki karmaşık yerleşim tasarımı, metnin karmaşık arka görüntüye sahip olabilmesi, küçük font boyutlarının kullanımı (<10 punto) gibi özelliklerden dolayı özel bir araştırma alanını oluşturmaktadır (Einsele-Aazami, 2008). Ekrandan metin yakalama konusunda çeşitli yaklaşımlar geliştirilmiş ve varolan yaklaşımlar karşılaştırılmıştır  (Wachenfeld ve ark.; 2006; Rashid ve ark., 2011).

Geliştirilen uygulama

Optik karakter tanıma (OCR) teknolojisiyle ekran görüntülerindeki yazıları metne dönüştürecek bir uygulama geliştirilmiştir. Bu uygulama ile görüntü kaydetme ve görüntüden elde edilen metni kaydetme işlemleri eş zamanlı olarak yapılmaktadır. Ekran görüntüsünden metin elde etme ve saklama işlevi önceki projelerde geliştirilmiş olan LifeLoggingSC (Screen Capture) ekran görüntüsü yakalama yazılımına entegre edilerek LifeLoggingSC (OCR) (ScreenCapture-Optical Character Recognition ) yazılımı oluşturulmuştur. 

Ekran görüntüsünden optik karakter tanıma ile metin elde etme amacıyla Tesseract (Smith, 2007) tabanlı açık kaynak kodlu OCR yazılımları araştırılmış ve komut satırı ile çalıştırılabilen ve ekran görüntülerinden başarıyla metin elde edebilen AHK ile kodlanmış, Tesseract tabanlı Capture2Text (Brochtrup, 2014) yazılımının kullanılmasına karar verilmiştir. Capture2Text yazılımında önce görüntü yakalama ve görüntü üzerinde Leptonica ile iyileştirme yapma şeklinde ön işlem, ardından Tesseract aracılığı ile metin yakalama (metin belirleme ve tanıma) ve son olarak da metin üzerinde dil işlemlerinin gerçekleştirildiği işlem-sonrası aşamalarının bulunduğu görülmektedir (Brochtrup, 2014). Leptonica, Dan Bloomberg tarafından, görüntü işleme ve görüntü çözümleme uygulamalarında kullanılan açık kaynak kodlu yazılımların eğitsel amaçlarla yayınlandığı bir sitedir (Leptonica.com). Tesseract 1984-1995 yılları arasında HP Laboratuvarlarında çalışan Ray Smith tarafından doktora tezi esnasında geliştirilmiş bir OCR motorudur. 2005 yılında HP firması Tesseract’ı açık kaynak koduyla birlikte yayınlamıştır. Tesseract aralarında Türkçe’nin de bulunduğu 50’den dili desteklemektedir. Günümüzde https://code.google.com/p/tesseract-ocr/ sitesinden erişilebilmektedir (Smith, 2007). 

LifeLoggingSC (OCR) Uygulamasının Kullanımı

.Net 4.5 ile geliştirilmiş olan ve ekran görüntüsü yakalamak için System.Drawing.Imaging API'si kullananan LifeLoggingSC (OCR) uygulaması çalıştırıldığında, önce ekran görüntüsü yakalanmakta ve kaydedilmekte, ardından Capture2Text yazılımı çağrılarak ekran yeniden taranmakta ve metinler çıkartılarak görüntü dosyasından ayrı bir klasöre kaydedilmektedir. İlk denemelerde, yakalanan görüntünün kaydedildiği dosyadan Capture2Text ile  metin elde edilmesi öngörülmüş olmasına rağmen, Capture2Text'in yüksek duyarlıklı TIFF dosyası kullanması gereği nedeniyle, ekran görüntüsü yakalama ve ekran metni yakalama işleminin ayrı ayrı gerçekleştirilmesine karar verilmiştir. Görüntüler ve görüntülerin içerdiği metinler kullanıcının OneDrive klasörünün altındaki "Resimler\LifeLogging" klasörünün altındaki, yakalamanın gerçekleştiği yıl, ay ve güne ait klasörlerin altında tutulmaktadır. Aynı güne ait yakalanan görüntüler [kullanıcı adı-bilgisayar adı-"ScreenCapture"] ibaresini içeren klasörün altında, zaman etiketli görüntü dosyalarına; yakalanan görüntülere ait metinler ise  [kullanıcı adı-bilgisayar adı-"ScreenCapture-OCR"] ibaresini içeren klasörün altında, zaman etiketli metin dosyalarına kaydedilmektedir. Yakalama işlemi Start düğmesine tıklandıktan sonra Stop düğmesine tıklanana kadar varsayılan olarak her 30 saniyede bir tekrarlanmaktadır.

Resim 1. LifeLoggingSC (OCR) uygulamasının arayüzü

Sonuç ve Öneriler

Yakalanan ekran metinleri ekran görüntüsüne göre oldukça az yer kaplamaktadır. Rassal olarak seçilen bir güne ait 2560x1440 ekran çözünürlüğüne sahip ekran görüntüleri dosyalarının büyüklüğü 29 KB ile 423 KB arasında olurken, aynı güne ait metin dosyalarının büyüklüğü 1 KB ile 9 KB arasında değişmektedir. Diskte kapladığı yer az olmasına rağmen LifeLoggingSC (OCR) ile gerçekleştirilen yakalama işlemi toplamda çok büyük metinsel verinin elde edilmesine ve saklanmasına neden olacaktır. Olası en büyük değerler için; günde 2.880 görüntü/gün x 2.000 kelime/görüntü =5.760.000 kelime/gün; yılda 5.760.000 kelime/gün x 365 gün = 2.102.400.000 kelime öngörülmektedir. Bu değerlerin sadece bir bilgisayara ait olduğu, yaşam günlüğü sisteminin kullanıcıya ait birden fazla bilgisayardan görüntü alabildiği unutulmamalıdır. Bu aşamada bu sayıları bir ölçüde azaltmak amacıyla “ekranda değişiklik yoksa kayıt yapmama” benzeri iyileştirmeler gerçekleştirilebilir. Diğer taraftan LifeLoggingSC (OCR) ile yakalanan ekran metinlerinin bir masaüstü arama motoru yardımıyla indekslenmesi sonucunda, bireyler ekran görüntülerini anahtar sözcükler aracılığıyla arama olanağına kavuşabilirler. 

Teşekkürler

Bu çalışma Türkiye Bilimsel ve Teknik Araştırmalar Kurumu (TÜBİTAK) tarafından 115K497 nolu araştırma projesi kapsamında desteklenmiştir.

Yararlanılan Kaynaklar

• Brochtrup, C. (2014). “Capture2Text”, http://capture2text.sourceforge.net/, Son erişim tarihi: 26.08.2015
• Einsele-Aazami (2008). Recognition Of Ultra Low Resolution, Anti-Aliased Text With Small Font Sizes.  Phd. Dissertation Department of Computer Science - University of Fribourg. Switzerland.
• Mutlu, M.E. (2013). “Öğrenme Deneyimlerinin Kaydedilmesi İçin Çoklu Cihaz Tabanlı Bir Yaşam Günlüğü Sisteminin Geliştirilmesi”, Eğitim ve Öğretim Araştırmaları Dergisi (JRET), 2(4), 256-269.
• Rashid, S. F., Shafait, F., & Breuel, T. M. (2011). “An evaluation of HMM-based Techniques for the Recognition of Screen Rendered Text”, In Document Analysis and Recognition (ICDAR), 2011 International Conference on (1260-1264), IEEE.
• Smith, R. (2007). “An Overview of the Tesseract OCR Engine”, In ICDAR, 7, 629-633.
• Wachenfeld, S., Klein, H. U., & Jiang, X. (2006). “Recognition of screen-rendered text”, In Pattern Recognition, 2006, ICPR 2006, 18th International Conference on (1086-1089), IEEE.
• Wikipedia (2014a). “Optical character recognition”, http://en.wikipedia.org/wiki/Optical_character_recognition, Son erişim tarihi: 25.03.2016