Özet

Süper-çözünürlüklü görüntü oluşturma, birbirine göre kaymış çok sayıda düşük kaliteli ve düşük çözünürlüklü (DÇ) görüntüden yüksek kaliteli ve yüksek çözünürlüklü (YÇ) bir görüntü elde etme olarak tanımlanabilir. Aynı manzaranın birden çok görüntüsünün mevcut olduğu uydu fotoğrafçılığı ve tıbbi görüntüleme gibi uygulamalarda süper-çözünürlük kullanılabilir.  YÇ bir görüntünün sunduğu detay DÇ bir görüntünün sunduğu detaya göre daha fazla olduğundan çoğu elektronik görüntüleme uygulamalarda görüntülerin YÇ olması istenir. Örneğin, tomografi ve MR gibi YÇ tıbbi görüntüler bir doktorun teşhisi doğru koymasına yardım eder. Benzer şekilde, uydulardan elde edilen görüntülerin YÇ olması bir nesnenin benzerlerinden ayırt edilebilmesini sağlarken, YÇ görüntülerin mevcut olması durumunda bigisayar görüş sistemlerinde örüntü tanımanın performansı arttırılabilir. Bir başka uygulama da PAL veya NTSC video işaretlerinin bozunum olmadan yüksek çözünürlüklü televizyon (HDTV) işaretine dönüştürülmesidir.

1970’lerden itibaren sayısal bir görüntü elde etmek için CCD ve CMOS algılayıcılar kullanılamaktadır. Bu algılayıcılar, mevcut çoğu görüntü uygulamaları için yeterli olmakla birlikte gelecekteki talebi karşılamayacaktır. Bu nedenle, bu algılayıclar kullanılarak elde edilen çözünürlük seviyesi bir şekilde arttırılmalıdır. Çözünürlüğü arttırmanın bir yolu algılayıcıda kullanılan piksel boyutunun küçültülmesi, yani birim alana düşen piksel miktarının arttırılmasıdır. Piksel boyutu küçüldükçe algılayıcı üzerine düşen ışığın miktarı azalıp görüntü kalitesine zarar veren kuantum gürültüsü (shot noise) meydana gelmektedir. Diğer bir deyişle, piksel boyutunu küçültmenin bir sınırı vardır ve mevcut görüntü algılayıcılarında bu sınıra neredeyse erişilmiştir. Çözünürlüğü arttırmanin başka bir yolu ise çip boyutunu büyültmektir. Çip boyutunu büyültme, kapasiteyi arttırıp yük transferini yavaşlattığından tercih edilmemektedir.  Algılayıcı  üretim teknolojilerindeki bu sınırlamaları aşmak için yeni bir yaklaşım gereklidir. Bu konuda umut veren yaklaşımlardan biri, işaret işleme teknikleri kullanılarak eldeki çok sayıdaki DÇ görüntüden YÇ bir görüntü elde etmektir. Son zamanlarda, bu şekilde bir çözünürlük iyileştirme yaklaşımı üzerine çok sayıda araştırma yapılmıştır. İşaret işleme yaklaşımının temel üstünlükleri, maliyetlerinin düşük olması ve mecvut görüntüleme sistemlerinin kullanılabilmesidir.

Literatürde süper-çözünürlük, elde edilmesi amaçlanan yüksek kaliteli ve YÇ görüntünün DÇ görüntülere bükme, bulanıklaştırma, alt-örnekleme ve toplamsal gürültü gibi operatörler aracılığıyla ilişkilendirildiği ters bir problem olarak ele alınmıştır. YÇ bir görüntü oluşturmak için önerilen tüm yöntemlerde bulanıklık ve hareket operatörlerinin önceden bilinmesi gereklidir. Hareket vektörleri, bilinen hareket kestirim algoritmları kullanılarak kestirilebilir. Ancak, bildiğimiz kadarıyla önerilen yöntemlerin hemen hemen tamamında bulanıklık operatörünün bilindiği varsayılmaktadır  Pratikte, bulanıklık operatörü bilinmediğinden ya kestirilmeli ya da YÇ görüntü bulanıklık operatörüne ihtiyaç duyulmadan oluşturulabilmelidir. Diğer bir deyişle, gerçek  uygulamalar için kullanılacak bir süper-çözünürlük yöntemi gözü kapalı bir yöntem olmalıdır.

Bu projede, ilk önce DÇ görüntüler arasındaki hareketin global kayma şeklinde olduğu özel durum için gözü kapalı bir süper-çözünürlük yöntemi geliştirilecek, daha sonra ise bu sınırlama kaldırılacaktır. Bulanıklık operatörü genelde iki boyutlu (2-D) sonlu impuls yanıtlı (FIR) bir filtre olarak modellenir ve DÇ her görüntü için aynı olmak zorunda değildir. Katsayıları 2-D sabit genlik algoritması (CMA) kullanılarak güncellenen birbirinden farklı uyarlanabilir 2-D FIR filtrelere, DÇ görüntüler uygulanıp filtre çıkışındaki işaretlerin üst-örneklenip toplanmasıyla YÇ görüntü elde edilir. CMA, haberleşme teorisinde gözü kapalı kanal denkleştirme probleminde kullanılan bir yöntemdir ve amacı sembollerarası girişimi (ISI) gidermektir. CMA, gerekli işaretin sabit genliğe (CM) sahip veya sonlu sayıda eleman içeren bir alfabeden olduğu gerçeğine dayanır. CMA, CM şartını sağlayan işaretler için en iyi performansı verir ancak bu şartı sağlamayan işaretler için de performansta bir miktar kayıp olmakla birlikte iyi sonuçlar vermektedir. CM şartının sağlanmaması durumunda performanstaki kötüleşmenin iki nedeni vardır. Birinci olarak, işaretin savrukluğu arttıkça, maliyet yüzeyi düzleşip belirgin bir iyileşme için gerekli yineleme sayısı artmaktadır. İkinci olarak, işaret CM varsayımından uzaklaştıkça, kararlılık için yineleme adım aralığı küçültülmelidir. Adım aralığının küçültülmesi yakınsamayı yavaşlatmaktadır.

Her piksel sonlu sayıda bitle (genellikle 8 bit) temsil edildiğinden, sayısal bir görüntü sonlu sayıda eleman içeren bir alfabe kaynağı gibi düşünülebilir. Ancak, sayısal bir görüntünün piksel değerlerinin CM şartını sağlamadığı açıktır. Bu nedenle, DÇ görüntülerin piksel değerlerinin bire bir bir haritalama aracılığıyla CM şartını sağlayan karmaşık sayılara çevrilmesi yüksek  grilik (bit) seviyelerinde performansta kötüleşmeyi engelleyebilir. DÇ görüntülerin pikselleri karmaşık sayılarla temsil edilirse, YÇ orijinal görüntüyü elde etmek için kullanılan  uyarlanabilir 2-D FIR filtreler de karmaşık değerli olmalıdır. Karmaşık değerli bir filtrenin dört adet gerçek değerli filtre kullanılarak gerçekleştirilebildiği bilinmektedir. Uyarlanabilir karmaşık değerli filtre aşamasından sonra elde edilen  bulanıklığı giderilmiş karmaşık değerli DÇ görüntüler, ters haritalama kullanılarak gerçek değerli görüntülere dönüştürülebilir ve YÇ orijinal görüntü elde edilebilir.

Proje süresince yapılacak çalışmalar aşağıdaki gibi özetlenebilir. İlk önce, değişik karmaşık haritalama seçeneklerinden hangisinin süper-çözünürlük için en iyi sonuç vereceği araştırılacaktır. İkinci olarak, karmaşık haritalama tabanlı gözü kapalı süper-çözünürlük yöntemi yazılımla gerçekleştirilip performansı sentetik ve gerçek görüntüler üzerinde test edilecektir. Üçüncü olarak, DÇ görüntüler arasındaki hareketin global kayma olduğu varsayımını ortadan kaldırmak için gözlem modelinde alt örnekleme ve bulanıklık operatörlerinin sırasının yerdeğiştirilmesi önerilecek, bu durumuda sunulacak yöntemin bulanıklığı giderilmiş DÇ görüntüler vereceği gösterilecektir. O halde, model değişikliğine dayalı yöntem bilinen herhangi bir gözü kapalı olmayan süper-çözünürlük yönteminden önce kullanılabilecektir. Alt örnekleme ve bulanıklık operatörlerinin sırasının yerdeğiştirilebilmesi için gerekli koşulların tespit edilmesi araştırılması gereken bir konudur. Son olarak, gerçekleştirilecek yötemler uyarlamalı olduğundan, yakınsaklık analizleri yapılacaktır. Yakınsaklık analizi statik ve dinamik olmak üzere iki aşamada gerçekleştirilecektir. Statik yakınsaklık analizinde, maliyet fonksiyonunun en küçük olduğu noktaların konumları, dinamik yakınsaklık analizinde ise uyarlamalı filtre parametreleri gözü kapalı olmayan Wiener çözümüne yakınken yakınsama için gerekli koşullar araştırılacaktır.