Derin öğrenme yöntemleri ile dokunsal parke yüzeyi tespiti


Thesis Type: Postgraduate

Institution Of The Thesis: Marmara Üniversitesi, Turkey

Approval Date: 2020

Thesis Language: Turkish

Student: Abdulsamet Aktaş

Co-Consultant: BUKET DOĞAN, ÖNDER DEMİR

Abstract:

Gerçek zamanlı çalışan sistemlerde görüntü işleme uygulamaları yapmak son zamanlarda oldukça popüler olan bir konu haline gelmiştir. Yapay zekâ alanının alt dallarından biri olan derin öğrenme yöntemleri ve görüntülerden nesne tespiti yapma alanında kullanılan görüntü işleme algoritmaları birlikte kullanılarak yeni uygulamalar geliştirilmektedir. Geliştirilen bu uygulamalar, otonom otomobiller, otonom insansız hava araçları, yardımcı robot teknolojileri, engelli ve yaşlı bireyler için asistan teknolojileri gibi çalışma alanlarında kullanılmaktadır. Gerçekleştirilen bu çalışmada görme engelli bireyler için yardımcı bir teknoloji olarak derin öğrenme yöntemleri kullanılarak dokunsal parke yüzeylerinin tespit edilmesi amaçlanmıştır. Geleneksel görüntü işleme algoritmalarının aksine bu çalışmada derin öğrenme yöntemleri ile görüntü işleme algoritmaları birlikte kullanılmıştır. Nesne tespit etme alanında en iyi modellerden biri olan YOLO-V3 modeli DenseNet modeli ile birleştirilerek YOLOV3-Dense modeli oluşturulmuştur. YOLO-V2, YOLO-V3 ve YOLOV3-Dense modelleri tarafımızca oluşturulmuş olan ve içerisinde 4580 etiketli görsel bulunan Marmara Dokunsal Parke Yüzeyi(MDPY) veri seti üzerinde ayrı ayrı eğitildikten sonra performansları test veri seti üzerinde birbirleri ile karşılaştırılmıştır. %89 F1-skor, %92 ortalama hassasiyet ve %81 IoU değerleri ile YOLOV3-Dense modelinin dokunsal parke yüzeyi tespit etmede diğer modellerden daha iyi olduğu gözlemlenmiştir. Saniyede 60 kare çalışma hızı ile YOLOV3-Dense modeli gerçek zamanlı çalışan sistemlerde de kullanılabilmektedir. -------------------- Image processing applications in real-time systems have become a popular topic in recent times. Deep learning methods, which are one of the sub-branches of artificial intelligence, and image processing algorithms are used together to develop applications in many fields such as autonomous automobiles, autonomous unmanned aerial vehicles, assistive robot technologies, assistant technologies for disabled and elderly individuals. This study aims to detect the tactile paving surfaces with deep learning methods in order to design an assistive technology system that can be used by visually impaired individuals, autonomous vehicles and robots. Contrary to traditional image processing algorithms, deep learning methods and image processing algorithms are used together in this study. The YOLO-V3 model, which is one of the best methods of object detection, is combined with the DenseNet model to create the YOLOV3-Dense model. YOLO-V2, YOLO-V3 and YOLOV3Dense models were trained on the Marmara Tactile Paving Surface (MDPY) dataset, which was created by the researchers and included 4580 images, and their performances were compared with each other on the test dataset. It was observed that YOLOV3-Dense model is better than other models in detecting tactile paving surface with 89% F1-score, 92% mean average Precision(mAP) and 81% IoU values. At 60 frames per second, the YOLOV3-Dense model can also be used in real-time systems.