FROM VIDEO TO RECIPE: LEVERAGING VISION LANGUAGE MODELS FOR CULINARY ANALYSIS

Görsel dil modelleri (VLM’ler), pek çok alanda dönüşümü tetiklediği gibi gıda araştırmaları ve gıda biliminde de her geçen gün kendine daha fazla kullanım alanı bulmaktadır. Her ne kadar VLM’lerin doğal dil işleme yetenekleri oldukça güçlü olsa da özellikle video yorumlamada dil/kültür önyargısı ve yanlış bilgi üretme riski devam etmektedir. Bu çalışmada, Türkçe dil desteğine sahip açık ağırlıklı büyük VLM’ler kullanılarak kültüre özgü yemek videolarından tarif çıkarımı görevindeki performansı incelenmiştir. Çalışma kapsamında yürütülen deneylerde, sosyal medyada yer alan 1 dakikanın altındaki videolardan yararlanılarak tarif üretme, malzeme listesinin çıkarımı ve pişme süresinin tahmin edilme kabiliyetleri değerlendirilmiştir. Elde edilen bulgular, VLM’lerin yemek adı sınıflandırmasını çok doğru bir şekilde yaptığı, malzemelerin bir bölümünü de doğru biçimde yakalayabildiğini; ancak tarifin bütün adımlarını kapsayan eksiksiz ve güvenilir bir tarif üretmede hâlâ geliştirilmesi gerektiğini göstermektedir. Özellikle kısa süreli videolarda hazırlık ve pişirme sürecindeki ayrıntılar ya yanlış ya da atlanabilmekte, miktar tahminleri ise yanlış veya belirsiz kalmaktadır. Buna rağmen, Türkçe dil desteği olan açık ağırlıklı VLM’ler gastronomide tarif çıkarımı, beslenme analizi ve video içeriklerinin otomatik işlenmesi için önemli bir başlangıç noktası sunmaktadır. Gelecek çalışmalarda, VLM’lerde bulunan “düşünme” kipinin etkinleştirilmesi ve alma ile artırılmış üretim (RAG) yaklaşımlarının entegrasyonu ile daha doğru, ayrıntılı ve kültürel bağlama uygun tarif ve beslenme analizlerinin yapılabileceği değerlendirilmektedir.