Наша работа направлена на адаптацию глубоких нейронных сетей для улучшения изображений в условии шума с применением дополнительной семантической информации. Мы исследуем модель VQGAN, объединяющую подходы свёрточных нейронных сетей, моделей трансформеров и генеративных состязательных сетей. В нашем подходе помимо зашумленных изображений в сеть подается дополнительная информация в виде масок сегментации объектов на изображении.
Титаренко М.А. (науч. рук. Малашин Р.О.) Использование карт сегментации в современных моделях нейронных сетей для улучшения изображений // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2022]. URL: https://kmu.itmo.ru/digests/article/8109