Вдосконалення методів імпейнтингу на основі генеративних моделей
DOI:
https://doi.org/10.33216/1998-7927-2025-294-8-5-10Ключові слова:
inpainting, GAN-мережіАнотація
Обсяг візуальної інформації, що нас оточує, постійно зростає, і це зумовлює потребу в інтуїтивно зрозумілих інструментах для її обробки. Дослідження, які спрямовані на удосконалення алгоритмів для додавання або видалення об'єктів із графічного контенту, є актуальними та мають високий практичний потенціал. Системи, які використовують такі алгоритми, можуть знайти застосування в різних галузях - від кінематографа та фотографії до реставрації мистецьких творів і навіть медицини. Технологія Image inpainting дозволяє автоматично відновлювати відсутні частини зображення, економлячи час та зусилля користувача. Попри наявність великої кількості рішень для задач реконструкції все ще бракує систем, які б комплексно використовували генеративні моделі для досягнення високої якості відновлення контенту. Це підкреслює значущість досліджень у даній сфері, спрямованих на вдосконалення існуючих алгоритмів. Оцінка сучасного стану об'єкта дослідження характеризується значним прогресом у розвитку генеративних моделей. Водночас існує потреба в подальшому вдосконаленні для підвищення універсальності, оптимізації використання ресурсів та зменшення обчислювальних витрат. В роботі досліджено методи генеративних конкурентних мереж (GAN) для задач зафарбовування зображень, оцінено ефективність наявних підходів. Удосконалено метод генерації контенту із застосуванням унікальної функції втрат, яка за показниками точності та часу виконання перевищує розглянуті конкурентні реалізації. Розроблено програмне забезпечення для вирішення практичних задач. Проведено роботу над системою відновлення графічного контенту на основі GAN, здійснено її вдосконалення за рахунок математичних інструментів. Результати, що отримані в рамках дослідження, демонструють покращення якості відновлення зображень за допомогою розробленої системи на основі GAN, хорошу якість видалення структур із зображень з мінімальними артефактами навіть при низькій роздільній здатності за короткий час. Однак, слід зауважити, точність відновлення може знижуватися при роботі із складними чи деталізованими зображеннями. Практична значущість дослідження поширюється на всі галузі, де обробка візуальних даних має ключове значення. Вона полягає у вирішенні проблеми неякісного видалення об’єктів із зображень, розвитку алгоритмів заміни та видалення конкретних ділянок на зображеннях за допомогою генеративних конкурентних мереж.
Посилання
1. Inst-Inpaint: Instructing to Remove Objects via Text Prompts. Cornell University. URL: https://arxiv.org/abs/2304.03246 (data accessed: 05/09/2025)
2. Image Inpainting with Cascaded Modulation GAN and Object-Aware Training. Cornell University. URL: https://arxiv.org/abs/2203.11947 (data accessed: 04/09/2025)
3. Remove Objects and Their Effects in Images with Paired Video-Frame Data. Cornell University. URL: https://arxiv.org/abs/2501.07397 (дата звернення 05.09.2025)
4. Barglazan A.-A., Brad R., Constantinescu C.Image Inpainting Forgery Detection: A Review. J. Imaging. 2024.Vol. 10, No. 2. P. 42. URL: https://doi.org/10.3390/jimaging10020042
5. What is a GAN?. Amazon.URL https://aws.amazon.com/what-is/gan/ (data accessed: 02/09/2025)
6. GPNet: Simplifying Graph Neural Networks via Multi-channel Geometric Polynomials. Cornell University. URL: https://arxiv.org/abs/2209.15454 (data accessed: 05/09/2025)
7. Goodfellow I., Bengio Y., Courville A. Deep Learning. Cambridge, MA: MIT Press, 2016. P.775.
8. Ma Y., Liu X., Bai S., Wang L., He D., Liu A. Coarse-to-Fine Image Inpainting via Region-wise Convolutions and Non-Local Correlation. The 28th International Joint Conference on Artificial Intelligence (IJCAI-19). 2019. P. 3123–3129. URL: https://doi.org/10.24963/ijcai.2019/433
