Застосування великих мовних моделей для виявлення вразливостей програмного коду

Анотація

У статті розглядається застосування великих мовних моделей (ВММ), зокрема GPT-4, для автоматизованого виявлення вразливостей у програмному коді. Сучасні методи статичного аналізу коду мають обмеження у виявленні складних вразливостей та контекстуальних загроз безпеці, що потребує розроблення нових підходів на основі технологій штучного інтелекту. Для оцінки здатності великих мовних моделей (ВММ) виявляти вразливості у програмному коді було проведено серію експериментів із використанням кількох поколінь моделей GPT, зокрема: Ada (350 млн параметрів), Curie (6,7 млрд), Davinci (175 млрд), а також найновішої моделі GPT-4 (≈1,7 трлн параметрів). На основі порівняльного аналізу з традиційним статичним аналізатором Snyk показано, що GPT-4 здатна виявляти більшу кількість вразливостей, охоплюючи ширший спектр загроз, а також пропонувати релевантні виправлення для їх усунення. У роботі використано 64 фрагменти коду на восьми мовах програмування, що охоплюють 33 категорії вразливостей згідно з класифікацією Common Weakness Enumeration (CWE). Експериментальне дослідження проведено шляхом порівняння результатів аналізу коду засобами GPT-4 та Snyk на ідентичних наборах тестових даних. Модель GPT-4 продемонструвала високу ефективність в автоматичному рефакторингу коду, зокрема забезпечила зниження рівня критичних вразливостей на 94% порівняно з початковим станом програмного коду. Окремо проаналізовано метрики точності виявлення загроз, частоту хибнопозитивних та хибнонегативних результатів, а також здатність моделі надавати детальні пояснення виявлених проблем безпеки. Особливою перевагою GPT-4 стала її здатність працювати в режимі автоматичного рефакторингу, що був закладений у варіаціях системного контексту. Результати дослідження свідчать про доцільність застосування ВММ як додаткового інструменту забезпечення безпеки програмного коду. Запропоновано можливості інтеграції великих мовних моделей у сучасні середовища безперервної інтеграції та розгортання (CI/CD) та окреслено перспективи гібридного застосування разом з класичними інструментами автоматизованого тестування безпеки програмного забезпечення.