:::::: № 6 ноябрь-декабрь 2025 г. :::::: - «Журнал «Защита информации. Инсайд»

УДК 004.056.5 + 004.89

Основной целью исследования является разработка новой методики автоматизированного поиска оптимального вектора атаки на основе глубокого обучения с подкреплением. Актуальность исследования обусловлена необходимостью автоматизации процесса тестирования на проникновение, который традиционно опирается на экспертные знания. Предлагаемая методика включает в себя выполнение следующих этапов: построение графа атак с использованием инструмента MulVAL на основе данных о конфигурации и уязвимостях целевой сети; преобразование графа атак в матрицу переходов с системой вознаграждений; обучение агента в моделируемой среде для поиска последовательности пар типа «состояние — действие», которая максимизирует кумулятивное вознаграждение. Данная методика развивает методологическую основу предыдущих исследований, преодолевая ограничения существующих методов поиска оптимального вектора атаки, включая нестабильность обучения, недостаточную производительность и точность выбора действий. Решение обозначенных проблем достигается за счет разработки модели на основе двойной DQN (Double Deep Q-Network) с приоритизированным воспроизведением опыта. Для апробации предлагаемой методики было разработано ПО на языке программирования Python. Экспериментально подтверждена способность новой модели достоверно и эффективно выявлять оптимальный вектор атаки в моделируемых сетевых средах различной сложности. Проведенный сравнительный анализ демонстрирует сокращение потерь при обучении на 70,7% и повышение эффективности использования данных на 13,0% по сравнению с базовым методом.

< ... >

Ключевые слова: обучение с подкреплением, глубокое обучение, тестирование на проникновение, графы атак, информационная безопасность, анализ уязвимостей

The proposed methodology involves the following stages: constructing an attack graph using the MulVAL tool based on the target network’s configuration and vulnerability data; converting the attack graph into a transition matrix with an associated reward system; and training an agent in a simulated environment to identify the optimal sequence of state-action pairs that maximizes the cumulative reward. This methodology advances the methodological foundation of previous studies by overcoming the limitations of existing methods for identifying optimal attack vectors, such as instability in learning, inaccurate action selection, and scalability challenges in large networks. The described problems are resolved by developing a model based on the Double DQN (Double Deep Q-Network) with prioritized experience replay. The software for testing the proposed methodology was implemented in Python. It has been experimentally confirmed that the novel model is able to accurately and effectively identify the optimal attack vector within simulated network environments of diverse complexity.

Keywords: reinforcement learning, deep learning, penetration testing, attack graphs, information security, vulnerability analysis

Литература

Huang L. Optimizing intelligent penetration path planning using reinforcement learning: A focus on valid action masking and sample enhancement / L. Huang // Applied and Computational Engineering. – 2024. – V. 82, № 1. – P. 142–147 [Электронный ресурс]. – URL: http://dx.doi.org/10.54254/2755-2721/82/20241051/ (дата обращения: 13.10.2025).
Fyodor. Nmap: свободный сканер безопасности, сканер портов и инструмент исследования сети / Fyodor [Электронный ресурс]. – URL: https://nmap.org/ (дата обращения: 19.09.2025).
MulVAL: A logic-based enterprise network security analyzer / Argus Cyber Security Lab, 2012 [Электронный ресурс]. – URL: http://www.arguslab.org/software/mulval.html (дата обращения: 19.09.2025).
Metasploit: программное обеспечение для тестирования на проникновение / Rapid7 [Электронный ресурс]. – URL: https://www.metasploit.com/ (дата обращения: 19.09.2025).
Yousefi M. A reinforcement learning approach for attack graph analysis / M. Yousefi, N. Mtetwa, Y. Zhang, H. Tianfield // 2018 17th IEEE International Conference On Trust, Security And Privacy In Computing And Communications / 12th IEEE International Conference On Big Data Science And Engineering (TrustCom/BigDataSE). – 2018. – С. 212–217.
Common Vulnerability Scoring System v3.1 : спецификационный документ / Forum of Incident Response and Security Teams [Электронный ресурс]. – URL: https://www.first.org/cvss/v3.1/specification-document/ (дата обращения: 25.09.2025).
Erdodi L. Simulating SQL injection vulnerability exploitation using Q-learning reinforcement learning agents / L. Erdodi, A. A. Sommervoll, F. M. Zennaro // Journal of Information Security and Applications. – 2021. – V. 61. – P. 102903 [Электронный ресурс]. – URL: https://doi.org/10.1016/j.jisa.2021.102903/ (дата обращения: 25.09.2025).
Schwartz J. Autonomous penetration testing using reinforcement learning / J. Schwartz, H. Kurniawati [Электронный ресурс] // arXiv preprint arXiv:1905.05965. – 2019.
Hu Z. Automated penetration testing using deep reinforcement learning / Z. Hu, R. Beuran, Y. Tan // 2020 IEEE European Symposium on Security and Privacy Workshops (EuroS&PW). – Genoa, Italy, 2020. – P. 2–10 [Электронный ресурс]. – URL: 10.1109/EuroSPW51379.2020.00010/ (дата обращения: 25.09.2025).
Abuda C. J. P. Hybrid Structure Query Language Injection (SQLi) Detection Using Deep Q-Networks: A Reinforcement Machine Learning Model / C. J. P. Abuda, C. E. Dumdumaya // International Journal of Advanced Computer Science and Applications. – 2025. – V. 16, № 5. – P. 217–225 [Электронный ресурс]. – URL: https://dx.doi.org/10.14569/IJACSA.2025.0160522/ (дата обращения: 25.09.2025).
Shen S. Deep Q-Network-Based Heuristic Intrusion Detection Against Edge-Based SIoT Zero-Day Attacks / S. Shen, C. Cai, Z. Li, Y. Shen, G. Wu, S. Yu // Computers & Security. – 2024. – Т. 150. – С. 3–7 [Электронный ресурс]. – URL: https://doi.org/10.1016/j.cose.2024.103713/ (дата обращения: 25.09.2025).
Hossain M. A. Deep Q-Learning Intrusion Detection System (DQ-IDS): A Novel Reinforcement Learning Approach for Adaptive and Self-Learning Cybersecurity / M. A. Hossain // ICT Express. – 2025 [Электронный ресурс]. – URL: https://www.sciencedirect.com/science/article/pii/S2405959525000694/ (дата обращения: 21.09.2025).
Li Q. Efficient network attack path optimization method based on prior knowledge-based PPO algorithm / Q. Li, J. Wu // Cybersecurity. – 2025, V. 8, № 15 [Электронный ресурс]. – URL: https://doi.org/10.1186/s42400-024-00288-8/ (дата обращения: 01.10.2025).
Chen J. GAIL-PT: A Generic Intelligent Penetration Testing Framework with Generative Adversarial Imitation Learning / J. Chen, S. Hu, H. Zheng, G. Zhang [Электронный ресурс]. – 2022. – URL: https://arxiv.org/pdf/2204.01975/ (дата обращения: 13.10.2025).
Matherly J. Shodan: поисковая система для Интернета вещей / J. Matherly [Электронный ресурс]. – URL: https://www.shodan.io/ (дата обращения: 25.09.2025).
Национальная база данных уязвимостей / National Institute of Standards and Technology. – U. S. Department of Commerce [Электронный ресурс]. – URL: https://nvd.nist.gov/ (дата обращения: 25.09.2025).
Корниенко А. А. Моделирование компьютерных атак на распределенную информационную систему / А. А. Корниенко, А. Б. Никитин, С. В. Диасамидзе, Е. Ю. Кузьменкова // Изв. Петербургского ун-та путей сообщения. – 2018. – № 4 [Электронный ресурс]. – URL: https://cyberleninka.ru/article/n/modelirovanie-kompyuternyh-atak-na-raspredelennuyu-informatsionnuyu-sistemu/ (дата обращения: 25.09.2025).
Васильев В. И. Когнитивное моделирование вектора кибератак на основе меташаблонов CAPEC / В. И. Васильев, А. Д. Кириллова, А. М. Вульфин // Вопросы кибербезопасности. – 2021. – № 2 (42) [Электронный ресурс] – URL: https://cyberleninka.ru/article/n/kognitivnoe-modelirovanie-vektora-kiberatak-na-osnove-metashablonov-capec/ (дата обращения: 25.09.2025).
Дойникова Е. В. Совершенствование графов атак для мониторинга кибербезопасности: оперирование неточностями, обработка циклов, отображение инцидентов и автоматический выбор защитных мер / Е. В. Дойникова // Труды СПИИРАН. – 2018. – № 57. – С. 211–240.
Tayouri D. A Survey of MulVAL Extensions and Their Attack Scenarios Coverage / D. Tayouri, N. Baum, A. Shabtai, R. Puzis // ArXiv, 2022 [Электронный ресурс]. – URL: https://doi.org/10.48550/arXiv.2208.05750/ (дата обращения: 20.09.2025).
Kim, S. H. K. Using Cyber Terrain in Reinforcement Learning for Penetration Testing / S. H. K. Kim, N. Shavlik, M. R. T. Schouten // ArXiv, 2021 [Электронный ресурс]. – URL: https://arxiv.org/pdf/2108.07124/ (дата обращения: 20.09.2025).
Hung N. V. Applying reinforcement learning in automated penetration testing / N. V. Hung, N. T. Cong // Journal of Science and Technology on Information Security. – 2023. – V. 3, № 17. – P. 61–77. – URL: https://doi.org/10.54654/isj.v3i17.876/ (дата обращения: 20.09.2025).
Van Hasselt H. Deep Reinforcement Learning with Double Q-learning / H. Van Hasselt, A. Guez, D. Silver // Proc. of the 30th AAAI Conf. on Artificial Intelligence (AAAI-16). – Phoenix, Arizona, USA, 2016. – P. 2094–2100.
Schaul T. Prioritized Experience Replay / T. Schaul, J. Quan, I. Antonoglou, D. Silver // 4th Int. Conf. on Learning Representations (ICLR 2016). – San Juan, Puerto Rico, 2016.