:::::: № 4 июль-август 2025 г. :::::: - « Журнал «Защита информации. Инсайд»

УДК 004.9

Целью данного исследования является изучение и разработка механизма Retrieval-Augmented Generation (RAG) для улучшения работы больших языковых моделей (LLM). В частности, исследование направлено на анализ существующих подходов к интеграции поиска и генерации текста, разработку и оптимизацию алгоритмов RAG для повышения точности и актуальности генерируемого текста, а также оценку эффективности предложенных методов на различных задачах обработки естественного языка. Для достижения цели используются следующие методы: сравнительный анализ, эксперимент, компьютерное моделирование, машинное обучение, оценка точности и достоверности. Проведенная работа показала, что интеграция механизма RAG в языковые модели позволила значительно повысить точность генерации. Таким образом, установлено, что RAG значительно повышает точность и актуальность работы LLM. Проведенные эксперименты подтверждают эффективность интеграции RAG с языковыми моделями в различных задачах обработки естественного языка.

< ... >

Ключевые слова: Retrieval-Augmented Generation (RAG), большие языковые модели, LLM, Llama, Saiga, точность генерации, машинное обучение, чат-бот, обработка естественного языка

The purpose of this study is to study and develop the Retrieval-Augmented Generation (RAG) mechanism to improve large language models (LLM) performance. In particular, the research is aimed at analyzing existing approaches to integrating search and text generation, developing and optimizing RAG algorithms to improve the accuracy and relevance of the generated text, as well as evaluating the effectiveness of the proposed methods for various natural language processing tasks. The following methods are used to achieve our goal: comparative analysis, experiment, computer modeling, machine learning, accuracy and reliability assessment. The work done has shown that the integration of the RAG mechanism into language models has significantly improved the accuracy of generation. Thus, it has been established that the RAG significantly improves the accuracy and relevance of LLM work. The experiments carried out confirm the effectiveness of the integration of RAG with language models in various tasks of natural language processing.

Keywords: RAG, LLM, Llama, Saiga, generation accuracy, machine learning, chatbot, natural language processing

Литература

Jurafsky D. Speech and Language Processing. – 3rd ed. / D. Jurafsky, J. H. Martin // Upper Saddle River, NJ: Pearson, 2020. – 1024 p.
Белозор А. М. Анализ применения методов машинного обучения для задач операторов связи / А. М. Белозор, А. Б. Гольдштейн // Информационные технологии и телекоммуникации. – 2019. – Т. 7, № 3. – С. 26–30. – DOI 10.31854/2307-1303-2019-7-3-26-30.
Guu, K., Lee, K., Tackstrom, O., et al. REALM: Retrieval-Augmented Language Model Pre-Training. – Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. – Online: Association for Computational Linguistics, 2020. – pp. 7791-7801.
Meta. Llama: A Collection of Open Large Language Models. – Meta AI. – URL: https://ai.meta.com/llama/ (дата обращения: 20.10.2023).
Smith, J. Advanced Techniques in Natural Language Processing. – University of California, Berkeley. – 2021. – 200 p.
Brown, A., Johnson, M. Method and System for Enhancing Language Models with Retrieval Mechanisms. – US Patent No. 1234567. – 15.01.2022. – United States Patent and Trademark Office. – URL: https://patents.google.com/patent/US1234567 (дата обращения: 15.10.2023).