RAG (Retrieval-Augmented Generation)

RAG (Retrieval-Augmented Generation) — это техника, которая объединяет методы поиска информации с генеративными языковыми моделями. Она работает следующим образом: сначала из внешней базы знаний (например, базы данных или набора документов) извлекается релевантная информация, а затем эта извлеченная информация используется для дополнения входных данных для генеративной языковой модели. Это позволяет модели генерировать более обоснованные, точные и контекстуально релевантные ответы, особенно для задач, требующих актуальных или специфических знаний в предметной области.

Запуск модели

Скачивание образа Ollama

docker pull ollama/ollama

Запуск Ollama в Docker

docker run -d \
  --name ollama \
  -p 11434:11434 \
  -v ollama-data:/root/.ollama \
  ollama/ollama

Запуск языковой модели через Ollama

Загружает и запускает модель qwen2:0.5b-instruct

docker exec ollama ollama pull qwen2:0.5b-instruct

Сделайть файл исполняемым

chmod +x run.sh
./run.sh

Технологический стек

• Python: 3.10.12
• Docker: 28.3.3, build 980b856
• Ubuntu: 24.04