AgentSmith

Веб-приложение для общения с AI-агентом на базе Yandex GPT. Приложение имеет семь режимов работы:

1. Справочник - чат с критиком фильмов
2. Рекомендатор - интерактивный подбор фильмов
3. Рассуждения - сравнение разных способов решения задач с помощью AI (День 4)
4. Температура - эксперимент с параметром температуры модели (День 5)
5. Сравнение моделей - бенчмаркинг различных AI-моделей Yandex Cloud (День 6)
6. Токены - эксперименты с токенами и лимитами моделей (День 7)
7. Сжатие диалога - механизм компрессии истории диалога для экономии токенов (День 8)

Требования

• Python 3.7+
• API-ключ Yandex Cloud
• Catalog ID в Yandex Cloud

Установка

1. Клонируй репозиторий:

git clone <repository-url>
cd AgentSmith

2. Создай виртуальное окружение:

python3 -m venv venv
source venv/bin/activate  # для macOS/Linux
# или
venv\Scripts\activate  # для Windows

3. Установи зависимости:

pip install -r requirements.txt

4. Создай файл конфигурации:

cp config.example.json config.json

5. Открой config.json и заполни своими данными:

{
  "api_key": "YOUR_API_KEY_HERE",
  "catalog_id": "YOUR_CATALOG_ID_HERE"
}

Запуск

python app.py

Приложение будет доступно по адресу: http://localhost:5005

Структура проекта

AgentSmith/
├── app.py                 # Основной файл Flask приложения
├── requirements.txt       # Зависимости Python
├── config.json           # Конфигурация (не в git)
├── config.example.json   # Шаблон конфигурации
├── templates/
│   └── index.html        # HTML шаблон
└── static/
    ├── style.css         # Стили
    └── script.js         # JavaScript клиент

API Endpoints

• GET / - Главная страница с чатом
• POST /chat - Отправка сообщения в чат (режим Справочник)
• POST /recommend - Отправка сообщения агенту-рекомендатору (режим Рекомендатор)
• POST /reasoning - Решение задачи разными способами (режим Рассуждения)
• POST /temperature_experiment - Эксперимент с разными значениями температуры (День 5)
• POST /model_comparison - Сравнение разных моделей Yandex Cloud (День 6)
• POST /token_test - Тестирование запросов разной длины (День 7)
• POST /compression_test - Тестирование механизма компрессии диалога (День 8)
• POST /clear - Очистка истории диалога
• POST /clear_recommendations - Очистка истории рекомендаций

Режимы работы

1. Справочник

Чат с критиком фильмов, который возвращает информацию о фильмах в структурированном JSON-формате.

2. Рекомендатор

Интерактивный режим подбора фильмов:

• Агент задает вопросы о ваших предпочтениях
• Предлагает 16 фильмов на выбор
• После выбора 4 фильмов дает персональную рекомендацию

3. Рассуждения (День 4)

Режим для изучения различных способов рассуждения AI-агентов. Позволяет решить одну задачу четырьмя разными способами и сравнить результаты:

Способы рассуждения:

1. Прямой ответ - AI отвечает напрямую, кратко и по делу
2. Пошаговое решение - AI решает задачу шаг за шагом, показывая всё рассуждение
3. С промптом от ИИ - Сначала другой AI создает оптимальный промпт для решения, затем задача решается с его помощью
4. Группа экспертов - Виртуальная команда из 4 уникальных персонажей совместно решает задачу:
   • 🔬 Физик-ядерщик - научный анализ и строгая логика
   • 👵 Бабушка у подъезда - житейская мудрость и здравый смысл
   • 👦 Ребёнок 7 лет - свежий взгляд и простые вопросы
   • 🤖 300-летний робот из 2694 года - футуристическое мышление и долгосрочная перспектива

Как использовать:

1. Переключитесь на режим "Рассуждения"
2. Введите задачу (логическую, математическую или любую другую)
3. Выберите способ рассуждения или запустите все сразу
4. Сравните результаты разных подходов

Критерии сравнения:

• Точность: Правильность ответа
• Полнота: Насколько детально раскрыто решение
• Понятность: Легко ли следовать логике рассуждений
• Креативность: Присутствуют ли нестандартные подходы

4. Температура (День 5)

Режим для экспериментов с параметром температуры модели:

• Сравнение результатов при температуре 0.0, 0.5 и 1.0
• Анализ влияния температуры на креативность и точность ответов
• Рекомендации по использованию разных значений температуры

5. Сравнение моделей (День 6)

Режим для сравнения разных AI-моделей Yandex Cloud:

Возможности:

• Выбор нескольких моделей для сравнения (минимум 2)
• Один и тот же запрос отправляется всем выбранным моделям
• Замер метрик для каждой модели:
  • ⏱️ Время ответа - скорость обработки запроса
  • 📥 Входные токены - размер запроса (реальные данные из API)
  • 📤 Выходные токены - размер ответа (реальные данные из API)
  • 📊 Всего токенов - суммарное количество
  • 💰 Стоимость - реальная стоимость запроса в рублях
• Сравнительный анализ:
  • Самая быстрая/медленная модель
  • Самый краткий/подробный ответ
  • Самая дешевая/дорогая модель
  • Средние показатели по всем метрикам

Доступные модели:

• YandexGPT Lite - легковесная модель для быстрых ответов (0.2₽/1K входных токенов, 0.6₽/1K выходных)
• YandexGPT - стандартная модель с балансом качества и скорости (0.4₽/1K входных токенов, 1.2₽/1K выходных)
• YandexGPT 32K - модель с расширенным контекстом (0.8₽/1K входных токенов, 2.4₽/1K выходных)
• Summarization - специализированная модель для суммаризации (0.4₽/1K входных токенов, 1.2₽/1K выходных)

Как использовать:

1. Переключитесь на режим "⚖️ Сравнение"
2. Введите запрос для тестирования (можно на русском или английском)
3. Выберите минимум 2 модели для сравнения
4. Нажмите "Запустить сравнение"
5. Изучите результаты: метрики, стоимость и качество ответов

Выводы из эксперимента:

• Скорость: YandexGPT Lite обычно самая быстрая модель
• Качество: Стандартная YandexGPT обеспечивает лучший баланс качества и скорости
• Контекст: YandexGPT 32K лучше работает с большими текстами и сложными задачами
• Стоимость: YandexGPT Lite самая экономичная, YandexGPT 32K самая дорогая
• Специализация: Модель Summarization оптимизирована для суммаризации текстов

6. Токены (День 7)

Режим для изучения работы с токенами и понимания лимитов моделей:

Возможности:

• Три предустановленных тестовых сценария:
  • 🔹 Короткий запрос (5-20 токенов) - базовый вопрос для проверки минимального использования
  • 🔹 Длинный запрос (200-500 токенов) - детальная задача с множеством параметров
  • 🔹 Экстремальный запрос (~10000 токенов) - текст, превышающий лимит базовых моделей
• Автоматический выбор модели:
  • YandexGPT (лимит 8000 токенов) для коротких и длинных запросов
  • YandexGPT 32K (лимит 32000 токенов) для экстремальных запросов
• Детальная статистика для каждого теста:
  • ⏱️ Время ответа - скорость обработки запроса
  • 📥 Входные токены - реальное количество токенов в запросе
  • 📤 Выходные токены - размер полученного ответа
  • 📊 Всего токенов - суммарное использование
  • 💰 Стоимость - реальная стоимость запроса в рублях
• Визуализация использования лимита:
  • Цветная прогресс-бар показывает % использования лимита модели
  • 🟢 Зелёный (0-70%) - безопасная зона
  • 🟠 Оранжевый (70-90%) - предупреждение
  • 🔴 Красный (90-100%) - близко к лимиту
• Превью ответа модели (первые 500 символов)
• Выводы и рекомендации по использованию токенов

Лимиты моделей:

• YandexGPT Lite: 8000 токенов на запрос
• YandexGPT: 8000 токенов на запрос
• YandexGPT 32K: 32000 токенов на запрос

Как использовать:

1. Переключитесь на режим "🎫 Токены"
2. Изучите информацию о лимитах разных моделей
3. Выберите один из трёх тестовых сценариев
4. Нажмите кнопку "Тестировать"
5. Изучите метрики, визуализацию и ответ модели
6. Прочитайте выводы о том, как эффективно использовать токены

Выводы из эксперимента:

• Короткие запросы: Используют минимум токенов, быстрые, дешёвые, подходят для простых задач
• Длинные запросы: Требуют больше токенов, но дают более детальные и качественные ответы
• Экстремальные запросы: Требуют модели с расширенным контекстом (32K), значительно дороже
• Оптимизация: Балансируйте между детальностью запроса и использованием токенов
• Выбор модели: Используйте YandexGPT 32K только когда действительно нужен большой контекст
• Стоимость: Каждый токен имеет цену - формулируйте запросы эффективно

7. Сжатие диалога (День 8)

Режим для изучения и тестирования механизма компрессии истории диалога:

Возможности:

• Автоматическая компрессия: История сжимается каждые 10 сообщений
• Суммаризация: Использует модель Summarization для создания краткого резюме
• Сравнение: Прямое сравнение работы агента с компрессией и без
• Метрики в реальном времени:
  • 📊 Количество компрессий - сколько раз выполнялось сжатие
  • 📉 Сэкономлено токенов - суммарная экономия токенов
  • 💰 Экономия средств - сколько денег сэкономлено
  • 📈 Степень сжатия - процент уменьшения размера истории

Механизм работы:

1. Накопление истории: Агент сохраняет все сообщения в историю
2. Триггер компрессии: При достижении 10 сообщений автоматически запускается сжатие
3. Создание summary: Старые сообщения (кроме последних 3) суммаризируются
4. Замена истории: Полная история заменяется на: summary + последние 3 сообщения
5. Продолжение диалога: Агент продолжает работу с сжатой историей

Режимы тестирования:

• send - Обычный диалог с автоматической компрессией
• compare - Сравнение одного ответа с компрессией и без
• stats - Получение статистики использования компрессии
• clear - Очистка истории диалога

Автоматический тест:

Используйте скрипт test_compression.py для автоматического тестирования:

# Запустите приложение
python app.py

# В другом терминале запустите тест
python test_compression.py

Тест отправит серию сообщений, выполнит компрессию и покажет детальную статистику.

Преимущества компрессии:

• ✅ Экономия токенов: Значительное сокращение входных токенов (40-70%)
• ✅ Снижение стоимости: Прямая экономия денег на API запросах
• ✅ Быстрые ответы: Меньше токенов = быстрее обработка
• ✅ Длинные диалоги: Возможность вести долгие беседы без превышения лимитов

Недостатки компрессии:

• ⚠️ Потеря деталей: Некоторые детали из старых сообщений могут быть утеряны
• ⚠️ Дополнительные запросы: Суммаризация требует отдельного API запроса
• ⚠️ Контекст: Summary может не сохранить всех нюансов оригинального диалога

Как использовать:

1. Переключитесь на режим "🗜️ Сжатие"
2. Начните диалог на любую тему
3. Отправьте минимум 10 сообщений для тригера компрессии
4. Используйте кнопку "Сравнить" для анализа эффективности
5. Изучите метрики и статистику

Выводы из эксперимента:

• Экономия: Компрессия экономит в среднем 50-70% токенов на длинных диалогах
• Качество: Агент сохраняет контекст и продолжает адекватно отвечать
• Применение: Идеально для длинных консультаций, обучения, техподдержки
• Лимиты: Позволяет обходить ограничения моделей на размер контекста
• Стоимость: Несмотря на затраты на суммаризацию, общая экономия значительна

API Endpoint:

POST /compression_test
{
  "message": "Ваше сообщение",
  "action": "send|compare|stats|clear"
}

Безопасность

⚠️ Важно: Файл config.json с секретными данными добавлен в .gitignore и не попадает в репозиторий. Никогда не коммить файл с реальными API-ключами!

Лицензия

MIT