Состав команды:
| ФИО | Роль |
|---|---|
| Баймлер Ярослав | CV Engineer |
| Вяткин Роман | Scrum master / MLOps |
| Ихматуллаев Даврон | ML Engineer / Backend developer |
| Назаров Михаил | ML Engineer |
| Полякова Валерия | QA Engineer |
| Яськова Марина | Data Analyst |
Сотрудники вручную ищут, собирают и перепечатывают информацию о товаре, что замедляет процесс вывода товара на полку и снижает информативность товарной базы.
На склад поступает много товаров, о которых нет информации в цифровом виде. Необходимо разработать сервис, который будет использовать загруженные изображения/сканы паспортов товаров как источник информации о них и переведет эту информацию в формат, пригодный для использования в карточке товара.
- Проверяемая метрика – полнота извлекаемой информации
- Python версии 3.8+ и любые библиотеки с открытым исходным кодом
- Языковые модели: yandexgpt, gigachat и любые открытые LLM
- Допускается использование мультимодальных моделей и open-source OCR библиотек
- Сервис, решающий данную задачу, упакован в Docker compose
- Работающий телеграм-бот
- Извлечение и предобработка текстовой инфрмации из паспортов
- Создание запросов для суммаризации информации при помощи GigaChat
- Разработка и размещение на сервере телеграмм-бота
- Упаковка сервиса в Docker Container
Результатом решения является разработанный телеграм-бот, который принимает отсканированное изображение паспорта изделия и возвращает технические характеристики.
Телеграмм-бот принимает на вход паспорт изделия в формате PDF или изображения и выполняет следующие функции по выбору пользователя:
- Собирает технические характеристики изделия и предоставляет их в формате JSON.
- Выполняет поиск информации в документе по запросу пользователя.
- Принимает на вход документы двух изделий, сравнивает технические характеристики обоих изделий в удобной для пользователя форме таблицы.