Machine-Learning-VK-bot

Схема работы

Добавить второй GPU, тогда модель Seq2Seq на PyTorch будет работать в десятки раз быстрее.
Архитектура легко масштабируется горизонтально. Можно добавлять tf-serving воркеры и балансировать трафик между ними, например, через HAProxy или Envoy. Также легко масштабируются и aiohttp воркеры.
Заменить HTTP на gRPC между tf-serving воркерами и воркерами aiohttp. Это позволит ускорить передачу изображений.
Роутить сообщения между aiohttp воркерами и бекендом с помощью быстрой очереди, например, ZeroMQ.
Перевести модель PyTorch в Tensorflow с помощью ONNX и хостить её на быстром tf-serving.
Вертикальное масштабирование. Добавить больше GPU, CPU и тд.

Name		Name	Last commit message	Last commit date
Latest commit History 2 Commits
etc		etc
pytorch-chatbot		pytorch-chatbot
tests		tests
tf-serving		tf-serving
vkbot		vkbot
.gitignore		.gitignore
Dockerfile		Dockerfile
README.md		README.md
docker-compose.yml		docker-compose.yml
requirements.txt		requirements.txt
setup.cfg		setup.cfg
setup.py		setup.py
wrk-payload.lua		wrk-payload.lua