Skip to content

Latest commit

 

History

History

module-4

Folders and files

NameName
Last commit message
Last commit date

parent directory

..
 
 
 
 

Занятие 13. Потоковая обработка данных

  • Анализ данных в потоке. Kafka
  • Лямбда и Каппа архитектуры
  • Построение DAG-ов стримовых задач

Занятие 14. Spark Streaming

  • Основы стриминга в Spark: сорцы и синки, партиционирование, оконные функции, управление состоянием, чекпоинты
  • Внутренняя и внешняя стыковка задач

Занятие 15. Структурный и непрерывный стриминг в Spark

  • Структурный стриминг для подключения SQL и ML к стримам
  • Особенности работы оптимизатора в стримовом случае
  • Continous streaming как один из вариантов организации сервинга Spark ML

Занятие 16. Альтернативные потоковые фреймворки

  • Flink
  • Kafka Streams
  • Samza
  • NiFi
  • Особенности stream-first решений