Skip to content

NatAndr/spark-postgres-connector

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

2 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Домашнее задание

Разработка собственного коннектора на Spark

Цель:

В данном ДЗ вы поработаете с DataSource API V2 с целью научиться писать свои собственные коннекторы для Spark. Задача - доработать data source для Postgres для партиционированного чтения.

  • Склонируйте репозиторий https://github.com/Gorini4/spark_datasource_example
  • Доработайте код в файле src/main/scala/org/example/datasource/postgres/PostgresDatasource.scala так, чтобы тест в файле src/test/scala/org/example/PostgresqlSpec.scala при выполнении читал таблицу users не в одну партицию, а в несколько (размер одной партиции должен задаваться через метод .option("partitionSize", "10")).

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages