Skip to content

Сборка 1.2

Choose a tag to compare

View all tags
@zinal zinal released this 14 Jun 09:04
· 9 commits to develop since this release
v1.2
1ba28ff

Сборка включает в себя необходимые кастомизации Delta Lake для поддержки мультикластерного режима в среде Yandex Data Processing, включая использование YDB для хранения хранения метаданных и автоматическую очистку метаданных в YDB при удалении таблиц Delta Lake.

Представлено четыре варианта сборки:

  • для образов Yandex Data Processing 2.1 до 2.1.3 включительно, основанный на DeltaLake 2.0.2 и Spark 3.2;
  • для образов Yandex Data Processing 2.1 начиная с 2.1.6, основанный на DeltaLake 2.3.0 и Spark 3.3;
  • для образов Yandex Data Processing 2.2, основанный на DeltaLake 2.4.0;
  • для образов Yandex Data Processing 2.2, основанный на DeltaLake 3.2.0.

Для образов Yandex Data Processing 2.0 могут использоваться штатные сборки Delta Lake 0.8.0, которые не поддерживают мультикластерный режим и (поэтому) не требуют кастомизаций.

Assets 6
Loading