Skip to content

Сборка 1.1

Choose a tag to compare

View all tags
@zinal zinal released this 30 Aug 09:42
· 27 commits to develop since this release
v1.1
b0e52ab

Сборка включает в себя необходимые кастомизации Delta Lake для поддержки мультикластерного режима в среде Yandex Data Proc, включая использование YDB для хранения хранения метаданных и автоматическую очистку метаданных в YDB при удалении таблиц Delta Lake.

Представлено два варианта сборки:

  • для образов Data Proc 2.1 до 2.1.3 включительно, основанных на DeltaLake 2.0.2 и Spark 3.2;
  • для образов Data Proc 2.1 начиная с 2.1.6, основанных на DeltaLake 2.3.0 и Spark 3.3.

Для образов Data Proc 2.0 могут использоваться штатные сборки Delta Lake 0.8.0, которые не поддерживают мультикластерный режим и (поэтому) не требуют кастомизаций.

Assets 4
Loading