Минорный патч 4.14.8

Groovy баги

• В Groovy версии 3.0.11 и 4.* изменили механизм автоопределения типов переменных в блоке if, где Groovy пытается автоматически назначить тип переменной в коде при срабатывании условия, если в условии было сравнение переменной с помощью instanceof. В случаях, когда в условии if использовалось несколько instanceof с помощью "или", в блоке кода if возникала ошибка приведения типа переменной. Ошибка заявлена в Groovy, но пока не исправлена. Getl был доработан так, чтобы для таких условий в блоке кода if переменные всегда приводились явно к нужному типу и ошибка не возникала.

Dsl фичи

• models: для referenceVerticaTable в метод createReferenceTables добавлен параметр listSchemaGrants, в котором дополнительно можно указать, для каких пользователей и ролей должен быть разрешен доступ к эталонным данным в Vertica.

Dsl баги

• main: при запуске скрипта из под Groovy консоли не был включен режим unit test mode.
• models: модели эталонных файлов и таблиц могли работать в выключенном режиме unit test mode, что могло привести к потере данных на прод стенде.

Getl фичи

• getl.data.Dataset: в функцию resetFieldToDefault добавлен параметр очистки признака полей в партиции.
• getl.data.Dataset: добавлены функции movePartitionFieldsToFirst и movePartitionFieldsToLast, которые переносят все поля партиции в начало или конец списка полей датасета.
• getl.hive.HiveTable: в опции создания таблицы createOpts добавлены свойства serdeproperties, fieldsTerminatedBy, linesTerminatedBy, escapedBy и nullDefinedAs.
• getl.hive.HiveDriver: переработан механизм загрузки файлов bulk load. Ранее csv файл копировался на hdfs, загружался в локальную временную таблицу и из неё вставлялся в таблицу приёмника. Теперь скопированный на hdfs файл подключается как внешняя таблица и с неё вставляются записи в таблицу приёмник.
• getl.impala.ImpalaTable: в опции создания таблицы createOpts добавлены свойства fieldsTerminatedBy, linesTerminatedBy, escapedBy и nullDefinedAs.
• getl.impala.ImpalaDriver: добавлен механизм загрузки файлов bulk load. Csv файл копируется на hdfs, подключается как внешняя таблица и с неё вставляются записи в таблицу приёмник.

Getl баги

• getl.hive.HiveDriver: при вызове bulk load возникала ошибка, если не было заполнено свойство hdfsHost, теперь берется host соединения, если это свойство не заполнено.
• getl.impala.ImpalaDriver: при вызове bulk load возникала ошибка, если не было заполнено свойство hdfsHost, теперь берется host соединения, если это свойство не заполнено.
• getl.impala.ImpalaDriver: драйвер разрешал указывать для полей CHECK выражения и пытался создать констрейнты для полей с указанной проверкой, что приводило к ошибке создания таблиц с такими полями.
• getl.jdbc.SQLScripter: не корректно учитывался многострочный запрос в операторе SET.