ADBR: Arenadata DB для разработчиков

Школа Больших Данных, авторизованные курсы Arenadata

Arenadata DB Greenplum MPP

Часть 1

Обзор архитектуры ADB

Концепция MPP и её имплементация в ADB. Терминология и архитектура СУБД.
Интерконнект. Выполнение запросов. Отказоустойчивость.

Подключение к БД

Реквизиты. Доступы. psql.
Лабораторная работа

Устройство БД

Шаблоны БД. Логическая схема данных. Обзор дефолтных схем. Основные объекты для работы с БД.
Лабораторная работа

Пользователи и группы

Роль и пользователь, группы. Доступы. Создание пользователей, управление.
Лабораторная работа

Создание таблицы в БД

Основные правила создания таблиц. Типы данных. Распределение таблицы.
Skew. Констрейнты. Тип хранения данных. Сжатие.
Лабораторная работа

Дисковая квота

Информация о модуле. Настройка. Нюансы использования.

Часть 2

Выполнение запросов

Получение плана. Оптимизаторы. Статистика выполнения. Разбор плана запроса.
Redistribute и Broadcast. Поиск узких мест.
Лабораторная работа

Партиционирование таблицы

Создание партиционированных таблиц. Ключ партиционирования. Разные типы хранения. Мульти-партиционирование.
Удаление. Разбиение. Обмен партиций. Внешние таблицы. Загрузка в партиционированные таблицы.
Лабораторная работа

Индексы

Применимость индексов. Типы. Best practices. Управление индексами.
Основные параметры управления индексами в запросе.
Лабораторная работа

Транзакции

Обзор. Уровни изоляции.
Лабораторная работа

MVCC (MultiVersion Concurrency Control)

Цели. Реализация. Bloat. VACUUM. VACUUM FULL. Пример. Регламенты.
Лабораторная работа

Блокировки

Синтаксис. Пример.
Лабораторная работа

Статистика

Цели. Сбор статистики.
Лабораторная работа

Часть 3

Внешние таблицы

Обычные внешние таблицы. Web-внешние таблицы.
Лабораторная работа

GPFDIST

Сценарии. Сервер gpfdist. Создание внешних таблиц. Опции LOCATION.
Достижение лучшей производительности. Параметры GUC. Примеры.
Лабораторная работа

GPLOAD

Использование утилиты
Лабораторная работа

PXF

Архитектура. Директории сервиса. Конфигурационные файлы. Логи.
Управление сервисом. HDFS. HBASE. Hive. JDBC. Pushdown. Batching. Pooling. User impersonation.
Лабораторная работа

COPY

Синтаксис. Пример.
Лабораторная работа

UDF

Цели. PL/SQL. PL/python. C-функции. PLContainer. Волатильность функций. Доверенность функций.
Лабораторная работа

Продвинутые запросы

Встроенные функции и операторы. Оконные функции. Обработка запросов разными оптимизаторами.
Особенности использования. Common Table Expressions.
Особенности работы с партиционированными таблицами. Работа с JSON и XML данными.

Дополнительные модули и библиотеки

Встроенная аналитика на основе MADLib.
Работа с географическими данными и объектами с помощью PostGis.
Дополнительные модули и расширения поддерживаемые в GP.

Часть 4 - Ключевые кейсы миграции из Oracle в Greenplum

Общие сведения
Конструкции SQL
Конструкции PL/SQL

Часть 5 - ETL vs ELT подходы

Ключевые моменты и ограничения при загрузке данных

Лабораторная работа

Алгоритмы загрузки данных

Загрузка данных из СУБД Oracle на примере PXF

Лабораторная работа ч1
Лабораторная работа ч2
Лабораторная работа ч3