Структура хранилища с базами данных Снежинка - в центре таблицы с рабочими и оперативными данными (далее по тексту данными), с краев таблицы со справочными данными (далее по тексту справочниками). Далее в работе базы со справочниками на терминальном сервере с MS SQL Server Developer 15-й (выбор компонентов см. снимок экрана ниже),
база с данными на сервере СУБД с MS SQL Server Enterprice 15-й (выбор компонентов см. снимок экрана ниже).
Интерпретаторы Java и Python устанавливаются дополнительно заранее. Модули машинного обучения подкидываются в процессе установки. Отладка автономными распределенными запросами и хранимыми процедурами с разнесенными транзакциями, иногда обернутыми в обработку исключения.
Таблица летательных аппаратов гибридная и содержит поля, которые правятся вручную и которые заполняются в процессе загрузки данных.
Модель восстановления баз данных - Полная, так как предусматривается одновременная работа множества клиентов и в хранимых процедурах используются помеченные транзакции. Обслуживание баз данных (проверка целостности, обслуживание индексов, бэкапы) делается обычным способом - на время все действия клиентов ставим на паузу до уведомления о возобновлении работы. Права пользователей на доступ к базам данных соответсвуют их учеткам Windows на SQL Server-е.
Файлы данных *.mdf размещаем на корпоративном быстром желательно SAS-овском HDD средней емкости (интенсивное чтение и запись в разные места), файлы журналов *.ldf - на обычном SATA-овом HDD большой емкости (медленная дозапись в конец), файлы данных и журнала tempdb - на NVMe средней емкости.
Отчеты по базам данных:
Собрал XML-ные поля в таблицах:
Считаем, что в XML-ном поле регистрации может быть только один тэг с аттрибутом-строкой, обозначающим какую-то одну регистрацию. Начало временного диапазона со следующей регистрацией считаем окончанием временного диапазона использования с предыдущей. Заполняем только ручным вводом.
Считаем, что в каждом XML-ном поле авиакомпании может быть только один тэг с аттрибутом-идентификатором, указывающим на какую-то одну авиакомпанию. Начало временного диапазона в следующей авиакомпании считаем окончанием временного диапазона использования в предыдущей. Аттрибуты-идентификаторы в разных XML-ных полях могут указывать на одну и ту же авиакомпанию (см. второй абзац "Считаем, что ...").
Теперь можно не писать XSD-схему вручную с нуля, а сгенерировать в Management Studio (аскетичнее, архаичнее, но срабатывает точнее)
или в pyCharm-е (удобнее в плане подсветки синтаксиса и автодополнения, есть навигация по структуре).
Добавил подмодуль Schematron-а в pyCharm-е:
Подправил собранную XSD-схему:
Вставил собранную XSD-схему в скрипт привязки и привязал ее к базе:
Для удобства восприятия можно привязать к базе несколько коллекций XSD-схем, вставив в каждый скрипт привязки по одной XSD-схеме.
Коротко отмечу, что в начале XSD-схемы объявляются:
- типовые и ссылочные схемы,
- типовые, ссылочные и пользовательские пространства имен,
- типовые, ссылочные и пользовательские типы данных
XPath & XQuery.
В XSD-схеме определяем элементы, каждый под своим именем. Полученные таким образом или с помощью XSLT-преобразования схемы вставляем в общую схему в соответствии с порядком просмотра XML-ных полей. В сложных случаях можно пользоваться Schematron-ом как импортированным модулем внутри среды управления BaseX.
Имя корневого тэга XML-ного поля соответствует имени элемента XSD-схемы. Исходный текст XSD-схемы вставляем в SQL-ный скрипт ее привязки к базе данных.
Набрал эталонные XML-ные файлы по хабам и привязал их к собранной XSD-схеме в Management Studio:
Результаты привязки:
Поправки по терминологии:
- Коллекцию схем XML в
Management Studioточнее называть XSD-схемой. - Созданием схемы в SQL-ном скрипте правильнее называть привязкой XSD-схемы, потому что она уже собрана и сохранена файлом типа
*.xsd. - DTD-схемы (старые и малофункциональные) и XDR-схемы (были в ходу короткое время до появления XSD-схем) уже мало применяются.
XML-ные поля пропускаем через XSD-схему:
- программно на входе хранимой процедуры,
- программно при вставке или при обновлении строки,
- при редактировании XML-ного файла с привязкой к XSD-схеме в
Management Studio, - при ручном вводе XML-ного поля при вызове хранимой процедуры в
Management Studio.