Note
Обговорення цього розділу в Google Документі або на GitHub Issues.
Для життєздатності та ефективності стандарту в процесі розробки та впровадження варто керуватись наступними принципами:
- реалістичність - врахування технічних та організаційних можливостей розпорядників, баланс між можливостями розпорядників та потребами користувачів;
- розвиток (перспективність) - періодичний перегляд і вдосконалення стандарту;
- відкритість та прозорість - забезпечення відкритості та прозорості процесу розробки, поширення стандарту під відкритою ліцензією;
- залучення - залучення до розробки всіх зацікавлених сторін, постійна комунікація з ними;
- інтероперабельність - врахування взаємодії з іншими даними та інформаційними системами;
- доступність - простота для розуміння, впровадження та використання стандарту.
Формати роботи. Розробляти стандарти можуть як розпорядники відкритих даних, залучаючи до роботи користувачів, так і навпаки. Залучення обох сторін допоможе розробити реалістичний стандарт, що враховує можливості розпорядників та потреби користувачів. Роботу можна організувати у наступних форматах:
- робоча група, що створена органом місцевого самоврядування;
- неформальна робоча група, що створена представниками громадського сектору;
- неформальна група в межах структурних підрозділів органів місцевого самоврядування.
Склад робочої групи. Для сталості результатів з розробки стандартів варто, щоб до робочої групи входили
- представники структурного підрозділу, який є розпорядником даних;
- представники структурного підрозділу, що відповідає за інформаційно-комп'ютерне забезпечення та/або оприлюднення відкритих даних;
- користувачі даних (розробники, аналітики, журналісти, підприємці, активісти, науковці та інші).
До робочої групи також можуть бути залучені сторонні фахівці, консультанти, експерти.
Організація роботи та комунікація. Яким би не був формат робочої групи, рекомендовано щоб вона включала не більше 10 осіб. Важливо визначити координатора(-ку), спосіб прийняття рішень, онлайн та офлайн канали для зовнішньої та внутрішньої комунікації. Результати зустрічей та обговорень бажано документувати. Робочі групи можуть працювати над стандартами як для наборів передбачених у Положенні затвердженому Постановою КМУ №835, так і для наборів щодо яких є запит громадськості, бізнесу, науковців або які хоче оприлюднити місцева влада. Розробка стандарту також може відбуватись у форматі хакатону. З порадами щодо того, як його провести, можна ознайомитись за посиланням.
Етапи розробки. Розробка та впровадження стандарту включає шість основних етапів: підготовка, дослідження, розробка, тестування, впровадження, відслідковування та перегляд.
- Тривалість
від одного до кількох тижнів
- Учасники
розпорядники, зацікавлені сторони
- Форми роботи
онлайн та офлайн-зустрічі, обговорення, мозковий штурм, опитування, консультації з розпорядниками та зацікавленими сторонами, розробка нормативних документів
- Результат
створено робочу група, уноромовано її діяльність, визначено набір даних щодо якого буде розроблений стандарт
На підготовчому етапі визначається набір даних для якого необхідно розробити стандарт, відбувається планування роботи, налагоджуються організаційні процеси та комунікація. Необхідно створити робочу групу, що буде відповідати за розробку стандарту, та регламентувати її діяльність. Якщо ініціатором робочої групи є орган місцевого самоврядування, доцільно розробити та прийняти відповідний нормативний документ, наприклад, положення. В ньому можна визначити склад групи, яким чином відбуватиметься робота, а також питання впровадження стандарту. Якщо ініціатором є громадськість, то не завадить теж впровадити регламент роботи неформальної групи, продумати кампанію адвокації впровадження стандарту та канали комунікації з розпорядниками.
Далі відбуваються обговорення в рамках робочої групи, консультації з розпорядниками й зацікавленими сторонами щодо необхідності та очікувань від впровадження стандарту. Зокрема, можна розглянути наступні питання:
- Які дані мають бути відкритими? Який їх зміст та структура?
- Що є підставою для відкриття, наприклад, вимоги Постанови КМУ №835 або запит громадськості?
- Чому потрібно стандартизувати дані?
- Хто є розпорядником даних?
- Хто є зацікавленими сторонами в оприлюднені та стандартизації даних?
- Хто є користувачами даних?
- Які можливості для оприлюднення даних мають розпорядники?
- Які потреби щодо використання даних мають користувачі?
- Яких позитивних результатів можна досягти впровадженням стандарту, наприклад, розробка додатку, використання даних для формування бюджетних запитів тощо?
За результатами розгляду цих питань робоча група має спланувати подальшу діяльність. Для цього потрібно визначити основні заходи (за приклад можна взяти етапи розробки стандарту) та відповідальних осіб за їх реалізацію. Відповідальні особи повинні володіти знаннями та навичками для виконання поставлених завдань.
- Тривалість
один тиждень
- Учасники
відповідальні особи, визначені робочою групою
- Форми роботи
кабінетне дослідження (desk-research), консультації з розпорядниками, експертами, офлайн та онлайн обговорення
- Результат
виявлені проблеми й неузгодженості в оприлюднених наборах даних; досліджено те, як розпорядники працюють з даними, які потреби мають користувачі; сформоване бачення змісту і стратегія розробки стандарту (створення нового чи адаптація наявного).
Як множаться стандарти. Джерело зображення: xkcd
Роботу над стандартом необхідно розпочинати з дослідження того, чи вже не розроблений подібний стандарт в Україні або за її межами. Для цього можна переглянути довідник стандартів <references>, скористатись пошуковими сервісами або проконсультуватись з експертами у галузі відкритих даних. Якщо такі напрацювання вже існують, то варто ознайомитись з досвідом їх використання та спробувати адаптувати. Якщо ж розробленого стандарту немає, то для початку потрібно провести невелике дослідження, що включає три підетапи:
- Дослідження оприлюднених наборів;
- Дослідження роботи розпорядників;
- Дослідження потреб користувачів.
Результати дослідження необхідно коротко задокументувати та обговорити в робочій групі. Такий аналіз стане в нагоді під час розробки стандарту.
Дослідження оприлюднених наборів. Дослідження наборів дасть змогу зрозуміти, які саме дані й яким чином оприлюднюють різні розпорядники. Для цього можна завантажити різні версії набору з порталів відкритих даних й проаналізувати їх спільні та відмінні риси. Зокрема, варто розглянути наступні питання:
- Паспорти наборів. Які існують варіанти назв, описів, ключових слів?
- Тип даних та формати. Який тип даних набору та формати оприлюднення, відповідно до пункту 9 Положення затвердженого Постановою КМУ №835?
- Структура набору. Якщо дані структуровані в таблицю, то які колонки використовуються? Якщо дані мають ієрархічну структуру, то які об’єкти є батьківськими, а які дочірніми?
- Інтероперабельність. Чи є можливість поєднувати дані набору з іншими даними? Якщо так, то яким чином вона забезпечена? Чи доступний набір у форматах зв'язаних даних?
- Оновлення. З якою періодичністю оновлюється набір даних?
Дослідження роботи розпорядників. Дослідження роботи розпорядників дозволяє вивчити детальніше потік, обмін даними, обладнання, програмне забезпечення та нормативно-правову базу, що використовується для оприлюднення набору. Для цього необхідно опитати одного або декількох розпорядників. Якщо робоча група складається виключно з представників громадськості, необхідно налагодити комунікацію з органами місцевого самоврядування або їх підрозділами, які володіють даними. Наприклад, під час дослідження можна розглянути наступні питання:
- Потік та обмін даними. Яким чином дані збираються, обробляються, використовуються, зберігаються, мігрують з одних інформаційних систем в інші, архівуються? Які процеси автоматизовані, які ні?
- Обладнання та програмне забезпечення. Яке обладнання та програмне забезпечення використовується при роботі з даними? Яка ліцензія потрібна для його використання? Яка кваліфікація потрібна для роботи з ним?
- Нормативно-правова база та організація. На основі якої нормативно-правової бази відбувається ведення, збір, захист та оприлюднення даних набору. Чи є відповідальна особа або структурний підрозділ? Чи існує потреба додатковому регулюванні?
Дослідження потреб користувачів. Наявні та потенційні користувачі даних можуть дати цінні пропозиції щодо розробки стандарту. Для цього необхідно вивчити їх потреби та перешкоди, з якими вони зустрічаються, використовуючи набір. Під час спілкування з користувачами важливо обговорити наступні питання:
- Які набори використовуються або яких є потреба?
- Які є вимоги до змісту даних?
- З якою метою використовуються або будуть використовуватися дані (наприклад, аналіз, розробка сервісів та інше)?
- Як часто потрібно оновлювати набір даних?
- Якою є бажана структура (схема) та формат набору?
- Чи має набір поєднуватися з іншими даними? Якщо так то, з якими? Яким чином краще забезпечити цю можливість (наприклад, уніфікувати назви колонок, включити додаткові ідентифікатори та інше)?
- Тривалість
від двох тижнів
- Учасники
члени робочої групи, запрошені експерти
- Форми роботи
онлайн та офлайн зустрічі, обговорення, воркшопи, хакатони, документування стандарту
- Результат
розроблений проект стандарту
На основі результатів дослідження робоча група може розпочинати розробку стандарту. Це передбачає три підетапи:
- Розробка нормативної бази та рекомендацій для організації роботи розпорядників;
- Оформлення паспорту (метаданих);
- Розробка структури та визначення форматів.
За їх результатами формуються основні розділи стандарту.
Нормативна база та організація роботи розпорядників. Найперше необхідно напрацювати рекомендації щодо нормативної-правової бази та організації роботи розпорядників. Для цього стануть в пригоді матеріали дослідження. Варто розглянути наступні питання:
- розпорядники даних та відповідальні особи;
- нормативно-правові акти, що необхідні для оприлюднення та стандартизації набору;
- джерело, потік й обмін даними (data provenance) згідно результатів дослідження;
- вимоги до обладнання, програмного забезпечення та компетенцій відповідальних осіб для оприлюднення даних згідно зі стандартом;
- пов’язані набори даних, довідники та інша документація;
- якість та валідація даних;
- оновлення та версійність;
- політика щодо персональних даних у цьому наборі;
- ліцензія;
- інші рекомендації щодо організації оприлюднення даних.
Робоча група може сформувати запит на прийняття нормативно-правових актів необхідних для оприлюднення набору. Для цього потрібно напрацювати проекти й подати їх на затвердження. Проекти можна додати в стандарт окремим додатками.
Оформлення паспорту (метаданих) набору. Складність роботи з паспортом (метаданими) полягає у тому, що його структура відрізняються на різних порталах відкритих даних. Метадані набору, що складені для одного порталу, можуть виявитися лише частково придатним для іншого. Зважаючи на це, доречно скористатися одним з наступних підходів:
- Прописати лише найбільш важливі метадані, особливо ті щодо яких можуть виникнути розбіжності та помилки. Наприклад, це можуть бути назва набору даних, його опис, ключові слова, частота оновлення, формат ресурсів, ліцензія та інші. Результати потрібно занести до таблиці з наступною структурою: (1) назва поля; (2) приклад заповнення.
- Скористатися словниками Dublin Core Metadata Initiative (DCMI) або Data Catalog Vocabulary (DCAT). Вони надають погоджену структуру метаданих, що підтримується порталами відкритих даних. У цьому випадку, в таблиці потрібно вказати клас, властивість та значення метаданих.
Другу стратегію варто використати у випадку, коли учасники робочої групи мають навички роботи з основними словниками. Також потрібно зважити на рівень підготовки розпорядників, які можуть бути необізнані зі стандартами DCAT та DCMI. У цьому разі, у стандарті потрібно дати пояснення.
Розробка структури та визначення форматів. При розробці структури та визначенні форматів даних загальним орієнтиром є потреби користувачів та спроможність розпорядників. Однак, вибір конкретної технології необхідно зробити зважаючи на наступне:
- вимоги пункту 9 Положення затвердженого Постановою КМУ №835 щодо типів даних та форматів файлів;
- міжнародні стандарти, зокрема, 5-ти зіркові відкриті дані;
- модель даних;
- спосіб, у який набір буде оприлюднений, наприклад, файлами чи через API;
- забезпечення семантичної інтероперабельності.
Note
Пункт 9 Положення затвердженого Постановою КМУ №835 визначає відповідність між типами даних та форматами.
Фрагмент таблиці з пункту 9 Постанови КМУ №835
Тип даних Формат даних Текстові дані TXT, RTF, ODT, DOC(X), PDF (з текстовим змістом, нескановане зображення), (X)HTML Структуровані дані RDF, XML, JSON, CSV, XLS(X), ODS, YAML Архів даних ZIP, 7z, Gzip, Bzip2 Геопросторові дані GeoTIFF, SHP, DMF, MID/MIF, DXF, ХML, GeoJSON, GPX, LOC, ARINC, AIXM Стандарт 5-ти зіркові відкриті дані дає оцінку якості даних на основі можливостей роботи з ними.
Дані, які можна перевикористати, відповідають стандарту двох зірок та вище, машиночитані - трьох та вище. Якщо набір містить ресурси лише у машиночитаних форматах (CSV, XML, JSON), доцільно продублювати їх у людиночитаних електронних таблицях (ODS, XLS, XLSX).
Таким чином, для розробки структури та визначення форматів можна використати один з наступних підходів:
- Якщо набір представлений таблицею можна використати
рекомендації для розробки структур таблиць <table>. Цей варіант найкраще підійде для робочих груп, що працюють над простими та ефективними рішеннями для найширшого кола розпорядників та користувачів. - Якщо набір представлений декількома таблицями, має ієрархічно структуровані дані (формати XML, JSON) або буде доступний через API, доцільно створити модель даних. Для її розробки можна використати уніфіковану мову моделювання, моделі сутність-зв’язок або опис структури бази даних SQL. Таку модель можна додати до стандарту у графічному або табличному вигляді.
- Якщо набір буде доступний у форматах зв'язаних даних (linked data), для розробки його схеми можна використати методологію розробки моделей даних та створення співставлень за допомогою основних словників з Підручника з основних словників для електронного врядування.
Залежно від формату структуру (схему) набору потрібно представити відповідно до наступних вимог:
- CSV
Metadata Vocabulary for Tabular Data (W3C), Table Schema (Frictionless Data), CSV Schema Language
- XML
- JSON
- RDF
- Тривалість
від декількох тижнів до декількох місяців
- Учасники
розпорядники, користувачі, інші зацікавлені сторони
- Форми роботи
робота з даними, оприлюднення, тестування, консультації з розпорядниками та користувачами
- Результат
проведено тестування, підготовлено фінальну версію стандарту
Проект стандарту необхідно випробувати перед впровадженням. Розпорядники мають пройти повний цикл: від підготовки до оприлюднення та оновлення набору даних. Після цього важливо отримати коментарі користувачів щодо якості даних, та розпорядників - щодо дотримання вимог стандарту. Цей процес може відбуватись, як в межах діяльності робочої групи, так і з залученням ширшого кола зацікавлених сторін. Наприклад, можна провести публічні або онлайн обговорення. При цьому важливо чітко скоординувати випробування та комунікацію. Отримані побажання та зауваження мають бути розглянуті на засіданні робочої групи і враховані у фінальній версії стандарту. За потреби, необхідно повернутись до певного етапу розробки й виправити недоліки.
Також на етапі випробування варто дослідити яка методична, технічна, організаційна чи інша підтримка потрібна розпорядникам. Обговоривши це в робочій групі, варто запропонувати рішення. Наприклад, якщо є потреба підвищення кваліфікації, можна передбачити навчання, розробку інструкцій, тощо.
- Тривалість
2-4 тижні
- Учасники
розпорядники
- Форми роботи
розробка нормативних документів, робота з даними, оприлюднення
- Результат
стандарт впроваджено та унормовано
Після випробування вдосконалений стандарт можна представити у вигляді нормативного документу (наприклад, правил, інструкцій, рекомендацій, роз'яснень, тощо). Це зобов’яже розпорядників дотримуватись встановлених вимог при оприлюдненні та оновленні датасету. Нормативний документ затверджується наказом або рішенням виконавчого органу. Залежно від політики відкритих даних, він може мати різну структуру та охоплювати один або декілька наборів. У випадку, якщо стандарт розроблений громадськістю необхідно провести адвокаційну кампанію щодо його впровадження.
Важливо, щоб робоча група просувала стандарт і оприлюднений набір, як серед користувачів, так розпорядників. Для цього необхідно поширити напрацьовані матеріали, ділитися отриманим досвідом, проводити консультації та роз'яснення. Після впровадження стандарту робоча група не завершує діяльність. Потрібно змінити формат роботи, зокрема, визначити особу, що відповідатиме за підтримку стандарту, спланувати моніторинг та перегляд.
- Тривалість
постійно після впровадження
- Учасники
розпорядники, користувачі, члени робочої групи, зовнішні експерти
- Форми роботи
онлайн та офлайн опитування, обговорення, моніторинг, консультації
- Результат
стандарт відповідає актуальним вимогам і потребам
Необхідно регулярно моніторити дотримання вимог стандарту під час оприлюднення наборів даних. Важливо отримувати зворотній зв'язок від розпорядників та користувачів. Стандарт потрібно періодично переглядати, наприклад, раз на рік або на декілька років. Це дозволить виправити помилки та підтримати актуальність.
На сам кінець, необхідно наголосити на тому, що розробка стандарту має бути максимально відкритою, вирізнятися ефективною комунікацією з користувачами та розпорядникам, документуванням всіх кроків і поширенням напрацювань.