Portál o datech
Správa dat Vzdělávání Aktuality Datová kvalita Národní katalog otevřených dat Další

Vytvoření datového schématu datové sady

Datové schéma určuje, jak jsou strukturovány jednotlivé záznamy v datové sadě. Struktura datové sady by měla být vyjádřena v podobě strojově čitelného datového schématu. Je to běžnou praxí ve světě databází a výměny dat mezi softwarovými systémy. Protože se řada typů datových sad často opakuje napříč různými orgány veřejné správy (OVS), má navíc smysl datová schémata pro tyto typy datových sad předpřipravit a nabídnout všem OVS k využití. To výrazně zvyšuje potenciál otevřených dat. Pokud někdo vytvoří softwarovou aplikaci, která rozumí danému datovému schématu, bude z toho profitovat každá organizace, která dané datové schéma použije pro svoji datovou sadu, neboť s ní bude aplikace fungovat.

Datová schémata doporučených datových sad

Pro vybrané datové sady uvedené ve vzorových publikačních plánech jsou datová schémata postupně připravována formou otevřených formálních norem.

Připravená datová schémata obsahují:

Výčet a definice atributů i vazeb datové sady jsou uváděny v maximalistické (plně zachycující celý kontext řešené datové oblasti) podobě, pro vlastní použití připraveného schématu je ale vždy rozhodující pohled publikující organizace, výběr publikovaných atributů je tedy plně v její kompetenci, ale musí vždy platit, že:

V případě zjištění, že některý důležitý atribut v připraveném datovém schématu schází, je nutné kontaktovat autory příslušné otevřené formální normy za účelem její doplnění.

Vytvoření nového datového schématu

Postup přípravy datového schématu se liší v závislosti na zvoleném stupni otevřenosti.

Technické standardy vytváření datových schémat pro datové sady na stupni otevřenosti 3

Na stupni otevřenosti 3 by měly mít distribuce datových sad přiřazeno datové schéma, které popisuje požadovanou syntaktickou strukturu distribucí. Pro vyjádření datového schématu je nutno zvolit vhodný jazyk pro jeho vyjádření. Jazyk závisí na datovém formátu, který byl zvolen pro vyjádření distribuce.

Při návrhu datových schémat dodržujte následující pravidla:

Definice vlastního schématu pro data v CSV

Při práci s formátem CSV se nejprve seznamte s nejčastějšími chybami při použití formátu CSV. Pro řadu datových sad formát CSV není vhodný a je lepší je publikovat v některém ze strukturovanějších formátů, viz Otevřené formální normy.

Prvním krokem k tvorbě schématu pro CSV data je určení toho, jak se budou jmenovat jednotlivé sloupce CSV souboru, jaké budou mít datové typy a jaký budou mít význam. Pro dosažení maximální míry interoperability postupujte v následujících krocích:

  1. Stanovte si jmenné konvence pro sloupce, např.
    • název v češtině
    • všechna písmena malá (lower case)
    • víceslovné názvy spojené podtržítkem _
    • hierarchickou vazbu reprezentujte také podtržítkem _, např. pokutovaný_ič, pokutovaný_název

  2. Pro sloupce použijte vhodný datový typ jazyka XML Schema.

  3. Význam sloupců popište slovně.

Jako jazyk pro definici schématu pro data v CSV použijte standard Metadata Vocabulary for Tabular Data z rodiny standardů W3C CSV on the Web (CSVW). Standard říká, jak má být CSV soubor publikovaný na webu popsán pomocí přídavného JSON-LD souboru, který je publikován spolu s CSV souborem.

Metadata Vocabulary for Tabular Data (CSV on the Web, CSVW)

Použití CSVW schématu si ilustrujeme na zjednodušeném příkladu pro následující dvousloupcové CSV:

"idhod","hodnota" 
"747627675","14.91" 
"747628556","14.96"

Jednoduchý CSVW deskriptor (JSON soubor) pro tento CSV soubor může vypadat například takto:

{ 
  "@context": ["http://www.w3.org/ns/csvw",{"@language": "cs"}], 
  "url": "012052-17data091517.csv", 
  "tableSchema": { 
    "columns": [{ 
      "name": "idhod", 
      "titles": "idhod", 
      "dc:description":"unikátní identifikátor údaje Veřejné databáze ČSÚ", 
      "required": true, 
      "datatype": "string" 
    }, { 
      "name": "hodnota", 
      "titles": "hodnota", 
      "dc:description":"zjištěná hodnota", 
      "required": true, 
      "datatype": "number" 
    }], 
    "primaryKey": "idhod" 
  } 
}

Jednotlivé položky v JSON deskriptoru mají následující význam:

Vystavený JSON deskriptor dle CSVW by pak měl být poskytován s HTTP hlavičkou Content-Type: application/csvm+json; charset=utf-8 a pojmenován podle popisovaného souboru, tedy pro xxx.csv to bude xxx.csv-metadata.json.

Toto je jen minimalistický příklad toho, co lze popsat pomocí CSVW. Pro využití všech možností je třeba postupovat dle specifikace.

Sdílené schéma pro více CSV souborů

Deskriptor CSV souboru lze oddělit od schématu, pokud schéma chceme použít pro více CSV souborů. Pak budeme mít JSON soubor schema.json se schématem samotným:

{ 
  "@context": ["http://www.w3.org/ns/csvw",{"@language": "cs"}], 
  "columns": [{ 
    "name": "idhod", 
    "titles": "idhod", 
    "dc:description":"unikátní identifikátor údaje Veřejné databáze ČSÚ", 
    "required": true, 
    "datatype": "string" 
  }, { 
    "name": "hodnota", 
    "titles": "hodnota", 
    "dc:description":"zjištěná hodnota", 
    "required": true, 
    "datatype": "number" 
  }], 
  "primaryKey": "idhod" 
}

A deskriptor každého CSV souboru se na něj bude odkazovat (nejspíše však pomocí plného, absolutního URL):

{ 
  "@context": ["http://www.w3.org/ns/csvw",{"@language": "cs"}], 
  "url": "012052-17data091517.csv", 
  "tableSchema": "schema.json" 
}

Validace CSVW

CSV popsané pomocí CSVW lze nejjednodušeji validovat nástrojem csvw-validator. Ten má jednak sdílené webové rozhraní, a také lze spustit z příkazové řádky nebo použít jako webovou službu.

CSV popsané pomocí CSVW lze validovat například pomocí nástroje rdf-tabular, který stačí nasměrovat na CSV soubor, a v případě nedodržení doporučeného pojmenování JSON deskriptoru i na tento deskriptor. Tedy rdf validate xxx.csv

CSV popsané pomocí CSVW lze validovat například pomocí knihovny csvlint.rb, kterou stačí spustit a nasměrovat na JSON deskriptor, který pak ukazuje na CSV data, případně schéma. Tedy csvlint -s schema.json pro lokální schéma v souboru v souborovém systému, nebo s plným URL deskriptoru, např. csvlint - s https://data.mvcr.gov.cz/soubory/czechpoint/2007.json. Webové rozhraní csvlint doporučení CSV on the Web neumí!

Definice vlastního schématu pro data v XML

Pro popis XML schématu se používá jazyk XML Schema.

Prvním krokem k tvorbě schematu pro XML data je určení toho, jak se budou jmenovat a jak budou zanořeny jednotlivé elementy v XML souboru, jaké budou mít datové typy a jaký budou mít význam. Pro dosažení maximální míry interoperability postupujte v následujících krocích:

  1. Podívejte se na již existující standardy pro datové sady.
    • Pokud se některá datová sada shoduje s daty, které chcete publikovat, použijte její předpřipravené schéma. Existující schéma nemusíte daty pokrývat celé, všechny položky jsou volitelné.
    • Pokud se žádná existující datová sada neshoduje s daty, které chcete publikovat, vytvořte nové schéma.
  2. Pokud některá datová sada pokrývá data, která chcete publikovat pouze částečně, použijte v novém schématu pro pokryté položky XML elementy s datovými typy z existujícího XML schématu.
  3. Dosud nepokryté elementy, tj. ty, jejichž význam neodpovídá žádnému datovému typu v žádné existující datové sadě ze vzorových publikačních plánů, pojmenujte dle stejných jmenných konvencí. Tj.
    • vytvořte si vlastní XML namespace
    • názvy elementů či atributů v češtině
    • všechna písmena malá (lower case)
    • žádná diakritika
    • víceslovné názvy spojené podtržítkem _
    • hierarchickou vazbu reprezentujte vnořeným XML elementem
  4. Pro nově definované elementy použijte vhodný datový typ jazyka XML Schema.

Technické standardy vytváření datových schémat pro datové sady na stupni otevřenosti 5

Obdobou datového schématu pro datové sady na stupni otevřenosti 5 jsou tzv. ontologie (někdy též zvané slovníky). Zatímco však ve světě tabulkových či XML dat popisuje datové schéma striktní syntaxi např. CSV či XML distribucí datových sad, ontologie popisuje datovou sadu na konceptuální úrovni. Konkrétně definuje třídy a vlastnosti, které lze v RDF distribucích datových sad použít.

Standardy pro vyjádření a zápis ontologií

Standardem pro zápis ontologií jsou jazyky RDF Schema (RDFS) a Web Ontology Language (OWL). Oba jazyky přepokládají ontologii reprezentovanou v datovém modelu RDF a umožňují využít pro zápis ontologie libovolný formát pro zápis RDF datového modelu (viz Otevřená formální norma pro Propojená data).

Standardy pro tvorbu ontologií

Primárním cílem při návrhu tříd a vlastností použitých v RDF distribuci datové sady musí být maximální znovupoužitelnost údajů v distribuci napříč různými SW aplikacemi. Proto je standardem co nejvíce využívat tříd a vlastností z již existujících ontologií. Datový model RDF je připraven k tomu, aby bylo možné v jedné RDF distribuci kombinovat třídy a vlastnosti z několika různých ontologií. V rámci různých iniciativ již vznikla v mezinárodním kontextu celá řada ontologií, které jsou katalogizovány např. v projektu Linked Open Vocabularies (LOV).

Při návrhu tříd a vlastností použitých v RDF distribuci je proto standardem postupovat následovně:

Standardem je využívání především následujících ontologií:

Standardy propojování prvků ontologií

Mezi prvky ontologií (tj. mezi třídami nebo mezi vlastnostmi) mohou existovat sémantické vazby. Může se jednat o vazby mezi prvky stejné ontologie nebo mezi prvky dvou různých ontologií. Tyto vazby je nutno v ontologiích vyjádřit. Vazbu vždy vyjádříme v ontologii, která definuje prvek, pro který chceme vazbu vyjádřit.

Pro vyjádření vazby postupujeme podle následujícího standardu:

Standardy tvorby IRI tříd a vlastností definovaných v ontologiích

V případě, že poskytovatel dat definuje vlastní predikáty či třídy v podobě ontologie, potom pro ně musí volit IRI ve tvaru URL v následující podobě: