Atvērto datu vadlīnijas

Versija:

1.0 (2016.07.15)

Autors:

Uldis Bojārs (uldis.bojars@lumii.lv)

LU Matemātikas un informātikas institūts

http://opendata.lumii.lv/vadlinijas/1.0/

Šis dokuments sniedz ievadu atvērto datu tematikā un satur padomus un norādes uz papildus informāciju, kas var palīdzēt organizācijām atvērto datu ieviešanā.

Vadlīnijas ir domāta ikvienam, kuru interesē atvērto datu jautājumi. Šī ir dokumenta sākotnējā versija un laika gaitā tā tiks papildināta.

Komentārus lūdzu sūtīt uz autora e-pasta adresi. Komentāri tiks ņemti vērā veidojot jaunu un paplašinātu vadlīniju versiju.

Diskusijām par atvērto datu tēmām var izmantot Latvijas atvērto datu komūnas grupu:

https://groups.google.com/forum/?fromgroups#!forum/opendata_lv

Saturs

1. Atvērtie dati

1.1. Atvērtības jēdziena definīcija

1.2. Atvērto datu principi un kritēriji

1.2.1. 8 valdības atvērto datu principi

1.2.2. Globālā atvērto datu indeksa kritēriji

1.2.2. Atvērto datu publicēšanas 5-zvaigžņu shēma

2. Labā prakse atvērto datu ieviešanā

2.1. Organizatoriskais un plānošanas līmenis (Share PSI 2.0)

3. Papildus informācija

3.1. Vispārēja informācija

3.2. Atvērto datu portāli (pasaulē)

3.3. Atvērto datu portāli (Latvijā)

1. Atvērtie dati

Atvērtie dati ir tādi dati, kuri visiem ir brīvi pieejami un izmantojami bez jebkādiem ierobežojumiem. Šos datus jebkurš drīkst modificēt un izplatīt tālāk.

Atvērto datu pieeja ir īpaši nozīmīga publiskajā sektorā (valsts un pašvaldību iestādēs, kultūras institūcijas, u.c.), kur tiek radīts, apstrādāts un izmantots liels apjoms dažādas sabiedrībai aktuālas informācijas.

Atvērto datu un metadatu jēdzieni ir definēti LR Informācijas atklātības likumā^[1]:

Atvērtie dati — brīvi pieejama bezmaksas informācija bez atkalizmantošanas ierobežojumiem, kuru var rediģēt un automatizēti apstrādāt ar brīvi pieejamām lietojumprogrammām.

Metadati – strukturēta informācija, kas raksturo konkrētu informācijas kopumu.

Likums rekomendē publiskā sektora informāciju padarīt pieejamu atvērto datu veidā^[2]:

(2) Ievērojot labas pārvaldības principu, iestāde pēc savas iniciatīvas nodrošina piekļuvi noteikta veida vispārpieejamai informācijai.

(21) Vispārpieejamai informācijai, ko ievieto internetā, iestāde pēc savas iniciatīvas, ja tas ir lietderīgi, nodrošina piekļuvi atvērto datu veidā kopā ar informācijas metadatiem.

Plašāks atvērto datu skaidrojums ir atrodams LR Vides un reģionālās attīstības ministrijas Atvērto datu lapā^[3]:

Atbilstoši atvērto datu pamatprincipiem, informācija ir pieejama:

• bez maksas
• tiešsaistē, bez piekļuves ierobežojumiem
• ir pieejama tieša saite uz datiem (failiem), bez drošības kodu ievadīšanas vai reģistrācijas
• formātā, ko var automatizēti apstrādāt ar brīvi pieejamām lietojumprogrammām

Ievērojot iepriekšminētos principus, tiek nodrošināta sākotnēja atbilstība atvērto datu idejai, tomēr, lai pilnvērtīgi varētu izmantot publicēto informāciju, tai jānodrošina:

• metadati — strukturēta informācija, kas raksturo attiecīgo informācijas kopumu.
  

Metadatos var iekļaut ziņas par informācijas autoru, atjaunošanas biežumu, informācijas struktūru un apzīmējumu nozīmi. Paredzams, ka ES koplietošanas risinājumos metadatu aprakstīšanai tiks izmantots  DCAT standarts, tādēļ ir ieteicams izmantot šo standartu.

• pieejamība mašīnlasāmā un atvērtā formātā (tādam, kurš atbilst atvērtam standartam). Piemēram, CSV, JSON un XML formātos.

Atvērto datu pieejas pamatā ir ideja, ka informācija sabiedrībai ir jānodod tādā formā, lai to varētu apstrādāt, un ir jādod tiesības brīvi rīkoties ar šo informāciju.

1.1. Atvērtības jēdziena definīcija

Datu un satura atvērtības pamatus definē Open Knowledge Foundation (OKFN) izstrādātā Atvērto datu definīcija (The Open Definition), kura paskaidro jēdziena "atvērtība" nozīmi šajā kontekstā.

Atvērtības jēdziena definīcijas neformāls kopsavilkums ir:

"Atvērtos datus un saturu jebkurš var brīvi izmantot jebkādam mērķim, to modificēt un izplatīt tālāk".

Formāli atvērtības jēdzienu Atvērto datu definīcija (versija 2.1) definē kā nepieciešamo nosacījumu kopu, kuriem ir jāizpildās lai doto darbu (t.sk. saturu vai datu kopu) varētu uzskatīt par atvērtu:

1.1. Atvērta license vai statuss.

Darbam ir jābūt publiskā īpašumā (public domain), t.i. neaizsargātam ar autortiesībām, vai arī publicētam ar atvērtu licensi (skat. Atvērto datu definīcijas 2. nodaļu).

Nekādi papildus nosacījumi darba lietošanai (piem., lietošanas noteikumi vai datu publicētāja patenti) nedrīkst būt pretrunā ar šī darba publiskā īpašuma statusu vai atvērtās licenses nosacījumiem.

1.2. Pieeja

Darbam ir jābūt publicētam pilnībā, lejuplādējamam internetā bez maksas un, ja tas ir pieejams(citās formās) par maksu, tad šī maksa nedrīkst pārsniegt sapratīgu, vienreizēju reproducēšanas maksu.

Jebkurai informācijai, kas nepieciešama, lai varētu izpildīt licenses nosacījumus (piem., darba autoru vārdi, kas nepieciešami, lai atsauktos uz šo darbu), ir jābūt pieejamai komplektā ar Darbu.

1.3. Mašīnlasāmība

Darbam ir jābūt pieejamam mašīnlasāmā formā, kuru ir iespējams ērti apstrādāt ar datoru un kur ir iespējams piekļūt darba atsevišķiem elementiem un modificēt tos ^[4].

1.4. Atvērts formāts

Darbam ir jābūt pieejamam atvērtā formātā. Atvērts formāts ir tāds formāts, kurš neuzliek nekādus ierobežojumus (ne monetārus, ne arī citus ierobežojumus) datu lietošanai un kuru ir iespējams apstrādāt ar vismaz vienu brīvu atvērtā pirmkoda rīku.

Atvērto datu definīcijas turpinājumā (2. nodaļā "Open Licenses") tiek apskatīti nosacījumi, kuriem ir jābūt spēkā atvērto datu licensēm. Šie nosacījumi neierobežo iepriekš minētās datu izmantošanas brīvības, tomēr tie drīkst uzlikt par pienākumu datu izmantotājam, piemēram, saglabāt norādi uz datu avotu vai prasīt saglabāt no datiem atvasinātās informācijas atvērtību.

1.2. Atvērto datu principi un kritēriji

Lai palīdzētu atvērto datu publicēšanā un ļautu novērtēt esošo datu kopu atvērtību, ir izstrādāti atvērto datu publicēšanas principi un tiem atbilstošie datu atvērtības kritēriji. Šie principi norāda kā publicēt datus tā, lai tie tiešām būtu atvērti un būtu visiem pieejami un izmantojami.

Nozīmīgi un savstarpēji papildinoši atvērto datu principu komplekti, kurus apskatīsim šajā dokumentā, ir "8 valdības atvērto datu principi", "Globālā atvērto datu indeksa kritēriji" un "Atvērto datu publicēšanas 5-zvaigžņu shēma".

1.2.1. 8 valdības atvērto datu principi

"8 valdības atvērto datu principi" (The 8 Principles of Open Government Data) apskata atvērtos datus no publiskā sektora informācijas atvērtības viedokļa^[5]. Tie plašāk izvērš atvērto datu definīcijā norādītos nosacījumus^[6]:

Pilnīgi - Visiem publiskajiem datiem ir jābūt pieejamiem. Publiskie dati ir dati, uz ko neattiecas privātuma, drošības vai privilēģiju ierobežojumi.

Primāri - Dati tiek publicēti tādi, kā tie tiek oriģināli savākti ar lielāko iespējamo detalizācijas pakāpi, nevis apkopotā vai modificētā formā.

Laicīgi - Dati ir pieejami pēc iespējas ātrāk, lai nodrošinātu savlaicīgu datu vērtību.

Pieejami - Dati ir pieejami visiem iespējamajiem lietotājiem un visiem iespējamajiem nolūkiem.

Automātiski apstrādājami - Dati ir saprātīgi strukturēti, lai nodrošinātu to automātisku apstrādi.

Nediskriminējoša pieeja - Dati ir pieejami ikvienam bez nepieciešamības reģistrēties.

Atvērts datu formāts - Dati ir pieejami brīvā datu formātā, pār kuru nevienam nav īpašas kontroles.

Brīvi no licenču ierobežojumiem - Uz datiem neattiecas autortiesību, patentu, preču zīmju vai komercnoslēpumu noteikumi. Saprātīgi privātuma, drošības un privilēģiju ierobežojumi var tikt atļauti, ja to nosaka citi likumi.

1.2.2. Globālā atvērto datu indeksa kritēriji

Starptautiskajā atvērto datu indeksā (OKFN Global Open Data Index), kuru ir izveidojis OKFN un kurā tiek novērtēta pasaules valstu valdības datu atvērtība, tiek izmantoti šādi datu kopu novērtēšanas kritēriji:

1. Vai dotā veida dati vispār eksistē? ("Does the data exist?")
2. Vai dati ir pieejami digitālā formā? ("Is data in digital form?")
3. Publiski pieejami? ("Publicly available?")
4. Pieejami bez maksas? ("Is the data available for free?")
5. Pieejami internetā? ("Is the data available online?")
6. Vai dati ir mašīnlasāmi? ("Is the data machine-readable?")
7. Vai dati ir pieejami masveidā? ("Available in bulk?") - t.i. vai datu kopa ir pieejama un viegli iegūstama pilnībā.
8. Publicēti ar atvērtu licenci? ("Openly licensed?") - t.i. vai datu kopa ir atvērta atbilstoši Atvērto datu definīcijai un ir publicēta ar šīs definīcijas prasībām atbilstošu atvērtu licenci.
9. Vai dati ir aktuāli un tiek publicēti laicīgi? ("Is the data provided on a timely and up to date basis?")

Šo kritēriju pamatā ir Atvērto datu definīcija un 8 valdības atvērto datu principi, tomēr tie ir papildināti ar jautājumiem, kas ļauj novērtēt datu kopu pieejamību arī tādām datu kopām, kas varbūt nav pilnībā atvērtas.

Katram indeksa kritērijam ir noteikts savs svars (2015. gada indeksā izmantotie svari ir robežās no 5 līdz 30 un visu kritēriju svaru kopsumma ir 100). Ar lielāku svaru ir novērtēta atvērtas licences esamība (30), datu pieejamība bez maksas (15) un datu pieejamība mašīnlasāmā formā (15).

Detalizēts Latvijas valdības atvērto datu (2014. gada) pētījums, kurā ir izmantoti OKFN indeksa kritēriji, ir publicēts Baltic Journal of Modern Computing. Latvija OKFN atvērto datu indeksa novērtējumā ir iekļauta kopš 2014. gada^[7].

Uldis Bojārs, Renārs Liepiņš. The State of Open Data in Latvia: 2014. Baltic Journal of  Modern Computing, Vol. 2 (2014), No. 3, 160-170. https://arxiv.org/abs/1406.5052

Apskatot Latvijas novērtējumu atvērto datu indeksā (2015. gadā: 31. vieta no 122) var secināt, ka vairums indeksā iekļauto datu kopu Latvijā ir publiski pieejamas, tomēr daudzas no tām nav mašīnlasāmā formātā un dati nav aktuāli vai arī netiek publicēti savlaicīgi. Ļoti būtisks trūkums ir tas, ka neviena no indeksā apskatītajām datu kopām Latvijā nav pieejama ar atvērtu licenci. Iespējams, ka datu publicētāju nodoms ir bijis šos datus publicēt kā atvērtus datus, tomēr, tā kā datiem nav pievienota atvērta licence, potenciālais lietotājs nevar būt pārliecināts, ka dati ir atvērti un ir brīvi un bez ierobežojumiem izmantojami.

1.2.2. Atvērto datu publicēšanas 5-zvaigžņu shēma

Vislabākais veids, kā atvērtos datus padarīt visiem pieejamus, ir tos publicēt tīmeklī. Atvērto datu publicēšanas 5-zvaigžņu shēma ("5-star Open Data Scheme") apraksta labo praksi datu kopu publicēšanai tīmeklī, kuru ir formulējis tīmekļa izgudrotājs Tims Berners-Lī.

★                 publicējiet datus tīmeklī (jebkādā formātā) ar atvērtu licenci

★★                publicējiet mašīnlasāmus, strukturētus datus (piem., Excel vai CSV tabula atbilst šim kritērijam, bet tabula PDF datnē - nē)

★★★                izmantojiet atvērtus formātus (piem., papildus Excel datnei publicējiem datus CSV formātā)

★★★★        izmantojiet URI, lai identificētu objektus datu kopās un norādītu uz tiem

★★★★★        saistiet datus kopā ar citiem datiem, nodrošinot papildus kontekstu un pilnībā izmantojot tīklošanās iespējas

Katrs nākamais 5-zvaigžņu shēmas līmenis pieņem, ka ir izpildīti arī iepriekšējo līmeņu nosacījumi. Piemēram, 3 zvaigžņu līmenī datiem ir jābūt publicētiem ar atvērtu licenci (1★), mašīnlasāmā, strukturētā formā (2★), izmantojot atvērtu formātu (3★).

5-zvaigžņu shēmas austākie līmeņi - 4★ (norādīt uz objektiem, izmantojot tīmekļa standartus un URI identifikatorus) un 5★ (saistīt datus kopā ar citiem datiem, tajos iekļaujot saites uz citu objektu URI) - atsaucas uz saistīto datu (Linked Data) principiem kā tīmeklī padarīt pieejamus mašīnlasāmus datus par objektiem un saitēm to starpā.

URI (Uniform resource identifier) ir standarta veids globālu, "tīmeklim draudzīgu" objektu identifikatoru veidošanai^[8]. Jebkura tīmekļa adrese ir URI, tomēr URI var izmantot arī lai norādītu uz cita veida objektiem (t.sk. reāliem objektiem).

Izmantojot URI, uz datu kopām un to objektiem ir iespējams atsaukties no citiem datu avotiem un tīmekļa lapām.

Atvērtos datus, kuri ir publicēti saistīto datu (5★) formā, sauc par atvērtajiem saistītajiem datiem (Linked Open Data).  

2. Labā prakse atvērto datu ieviešanā

Publicējot atvērtos datus (vai gatavojoties to darīt), ir ieteicams ņemt vērā citu valstu un organizāciju pieredzi, kura ir pieejama starptautisko standartu, labās prakses (best practices) un jau realizētu atvērto datu projektu formā.

Tālāk dokumentā tiek apskatītas organizatoriskā līmeņa labās prakses, kuras ir tapušas Share PSI 2.0 tematiskā tīkla ietvaros^[9].

2.1. Organizatoriskais un plānošanas līmenis (Share PSI 2.0)

Share PSI 2.0 projekta ietvaros tika apkopotas un izstrādātas labās prakses publiskā sektora atvērto datu ieviešanai. Tājās tiek apskatīti organizatoriski un plānošanas pasākumi, kuri ir nepieciešami veiksmīgiem atvērto datu projektiem.

Visas SharePSI labās prakses (LP) ir apskatāmas projekta vietnē: https://www.w3.org/2013/share-psi/bp/

Pilns šī projekta LP uzskatījums ir pārāk apjomīgs, lai to ietvertu šajā dokumentā, tādēļ tālāk tiek aprakstīta daļa no projekta labajām praksēm.

1. Kritēriji datu kopu atvēršanas prioritāšu definēšanai (BP-DC)
   
   Dataset Criteria
   https://www.w3.org/2013/share-psi/bp/dc/
   
   Šī LP definē kritērijus pēc kuriem prioritizēt datu kopu atvēršanu, koncentrējot resursus nozīmīgāko un vērtīgāko datu kopu atvēršanai.
   
   Datu kopas tiek novērtētas pēc to atkārtotas izmantošanas iespējām (datu kopai ir jāsasniedz 3★ līmenis), pēc to nozīmīguma datu publicētājiem (piem., datu kopas publicēšana samazina izmaksas vai veicina sadarbību organizāciju starpā) un pēc to nozīmīguma potenciālajiem datu izmantotājiem.
   
   Lai varētu iegūt informāciju par datu kopu nozīmīgumu to izmantotājiem, ir nepieciešams radīt nosacījumus, lai potenciālie datu izmantotāji varētu sazināties ar datu pārvaldītājiem un publicētājiem.
   
2. Atvērto datu katalogi un to informācijas apkopošana (BP-FT, BP-portal)
   
   Establish Open Government Portal for data sharing
   https://www.w3.org/2013/share-psi/bp/portal/
   
   Atvērto datu katalogu labā prakse (BP-portal) rekomendē izveidot tīmekļa portālus, kuros apkopot informāciju par visām pieejamajām publiskā sektora datu kopām. Var tikt izveidoti viens vai vairāki datu katalogi (piem., valsts un pašvaldību līmenī).
   
   Datu katalogi var kalpot arī kā vietne, kur potenciālie datu izmantotāji var sniegt komentārus (piem., par datu kopu kvalitāti) un sazināties ar datu publicētājiem.
   
   (Re)use federated tools
   https://www.w3.org/2013/share-psi/bp/ft/
   
   Datu katalogu satura atkalizmantošanas labā prakse (BP-FT) identificē virkni pasākumu, kas ļauj labāk organizēt datu katalogu darbu un nodrošināt šo katalogu informācijas atkalizmantošanu.
   
   Atkalizmantošanas LP rekomendē informāciju par katru datu kopu publicēt datu katalogā un vienoties par standartu šīs informācijas apmaiņā ar citiem portāliem. Šāda pieeja ļauj veidot vairāku līmeņu (starptautiska, valsts, pašvaldības u.c. līmeņu) datu portālus un apmainīties ar informāciju šo portālu starpā.
   
   Standarta formāts datu kopu metadatu un datu kopu katalogu aprakstīšanai ir DCAT standarts (W3C) un Eiropas Savienības datu katalogu DCAT profils (DCAT-AP).

3. Atvērto datu ekosistēma un dalībnieku (t.sk. startup uzņēmumu) iesaistīšana tajā
   
   Establish an Open Data Ecosystem
   https://www.w3.org/2013/share-psi/bp/eode/
   
   Cilvēkus un organizācijas neinteresē paši dati, bet gan to pielietojumi -  jauni pakalpojumi un esošo pakalpojumu uzlabojumi, kur tiek izmantoti šie dati.
   
   Lai veicinātu atvērto datu izmantošanu, ir jāizveido atvērto datu ekosistēma, kas veicinātu šo datu lietojumu rašanos. Ir jāizveido aktīvs atvērto datu izmantotāju, publicētāju un citu interesentu tīkls, kura dalībnieki var sadarboties atvērto datu izmantošanā un apmainīties ar idejām datu kopu un to lietojumu tālākā attīstīšanā.
   
   Support Open Data Start Ups
   https://www.w3.org/2013/share-psi/bp/su/
   
   Atvērtie dati var būt par pamatu inovatīvu risinājumu un lietojumprogrammu izstrādei. Startup kompānijas var būt labas radošu atvērto datu projektu veidotājas, tomēr jaunu un invatīvu risinājumu izstrādei ir nepieciešamas plašas zināšanas un atbalsts.
   
   Startup uzņēmumu labā prakse piedāvā izveidot uzņēmumu inkubatorus ar mērķi atbalstīt ar atvērtajiem datiem saistītu inovatīvu ideju realizāciju startup uzņemumos. Šādi inkubatori var tikt veidoti, piesaistot izglītības un pētniecības organizācijas, kuras var nodrošināt sākotnējo infrastruktūru un zināšanas pilnvērtīgu atvērto datu risinājumu  izveidošanai.
   
4. Iesaistīt lietotājus datu kopu publicēšanā un to kvalitātes uzlabošanā
   
   Enable feedback channels for improving the quality of existing government data
   https://www.w3.org/2013/share-psi/bp/ef/
   
   Datu lietotāji var atklāt nepilnības datos, par kurām to publicētāji vēl nezin. Lai varētu uzlabot atvērto datu kopu kvalitāti, ir nepieciešams nodrošināt atgriezenisko saiti, radot datu lietotājiem un interesentiem iespēju sazināties ar datu turētājiem un ziņot par kļūdām un nepilnībām publicētajos datos.
   
   Šī labā prakse ir iekļauta Eiropas Komisijas rekomendācijās atvērto datu kopām, kur ir norādīts, ka ir jānodrošina regulāra saziņa (atgriezeniskā saite) ar datu kopu lietotājiem (publiskas konsultācijas, komentēšanas iespējas, diskusiju grupasa, u.c.) ar mērķi uzlabot un uzturēt datu kopu kvalitāti un veicinātu publikas iesaisti.
   
   Encourage crowdsourcing around PSI
   https://www.w3.org/2013/share-psi/bp/ec/
   
   Publikas (interesentu un potenciālo datu kopu lietotāju) iesaiste crowdsourcing veidā var palīdzēt datu kopu izveidē, to publicēšanā un kvalitātes uzlabošanā. Lai to paveiktu, ir jāveic gan organizatoriski pasākumi (piem., crowdsourcing projektu un "hakatonu" organizēšana), gan tehniski uzdevumi (piem., izveidot sistēmas, kas ļauj interesentiem pievienot jaunus datus vai ieteikt uzlabojumus).
   
   Šīs labās prakses ietvaros ir vērts identificēt esošās atvērto datu interesentu grupas un to paveikto (piem., entuziastu veidotus atvērto datu katalogus). Informāciju par to, par kādām datu kopām interesējas atvērto datu komūnas dalībnieki, var izmantot arī datu kopu publicēšanas prioretizēšanā.
   
   Latvijas atvērto datu entuziastu komūna ir izveidojusi atvērto datu katalogu, kurā tiek izvietotas dažādas interesentu atrastas vai izveidotas atvērto datu kopas (piem., gadījumā, ja informācija ir pieejama valsts iestādes tīmeklī, bet nav pieejama mašīnlasāmā formā): http://data.opendata.lv/

3. Papildus informācija

Šī nodaļa satur norādes uz papildus informāciju par atvērtajiem datiem.

3.1. Vispārēja informācija

"The 8 Principles of Open Government Data"

https://opengovdata.org/

VARAM - Atvērtie dati

www.varam.gov.lv/lat/darbibas_veidi/e_parv/atvertie_dati/

"Pašvaldības un atvērtie dati"

http://providus.lv/upload_file/Projekti/Laba%20parvaldiba/faktu_lapa_final.pdf

Latvijas atvērto tehnoloģiju asociācijas informatīvajais materiāls "Atvērtie dati".

Atvērto datu apmācības materiāli (EK Joinup projekts, angļu valodā)

https://joinup.ec.europa.eu/node/70560/

1. Ievads atvērtajos saistītajos valdības datos
2. Atvērto saistīto valdības datu un metadatu publicēšana

Atvērtie dati, to publicēšanas vadlīnijas un normatīvi (EK Joinup projekta materiāli, latviešu val.)

http://www.slideshare.net/OpenDataSupport/atvertie-dati-varam21feb14

3.2. Atvērto datu portāli (pasaulē)

Eiropas Savienības atvērto datu portāls

http://www.europeandataportal.eu/

DataHub - atvērts, globāls datu portāls, kurā jebkurš var pievienot jaunas datu kopas (OKFN)

https://datahub.io/

Lielbritānijas atvērto datu portāls

https://data.gov.uk/

ASV atvērto datu portāls

https://data.gov/

3.3. Atvērto datu portāli (Latvijā)

Latvijā pagaidām nav izveidots valsts līmeņa atvērto datu portāls.

Latvijas atvērto datu entuziastu (opendata.lv) portāls

http://data.opendata.lv/

Rīgas pašvaldības atvērto datu portāls

https://opendata.riga.lv/