Som dataejer på EnergyDataDK er du den primære administrator af dine dataaktiver. Dit ansvar dækker hele processen: at få dataene ind på platformen, holde dem opdaterede og beslutte, hvem der kan få adgang til dem.
Denne vejledning forklarer alle spekter af at være dataejer, at sikre at dit data bliver korrekt håndteret og dets værdi får maksimal udbytte for fælleskabet.
Denne vejdledning dækker over:
| Aspect | Focus |
|---|---|
| Data Upload | Preparing and uploading your data correctly, including setting up all necessary descriptive information (metadata). |
| Data Management | Maintaining the quality, updating datasets, and handling version control over time. |
| Access Control | Managing licenses and approving/denying access requests to your restricted datasets. |
For bedre at forstå denne vejledning og bruge EnergyDataDK effektivt, er det nyttigt at være bekendt med et par nøglebegreber.
Disse begreb er beskrevet nedunder.
| Term | Definition |
|---|---|
| Datastream | A datastream is like a channel where data from a sensor, measurement device or similar is received. All observations at the channel are a tuple with a time stamp for when the observation was measured and the measurement itself, i.e., the “value”. All timestamps in EnergyDataDK are in UTC time. Each datastream is described by a number of mandatory tags (metadata) that qualify the data. |
| Dataset | A dataset is a collection of related datastreams. |
| Owner | The owner of a dataset is the user who has the rights to manage it. |
| Group | A collection of users is called a group, they all share the same privileges, i.e., which datasets they can access and what privileges they have for the dataset (read / write access). |
| Administrator (group) | An administrator is a group member with additional privileges. Administrators can manage group membership by adding or removing users. They can grant access to datasets by assigning licenses to the group. However, administrators can only grant access to datasets they own. |
| Member (group) | A user can be a member of a group and, through that membership, gain access to the datasets associated with the group. |
| License | Read or write access to a dataset is controlled by a license that is assigned to the group. This license defines the level of access the group has to the dataset. |
| Public | A privilege that makes it possible to view a dataset, but not read or write the data into it. |
| Read | A read privilege allows users to view a datastream in the preview window, export the data to a CSV file, or access the data via the API for reading purposes. |
| Write | A privilege that makes it possible to insert data to a datastream via an API. |
| Topic | A unique label for a datastream. The topic is used when inserting or requesting data for a datastream via an API. |
| Tag | A tag is a descriptive metadata label used to characterize a datastream, helping to define its purpose or category and making it easier to search, filter, or organize. |
Grænsen for datasættets størrelse er 12.000 datastrømme.
Beskrivelsen af datasættet er meget vigtigt, da det hjælper brugeren at forstå hvad datasættet indeholder, om dataet er relevant for dem, og hvordan du kan kontakte dataejeren.
Venligst forbered alle datasæt oplysninger som beskrevet i Datasæt beskrivelse vejledning.
For at kunne tilføje data til EnergyDataDK skal du oprette et datasæt . For at gøre dette, gå til Settings menuet i den øvre højre hjørne og selekter Datasets (Fig. 1).
Et nyt vindue vil blive vist som viser datasæt oversigt siden (Fig. 2). Her kan du se alle datasæt du ejer, samt dem du har fået tildelt ejerskab rettigheder.
For at oprette et datasæt, klik på +DATASET i den øvre højre hjørne af Datasæt Oversigt siden (Fig. 2).
I det nye vindue (Fig. 3), indtast følgende oplysinger: Datasæt navn, MQTT emne præfiks, Datasæt beskrivelse.
Udfyld formularen som beskrevet i datasæt beskrivelse vejledning dokumentet.
I den nedre venstre hjørne af
Efter oprettelse af datasættet bliver du ført videre til datasæt hoved siden (Fig. 4), hvor du kan se alle oplysninger relateret til datasættet.
Før du uploader data, skal du først oprette et datasætskelet ved at definere de datastrømme, der er beregnet til datasættet, og angive de tilsvarende metadata for hver enkelt. Disse metadata giver essentiel kontekst og struktur og er en forudsætning for dataindtagelse. Når datasættet er udgivet, bliver metadataene offentligt synlige for alle brugere via kolonnen Metadata på platformen.
Du kan tilføje disse oplysninger på to måder:
Vi henviser til Datasæt beskrivelse vejledning afsnittet for de påkrævede metadata oplysninger.
Hvis du har brug for at rette en fejl eller tilføje yderligere metadata, kan du gøre det direkte på hjemmesiden når som helst under opsætningen eller administrationen af datasættet. Bemærk dog, at eksisterende metadata ikke kan opdateres via CSV-upload.
For at tilføje nye datastrømme til en eksisterende datasæt kan du uploade en CSV-fil. Sikr dig at filen kun indeholder de nye datastrømme; eksisterende datastrømme bliver ikke ændret.
For at tilføje datastrøm metadata manuelt, gå til Datastrøm sektionen af datasæt siden (Fig. 5).
Derefter skal du udfylde formularen (Fig. 6c ), som bliver vist når du har trykt på OK knappen. Du skal udfylde alle metadata som beskrevet i
For at gemme datastrømmen skal du trykke på enten Save all changes knappen eller på disk ikonet til venstre af din datastrøm (Fig. 6c ).
Når du vil oprette en ny datastrøm, kan du oprette en fra bunden eller duplikere den allerede eksisterende.
Du kan også kopiere egenskaber fra én datastrøm til en anden. Valgmulighederne åbnes, når du klikker på de tre prikker ud for datastrømmens navn (fig. 8).
Du vil også kunne finde en mulighed for at slette datastrømmen.
Filen skal være struktureret på en bestemt måde.
Den første linje skal have den faste værdi “datastream” i første kolonne, efterfulgt af navn, enhedstype og emne-suffiks.
Hvert af de ni obligatoriske felter skal stå på sin egen linje med den faste værdi “property” i første kolonne, efterfulgt af egenskabens navn og dens værdi. Du kan også tilføje et stort set ubegrænset antal yderligere linjer for at beskrive brugerdefinerede egenskaber.
For at tilføje flere datastrømme gentager du blot dette mønster for hver yderligere datastrøm.
Du kan tilføje en ekstra valgfri kolonne til hver linje, der deklarerer værditypen som en enum:
Hvis denne kolonne ikke inkluderes, sættes værditypen som standard til 1 (tekst).
Her er en skabelon, du kan bruge:
datastream;<DATASTREAM_NAME>;<UNIT_TYPE>;<MQTT_TOPIC_SUFFIX> property;Comment;<VALUE>;<DATA_TYPE_ENUM> property;Data license;<VALUE>;<DATA_TYPE_ENUM> property;GDPR classification;<VALUE>;<DATA_TYPE_ENUM> property;Geo tag;<VALUE>;<DATA_TYPE_ENUM> property;Location;<VALUE>;<DATA_TYPE_ENUM> property;Organization;<VALUE>;<DATA_TYPE_ENUM> property;Project tag;<VALUE>;<DATA_TYPE_ENUM> property;Theme tag;<VALUE>;<DATA_TYPE_ENUM> property;Unit;<VALUE>;<DATA_TYPE_ENUM> property;<CUSTOM_PROPERTY>;<VALUE>;<DATA_TYPE_ENUM>
Her er en oversigt over hver pladsholder og dens forventede værdi:
<DATASTREAM_NAME><UNIT_TYPE><MQTT_TOPIC_SUFFIX><CUSTOM_PROPERTY><VALUE><DATA_TYPE_ENUM>Hvis du oplever problemer med at uploade metadatafilen, anbefaler vi, at du opdeler den i mindre bidder.
Du vil få en notifikation via email om resultatet af din upload.
Når dette er på plads er din datastrøm klar til at modtage data.
Top menubjælken har fem faner: Details, Owners, Users, Licenses, og Publish. Standard er Details fanen er selekteret.
Owners fanen viser alle ejere af et datasæt. Users fanen viser alle brugere med enhver slags adgang til datasættet. På Licenses fanen kan du se alle licenser knyttet til datasættet. Publish fanen giver dig mulighed for at se om et datasæt er blevet offentliggjort, at anmodne om offetliggørelse, og at se status om sådan en anmodning. Du kan få yderlige oplysinger i
Den venstre side datasæt siden giver et hurtig overblik over datasæt metadataet og genveje til datasæt administration handlinger.
Ved toppen af panelet bliver nøgleoplysninger om datasættet vist:
Created at – Dato og tidspunktet datasættet blev oprettet
Number of datastreams – Total antal af datastrømme i datasættet
Last received data – Tidsstempel af den mest fornyelige data opdatering af live data (viser ikke tiden af Batch upload)
Public access – Indikerer hvorvidt datasættet er offentlig tilgængelig eller begrænset
MQTT prefix – Præfikset som bliver brugt til MQTT-baseret data indtagelse til dette datasæt
Disse oplysninger giver brugere mulighed for at hurtigt vurdere datasættets status og konfiguration uden at skulle åbne detaljerede indstillingerne.
Under metadataet er der en links til handlinger som giver mulighed for at administrere datasættet:
Create dataset alarm – Konfigurere alarmer baseret på datasæt betingelser
Edit dataset details – Ændre et datasæts navn. beskrivelse, og andre metadata
Divide dataset – Dele et datasæt op i deler (f.eks. til adgangskontrol eller strukturering)
Delete dataset – Permanent slette et datasæt
Disse handlinger giver direkte adgang til generelle datasæt administrationsopgaver.
Du kan overvåge dine datastrømme i dine datasæt når data er blevet sendt igennem MQTT publish service. Hvis et eller flere scripts sender data til dine datasæt via MQTT, kan du indstille tilsynsregler for at holde øje med om data bliver modtaget i det frekvens du definerer, og at værdierne er indenfor bestemte rækkevider. Hvis datet ikke opfylder disse betingelser bliver en alarm udløst og du vil få en notifikation via email.
Fr a oprette en overvågning, vælg Alarms i Settings menuet (Fig. 1).
Et nyt vindue med to faner bliver vist: Alarm log og Alarms. I Alarm log bliver alle uløste alarmer vist med oplysninger om alarmen ( Fig. 11).
På Alarm fanen bliver alle overvågninger vist og man kan tilføje flere ved brug af
+ ALARM knappen (Fig. 12).
Når du opretter en ny overvåging, læg mærk til:
Datasæts understøtter også integration med eksterne analytiske redskaber, som Grafana, som muliggør mere strømlinede data overvågning og real-time visualisering.
Ved at opdele et datasæt opretter du et nyt datasæt med den givne navn, og MQTT topic præfiks. De selekterede datastrømme bliver flyttet til et nyt datasæt.
Datastrømme som bliver overført til den nye datasæt får tildelt et nyt MQTT topic præfiks. Det indebærer dog at applikationer som indsætter data til disse datastrømme ved brug af MQTT, skal blive opdateret med det nye emne (topic). Det vil dog være tilladt at tilsende data til de gamle emner under henstandsperioden.
De flyttede datastrømme får også tildelt et nyt datastrøm ID. Applikationer som benytter sig af HTTP APIet (enten import eller eksport), som benytter sig af datastrøm IDer som identifikatorer skal dog også opdateres.
Husk at oprette nye alarmbetingelser for de migrerede datastrømme og det nye datasæt, de de eksisterende alarmer ikke bliver flyttet med.
Divide dataset muligheden kan vælges fra datasæt menuet (Fig. 14).
Et formular bliver vist som vist i Figur 15.
Hos EnergyDataDK kan du vælge at dele dine datasæt med andre brugere. Som ejer af datasættet er du ansvarlig for at beslutte, hvem der kan få adgang til dine data, og hvilken type adgang de skal have.
Adgangsrettigheder administreres via grupper. Hver gruppe tildeles en licens, der definerer tilladelsesniveauet for dens medlemmer (læse/skrive). Disse tilladelsestyper er beskrevet i ordlisten.
For at dele et datasæt, følg disse tre trin:
På grund af den opsætning arver brugerne rettigheder af deres gruppemedlemskab. Dette sikrer ensartet, transparent og brugervenlig kontrol over, hvem der kan læse eller ændre dine data.
Figur 16 illustrerer forholdet mellem brugere, grupper, datasæt, og licenser tildelt til hver gruppe.
Listen giver et overblik over alle grupper du enten er medlem eller administrator af.
Opret en ny gruppe ved at trykke på +GROUP knappen og ved at udfylde formularen i Figur 18.
Navngiv gruppen efter adgangstype og navnet af datsættet for at holde overblik over dine grupper.
Vær opmærksom på, at beskrivelsen er begrænset til 100 karakterer.
En ny formular kommer frem når du trykker på create knappen (Fig. 19). Denne formular viser menuet for den specifikke gruppe som netop er belvet oprettet. Vi vil senere referere til denne visning som Gruppe detalje siden.
Som gruppeadminstrator kan du tilgå denne side til hver en tid via gruppe menuet (Fig. 17).
På gruppe detaljer siden kan du:
På gruppe detaljer siden (Fig. 19), naviger til License Details sektionen. Her får du vist:
Tryk på + LICENSE knappen til højre for at udstede en ny licens.
I det nye vinduet (Fig. 20), definer følgende:
Choose the dataset you want to grant access to and click Create.
For at tilføje et nyt medlem skal du klikke på +TILFØJ MEDLEM i højre side af siden. Formularen til at tilføje et nyt medlem vil dukke op ( Fig. 22).
Indtast e-mailadressen af det nye gruppemedlem, og angiv deres rolle: Medlem eller Administrator.
Et medlem kan tilgå data en gruppe har adgang til. En administrator kan administrere gruppen i samme grad som personen som oprettede gruppen.
Du kan indstille et udløbsdato. Det kan være nyttigt hvis du vil have at et medlemskab automatisk udløber, f.eks. når et projekt slutter.
For at effektiv kunne administrere adgangsrettigheder, tilråder vi at strukturere grupper efter antallet af brugere og projekttype:
Opret to grupper for hver datasæt:
Tilføj brugere fra et småskalaprojekt, som kræver adgang til et datasæt, til den passede gruppe. Indstil individuelle udløbsdatoer til hver bruger for at kunne administrere og begrænse deres adgang efter behov.
Denne opsætning giver dig mulighed for at give brugere fra adskillige småskalaprojekter til de samme datasæt gennem delte læse- eller skrivegrupper, alt imens du holder styr på hver brugers individuelle rettigheder og adgangsvarighed.
Denne tilgang hjælper dig at holde din omgivelse organiseret, simplificerer administration af licenser og medlemmer, og sikrer rettigheder er bundet til en projekt tidslinje. Det gør dit system også skalerbar i takt med at dine behov vokser.
Du kan udgive et datasæt. Når det er publiceret, kan alle brugere på EnergyDataDK se, at datasættet findes, og det vil blive søgbart.
For at offentliggøre et datasæt, naviger til Publish fanen på datasæt siden (Fig. 23).
Tryk på PUBLISH DATASET knappen og vælg hvilke rettigheder brugere skal have (Fig. 24). Herfra kan du sende en anmodning om offentliggørelse.
Når en anmodning fremsættes, vil EnergyDataDKs dataadministrator modtage anmodningen, og hvis der er tilstrækkelig beskrivelse og metadata, vil anmodningen blive godkendt. Hvis den afvises, vil der blive givet en begrundelse.
Vær opmærksom på, at en bruger kan være medlem af adskillige grupper, og adskillige af disse grupper kan have adgang til samme datasæt. Du skal derfor inspicere alle grupper tilknyttet til datasættet når du vil fjerne adgangsrettigheder af en bestemt bruger.