⚠ PLANNED MAINTENANCE ⚠
Due to planned maintenance on DTU’s network infrastructure intermediate service interruptions are expected during the 30th and 31st of March
Som Dataejer på energydata.dk, er du hovedadministrator for dine data aktiver. Dit ansvar dækker over hele processen: At få data på platformen, holde det opdateret, og afgøre hvem skal kunne tilgå det.
Denne vejledning forklarer alle spekter af at være dataejer, at sikre at dit data bliver korrekt håndteret og dets værdi får maksimal udbytte for fælleskabet.
Denne vejdledning dækker over:
| Aspect | Focus |
|---|---|
| Data Upload | Preparing and uploading your data correctly, including setting up all necessary descriptive information (metadata). |
| Data Management | Maintaining the quality, updating datasets, and handling version control over time. |
| Access Control | Managing licenses and approving/denying access requests to your restricted datasets. |
For at bedre kunne forstå denne vejledning og for at bruge EnergyDataDK optimalt, er det nyttigt at være bekendt med visse begreb.
Disse begreb er beskrevet nedunder.
| Term | Meaning |
|---|---|
| Datastream | A datastream is like a channel where data from a sensor, measurement device or similar is received. All observations at the channel are a tuple with a time stamp for when the observation was measured and the measurement itself, i.e., the “value”. All timestamps in energydata.dk are in UTC time. Each datastream is described by a number of mandatory tags (metadata) that qualify the data. |
| Dataset | A dataset is a collection of related datastreams. |
| Owner | The owner of a dataset is the user who has the rights to manage it. |
| Group | A collection of users is called a group, they all share the same privileges, i.e., which datasets they can access and what privileges they have for the dataset (read / write access). |
| Administrator (group) | An administrator is a group member with additional privileges. Administrators can manage group membership by adding or removing users. They can grant access to datasets by assigning licenses to the group. However, administrators can only grant access to datasets they own. |
| Member (group) | A user can be a member of a group and, through that membership, gain access to the datasets associated with the group. |
| License | Read or write access to a dataset is controlled by a license that is assigned to the group. This license defines the level of access the group has to the dataset. |
| Public | A privilege that makes it possible to view a dataset, but not read or write the data into it. |
| Read | A read privilege allows users to view a datastream in the preview window, export the data to a CSV file, or access the data via the API for reading purposes. |
| Write | A privilege that makes it possible to insert data to a datastream via an API. |
| Topic | A unique label for a datastream. The topic is used when inserting or requesting data for a datastream via an API. |
| Tag | A tag is a descriptive metadata label used to characterize a datastream, helping to define its purpose or category and making it easier to search, filter, or organize. |
En datasæt må maksimalt indeholde 12.000 datastrømme.
Beskrivelsen af datasættet er meget vigtigt, da det hjælper brugeren at forstå hvad datasættet indeholder, om dataet er relevant for dem, og hvordan du kan kontakte dataejeren.
Venligst forbered alle datasæt oplysninger som beskrevet i Datasæt beskrivelse vejledning.
For at kunne tilføje data til EnergyDataDK skal du oprette et datasæt . For at gøre dette, gå til Settings menuet i den øvre højre hjørne og selekter Datasets (Fig. 1).
Et nyt vindue vil blive vist som viser datasæt oversigt siden (Fig. 2). Her kan du see alle datasæt du ejer, samt dem du har fået tildelt ejerskab rettigheder.
For at oprette et datasæt, klik på +DATASET i den øvre højre hjørne af Datasæt Oversigt siden (Fig. 2).
I det nye vindue (Fig. 3), indtast følgende oplysinger: Datasæt navn, MQTT topic præfiks, Datasæt beskrivelse.
Udfyld formularen som beskrevet i datasæt beskrivelse vejledning dokumentet.
I den nedre venstre hjørne af Figur 3, kan du uploade et billede som repræsenterer dit datasæt. Hvis du administrerer adskillige datasæt er det anbefalet at bruge unikke billeder for at undgå forvirring.
Efter oprettelse af datsættet bliver du ført videre til datasæt hoved siden (Fig. 4), hvor du kan se alle oplysinger relateret til datasættet.
Før du uploader data, skal du først oprette et datasætskelet ved at definere de datastrømme, der er beregnet til datasættet, og angive de tilsvarende metadata for hver enkelt. Disse metadata giver essentiel kontekst og struktur og er en forudsætning for dataindtagelse. Når datasættet er offentliggjort, bliver metadataene offentligt synlige for alle brugere via kolonnen Metadata på platformen.
Du kan tilføje disse oplysninger på to måder:
Vi henviser til Datasæt beskrivelse vejledning afsnittet for de påkrævede metadata oplysninger.
Hvis du har brug for at rette en fejl, eller tilføje mere metadata kan du gøre det direkte på hjemmesiden under oprettelse eller administrationen af datasættet.
Vær dog opmærksom på, at eksisterende metadata ikke kan blive opdateret via CSV upload.
For at tilføje nye datastrømme til en eksisterende datasæt kan du uploade en CSV-fil. Sikr dig at filen kun indeholder de nye datastrømme; eksisterende datastrømme bliver ikke ændret.
For at tilføje datastrøm metadata manuelt, gå til Datastrøm sektionen af datasæt siden (Fig. 5).
Derefter skal du udfylde formularen (Fig. 6c ), som bliver vist når du har trykt på OK knappen. Du skal udfylde alle metadata som beskrevet i Datasæt beskrivelse vejledning dokumentet, inden du får lov til at gemme datastrømmen.
For at gemme datastrømmen skal du trykke på enten Save all changes knappen eller på disk ikonet til venstre af din datastrøm (Fig. 6c ).
Når datastrømmen er oprettet kan du se alle oplysninger om datastrømmen ved at trykke på øje ikonet som bliver vist når man bevæger musen over datastrømmens navn. Et ny vindue vil blive vist med oplysningerne (Fig. 7).
Når du vil oprette en ny datastrøm, kan du oprette en fra bunden eller duplikere en eksisterende. Du kan også kopiere egenskaber fra én datastrøm til en anden. Valgmulighederne åbnes, når du klikker på de tre prikker ud for datastrømmens navn (Fig. 8).
Du vil også kunne finde en mulighed for at slette datastrømmen.
Upload knappen er placeret in den øvre højre hjørne af datastrøm sektionen, til højre af søgefelteto the right to the Search field (Fig. 5).
Det giver mulighed for upload af en datastrøm definition fil, hvor flere datastrømme kan være defineret. En vejledning, samt et skabelon fil bliver stillet til rådighed (Fig. 9).
En yderlige skabelon fil kan downloades her: Metadata skabelon fil.
Vigtig oplysning! den maksimale filstørrelse er 52 MB. Skulle du møde udfordringer med upload af metadata filen anbefaler vi at dele det op i mindre dele.
Du vil få en notifikation via email om resultatet af din upload.
Når dette er på plads er din datastrøm klar til at modtage data.
Nu at din datasæt er klargjort kan du indsætte data i det. Det kan du gøre ved brug af en af vores API’er. API’erne og API-tokens bliver beskrevet i detaljer i API Dokumentationen.
Top menubjælken har fem faner: Details, Owners, Users, Licenses, og Publish. Standard er Details fanen er selekteret.
Owners fanen viser alle ejere af et datasæt. Users fanen viser alle brugere med enhver slags adgang til datasættet. På Licenses fanen kan du se alle licenser knyttet til datasættet. Publish fanen giver dig mulighed for at se om et datasæt er blevet offentliggjort, at anmodne om offetliggørelse, og at se status om sådan en anmodning. Du kan få yderlige oplysinger i offetliggør et dataset afsnittet.
Den venstre side datasæt siden giver et hurtig overblik over datasæt metadataet og genveje til datasæt administration handlinger.
Ved toppen af panelet bliver nøgleoplysninger om datasættet vist:
Created at – Dato og tidspunktet datasættet blev oprettet
Number of datastreams – Total antal af datastrømme i datasættet
Last received data – Tidsstempel af den mest fornyelige data opdatering af live data (viser ikke tiden af Batch upload)
Public access – Indikerer hvorvidt datasættet er offentlig tilgængelig eller begrænset
MQTT prefix – Præfikset som bliver brugt til MQTT-baseret data indtagelse til dette datasæt
Disse oplysninger giver brugere mulighed for at hurtigt vurdere datasættets status og konfiguration uden at skulle åbne detaljerede indstillingerne.
Under metadataet er der en links til handlinger som giver mulighed for at administrere datasættet:
Create dataset alarm – Konfigurere alarmer baseret på datasæt betingelser
Edit dataset details – Ændre et datasæts navn. beskrivelse, og andre metadata
Divide dataset – Dele et datasæt op i deler (f.eks. til adgangskontrol eller strukturering)
Delete dataset – Permanent slette et datasæt
Disse handlinger giver direkte adgang til generelle datasæt administrationsopgaver.
Du kan overvåge dine datastrømme i dine datasæt når data er blevet sendt igennem MQTT publish service. Hvis et eller flere scripts sender data til dine datasæt via MQTT, kan du indstille tilsynsregler for at holde øje med om data bliver modtaget i det frekvens du definerer, og at værdierne er indenfor bestemte rækkevider. Hvis datet ikke opfylder disse betingelser bliver en alarm udløst og du vil få en notifikation via email.
Fr a oprette en overvågning, vælg Alarms i Settings menuet (Fig. 1).
Et nyt vindue med to faner bliver vist: Alarm log og Alarms. I Alarm log bliver alle uløste alarmer vist med oplysninger om alarmen ( Fig. 11).
Når du opretter en ny overvåging, læg mærk til:
Selekter “frequency” hvis du skal sikre at data bliver modtaget, og “threshold” hvis du vil overvåge værdierne som bliver modtaget
Kan enten være til en datastrøm eller datasæt
Datasæts understøtter også integration med eksterne analytiske redskaber, som Grafana, som muliggør mere strømlinede data overvågning og real-time visualisering.
Ved at opdele et datasæt opretter du et nyt datasæt med den givne navn, og MQTT topic præfiks. De selekterede datastrømme bliver flyttet til et nyt datasæt.
Datastrømme som blev flyttet til et nyt datasæt bliver tildelt et nyt MQTT topic præfiks. Det indebærer at applikationer som sender data til disse datastrømme ved brug af MQTT skal blive opdateret med den nye topic. Det vil dog være muligt at sende data til gamle topics i henstandsperioden.
De flyttede datastrømme får også tildelt et nyt datastrøm ID. Derfor skal alle applikationer som burger HTTP API’et (enten til import eller eksport), som benytter sig af datastrøm ID’er som identifikatorer ligeledes opdateres.
Husk også at oprette nye alarmregler til de migrerede datastrømme og det nye datasæt, da eksisterende alarmregler ikke bliver migreret.
Divide dataset muligheden kan vælges fra datasæt menuet (Fig. 14).
Et formular bliver vist som vist i Figure 15.
Hos EnergyDataDK kan du vælge at dele dine datasæt med andre brugere. Som datasætejer har du ansvar for beslutningen om hvem kan tilgå dit data, og hvilken rettigheder de skal have.
Adgangsrettigheder bliver administreret via grupper.
Hver gruppe får tildelt licenser som definerer rettigheder for dens medlemmer (læs/skrive). Disse rettigheder er beskrevet nærmere i ordlisten.
For at dele et datasæt, følg disse tre trin:
Opret en gruppe
Som datasætejer kan du oprette grupper som bliver brugt til at administrere adgang.
Kobl gruppen til dit datasæt
Når du kobler en gruppe til et datasæt vælger du de rettigheder alle gruppemedlemmer skal have når det kommer til det pågældende datasæt.
Tilføj brugere til gruppen
Enhver bruger i gruppen får automatisk de rettigheder som er defineret i gruppe-datasæt koblingen.
På grund af den opsætning arver brugerne rettigheder af deres gruppemedlemskab. Dette sikrer ensartet, transparent og brugervenlig kontrol over, hvem der kan læse eller ændre dine data.
Figur 16 illustrerer forholdet mellem brugere, grupper, datasæt, og licenser tildelt til hver gruppe.
Listen giver et overblik over alle grupper du enten er medlem eller administrator af.
Opret en ny gruppe ved at trykke på +GROUP knappen og ved at udfylde formularen i Figur 18.
Navngiv gruppen efter adgangstype og navnet af datsættet for at holde overblik over dine grupper.
Vær opmærksom på, at beskrivelsen er begrænset til 100 karakterer.
En ny formular kommer frem når du trykker på create knappen (Fig. 19). Denne formular viser menuet for den specifikke gruppe som netop er belvet oprettet. Vi vil senere referere til denne visning som Gruppe detalje siden.
Som gruppeadminstrator kan du tilgå denne side til hver en tid via gruppe menuet (Fig. 17).
På gruppe detaljer siden kan du:
På gruppe detaljer siden (Fig. 19), naviger til License Details sektionen. Her får du vist:
Tryk på + LICENSE knappen til højre for at udstede en ny licens.
I det nye vinduet (Fig. 20), definer følgende:
Choose the dataset you want to grant access to and click Create.
For at tilføje et nyt medlem, tryk på +ADD MEMBER knappen til højre af siden. Nyt medlem oprettelses formularen vil komme frem (Fig. 22).
Vigtig: Vedkommende som du vil tilføje skal have en EnergyDataDK konto!
Vær opmærksom: Du kan kun oprette et medlem ad gang.
Indtast e-mailadressen af det nye gruppemedlem, og angiv deres rolle: Medlem eller Administrator.
Et medlem kan tilgå data en gruppe har adgang til. En administrator kan administrere gruppen i samme grad som personen som oprettede gruppen.
Du kan indstille et udløbsdato. Det kan være nyttigt hvis du vil have at et medlemskab automatisk udløber, f.eks. når et projekt slutter.
For at effektiv kunne administrere adgangsrettigheder, tilråder vi at strukturere grupper efter antallet af brugere og projekttype:
Opret to grupper for hver datasæt:
Tilføj brugere fra et småskalaprojekt, som kræver adgang til et datasæt, til den passede gruppe. Indstil individuelle udløbsdatoer til hver bruger for at kunne administrere og begrænse deres adgang efter behov.
Denne opsætning giver dig mulighed for at give brugere fra adskillige småskalaprojekter til de samme datasæt gennem delte læse- eller skrivegrupper, alt imens du holder styr på hver brugers individuelle rettigheder og adgangsvarighed.
Denne tilgang hjælper dig at holde din omgivelse organiseret, simplificerer administration af licenser og medlemmer, og sikrer rettigheder er bundet til en projekt tidslinje. Det gør dit system også skalerbar i takt med at dine behov vokser.
Du kan offentliggøre et datasæt. Når dette er gjort kan alle EnergyDataDK brugere se at datasættet findes og vil dykke op i søgeresultater.
For at offentliggøre et datasæt, naviger til Publish fanen på datasæt siden (Fig. 23).
Tryk på PUBLISH DATASET knappen og vælg hvilke rettigheder brugere skal have (Fig. 24). Herfra kan du sende en anmodning om offentliggørelse.
En EnergyDataDK administrator modtager besked om anmodningen, og hvis beskrivelsen og metadataet er tilstrækkelig bliver anmodningen imødekommet. Hvis an anmodning bliver afvist vil en begrundelse blive givet.
Vær opmærksom på, at en bruger kan være medlem af adskillige grupper, og adskillige af disse grupper kan have adgang til samme datasæt. Du skal derfor inspicere alle grupper tilknyttet til datasættet når du vil fjerne adgangsrettigheder af en bestemt bruger.
