Vejledning til Dataejere

Introduktion

Som dataejer på energyDataDK er du hovedansvarlig for dine dataaktiver. Dit ansvar omfatter hele processen: at få dataene ind på platformen, sikre beskrivelser og tilgængelige metadata, holde dataene opdaterede samt beslutte, hvem der skal have adgang til dem.

Som dataejer på DTU fungerer du også som primær kontaktperson i forbindelse med forskningsmæssig og uddannelsesmæssig brug af dataene, træffer beslutninger om datasættenes fremtid og overdrager ejerskabet, hvis du forlader DTU.

Denne vejledning forklarer alle spekter af at være dataejer, at sikre at dit data bliver korrekt håndteret og dets værdi får maksimal udbytte for fælleskabet.

Denne vejdledning dækker over:

Aspect	Focus
Data Upload	Preparing and uploading your data correctly, including setting up all necessary descriptive information (metadata).
Data Management	Maintaining the quality, updating datasets, and handling version control over time.
Access Control	Managing licenses and approving/denying access requests to your restricted datasets.

Terminologi

For bedre at forstå denne vejledning og bruge EnergyDataDK effektivt, er det nyttigt at være bekendt med et par nøglebegreber.

Disse begreb er beskrevet nedunder.

Term	Definition
Datastream	A datastream is like a channel where data from a sensor, measurement device or similar is received. All observations at the channel are a tuple with a time stamp for when the observation was measured and the measurement itself, i.e., the “value”. All timestamps in EnergyDataDK are in UTC time. Each datastream is described by a number of mandatory tags (metadata) that qualify the data.
Dataset	A dataset is a collection of related datastreams.
Owner	The owner of a dataset is the user who has the rights to manage it.
Group	A collection of users is called a group, they all share the same privileges, i.e., which datasets they can access and what privileges they have for the dataset (read / write access).
Administrator (group)	An administrator is a group member with additional privileges. Administrators can manage group membership by adding or removing users. They can grant access to datasets by assigning licenses to the group. However, administrators can only grant access to datasets they own.
Member (group)	A user can be a member of a group and, through that membership, gain access to the datasets associated with the group.
License	Read or write access to a dataset is controlled by a license that is assigned to the group. This license defines the level of access the group has to the dataset.
Public	A privilege that makes it possible to view a dataset, but not read or write the data into it.
Read	A read privilege allows users to view a datastream in the preview window, export the data to a CSV file, or access the data via the API for reading purposes.
Write	A privilege that makes it possible to insert data to a datastream via an API.
Topic	A unique label for a datastream. The topic is used when inserting or requesting data for a datastream via an API.
Tag	A tag is a descriptive metadata label used to characterize a datastream, helping to define its purpose or category and making it easier to search, filter, or organize.

Datasæt oprettelse

Datasæt kan indeholde maksimal 12.000 datastrømme med op til 100 egenskaber. Dette betyder at du kan tilføje 91 yderlige brugerdefinerede egenskaber udover de 9 obligatoriske metadata egenskaber.

Datasæt beskrivelse vejledning

Datasæt beskrivelser er af afgørende betydning, de giver en bruger de fornødne oplysninger for at afgøre hvilken data er oplagret i datasættet, om datasættet passer til deres formål, og hvordan man kan kontakte dataejeren hvis datasættet ikke er offentliggjort.

Du kan finde detaljerede oplysninger med hensyn til bedste praksis i vores Datasæt Beskrivelse Vejledning.

Oprettelse af et datasæt

For at kunne tilføje data til EnergyDataDK skal du oprette et datasæt . For at gøre dette, gå til Settings menuet i den øvre højre hjørne og selekter Datasets (Fig. 1).

Et nyt vindue vil blive vist som viser datasæt oversigt siden (Fig. 2). Her kan du se alle datasæt du ejer, samt dem du har fået tildelt ejerskab rettigheder.

For at oprette et datasæt, klik på +DATASET i den øvre højre hjørne af Datasæt Oversigt siden (Fig. 2).

I det nye vindue (Fig. 3), indtast følgende oplysinger: Datasæt navn, MQTT emne præfiks, Datasæt beskrivelse.

Udfyld formularen som beskrevet i datasæt beskrivelse vejledning dokumentet.

I den nedre venstre hjørne af Figur 3, kan du uploade et billede som repræsenterer dit datasæt. Hvis du administrerer adskillige datasæt er det anbefalet at bruge unikke billeder for at undgå forvirring.

Efter oprettelse af datasættet bliver du ført videre til datasæt hoved siden (Fig. 4), hvor du kan se alle oplysninger relateret til datasættet.

Byg Datasæt Strukturen

Før du uploader data, skal du først oprette et datasætskelet ved at definere de datastrømme, der er beregnet til datasættet, og angive de tilsvarende metadata for hver enkelt. Disse metadata giver essentiel kontekst og struktur og er en forudsætning for dataindtagelse. Så snart en datasæt er blevet offentliggjort bliver metadata synlig til alle brugere via metadata kolonnen på platformen.
Du kan tilføje denne information på to måder:

Indtaste datastrøm oplysninger direkte på hjemmesiden,
Uploade en datastrøm definition fil i CSV format.

Du kan gennemgå Datasæt Beskrivelse Vejledning afsnittet for den fornødne metadata oplysninger.

Hvis du har brug for at rette en fejl eller tilføje yderlige metadata kan du gøre det direkte på hjemmesiden til hver en tid under opsætning eller administrationsprocessen.
Eksisterende metadata kan dog ikke bliver opdateret ved CSV upload.

For at tilføje yderlige datastrømme til en eksisterende datasæt kan du uploade en CSV fil. Sikre dig at filen kun indeholder de nye datastrømme; Eksisterende datastrømme bliver ikke opdateret.

1. Indtastning af datastrøm oplysinger direkte på hjemmesiden

For at tilføje datastrøm metadata manuelt, gå til Datastrøm sektionen af datasæt siden (Fig. 5).

1. Tryk på + New datastream knappen og indtast et navn til datastrømmen (Fig. 6a ).

Når navnet et tilføjet vil du blive bedt om at give en MQTT topic suffiks og at specificere Datatypen (Fig. 6b ).

Derefter skal du udfylde formularen (Fig. 6c ), som bliver vist når du har trykt på OK knappen. Du skal udfylde alle metadata som beskrevet i Datasæt beskrivelse vejledning dokumentet, inden du får lov til at gemme datastrømmen.

For at gemme datastrømmen skal du trykke på enten Save all changes knappen eller på disk ikonet til venstre af din datastrøm (Fig. 6c ).

Når datastrømmen er oprettet kan du se alle oplysninger om datastrømmen ved at trykke på øje ikonet som bliver vist når man bevæger musen over datastrømmens navn. Et ny vindue vil blive vist med oplysningerne (Fig. 7).

Når du opretter en ny datastrøm kan du lave et helt nyt, eller lave en kopi af et eksisterende. Du kan også kopiere egenskaber fra en datastrøm til den anden. Mulighederne vises når trykker på ikonet ved siden af datastrømnavnet (Fig. 8). Du vil også kunne finde en mulighed for at slette datastrømmen.

2. Upload CSV-filen med metadata

Upload knappen er placeret in den øvre højre hjørne af datastrøm sektionen, til højre af søgefelteto the right to the Search field (Fig. 5). Det giver mulighed for upload af en datastrøm definition fil, hvor flere datastrømme kan være defineret. En vejledning, samt et skabelon fil bliver stillet til rådighed (Fig. 9).

Filen skal være struktureret på en bestemt måde.
Den første linje skal have den faste værdi “datastream” i første kolonne, efterfulgt af navn, enhedstype og emne-suffiks.
Hvert af de ni obligatoriske felter skal stå på sin egen linje med den faste værdi “property” i første kolonne, efterfulgt af egenskabens navn og dens værdi. Du kan også tilføje et stort set ubegrænset antal yderligere linjer for at beskrive brugerdefinerede egenskaber.

For at tilføje flere datastrømme gentager du blot dette mønster for hver yderligere datastrøm.

Du kan tilføje yderlige brugerdefinerede egenskaber til hver datastrøm. Værditypen er defineret som enum:

Tekst
Lokation
Dato
Tal
Link
Enhed

Hvis man udelader denne kolonne bliver værdien automatisk sat til 1 (tekst).

Vær opmærksom:En datastrøm kan have maksimalt have 100 egenskaber i alt.

Her er en skabelon, du kan bruge:

datastream;<DATASTREAM_NAME>;<UNIT_TYPE>;<MQTT_TOPIC_SUFFIX>
property;Comment;<VALUE>;<DATA_TYPE_ENUM>
property;Data license;<VALUE>;<DATA_TYPE_ENUM>
property;GDPR classification;<VALUE>;<DATA_TYPE_ENUM>
property;Geo tag;<VALUE>;<DATA_TYPE_ENUM>
property;Location;<VALUE>;<DATA_TYPE_ENUM>
property;Organization;<VALUE>;<DATA_TYPE_ENUM>
property;Project tag;<VALUE>;<DATA_TYPE_ENUM>
property;Theme tag;<VALUE>;<DATA_TYPE_ENUM>
property;Unit;<VALUE>;<DATA_TYPE_ENUM>
property;<CUSTOM_PROPERTY>;<VALUE>;<DATA_TYPE_ENUM>

Her er en oversigt over hver pladsholder og dens forventede værdi:

<DATASTREAM_NAME>

Det navn, du ønsker at tildele din datastrøm.
Vælg noget, der beskriver de værdier, som skal registreres i den.

<UNIT_TYPE>

Accepterede værdier:

integer
double
string

<MQTT_TOPIC_SUFFIX>

En unik alfanumerisk streng, kun adskilt af "/" eller "-".

<CUSTOM_PROPERTY>

Valgfrit, dette kan være ethvert yderligere metadatafelt, du har brug for.

<VALUE>

Afhænger af det specifikke felt.
Gennemgå dataejervejledningen for detaljerede instruktioner.

<DATA_TYPE_ENUM>

Værditype, udtrykt som en optælling:

Tekst
Location
Dato
Tal
Link
Enhed

Vigtig: Den maksimale filstørrelse til en upload er 64 MB.

Du vil få en notifikation via email om resultatet af din upload.
Når dette er på plads er din datastrøm klar til at modtage data.

Indsæt data i et datasæt

Nu hvor dit datasæt er forberedt, kan du indsætte data i det. Du kan gøre det ved hjælp af en af API‘erne.
API‘erne og tokens er forklaret detaljeret i API-dokumentationen.

Administration af et datasæt

Datasæt side

For at administrere et af dine datasæt skal du gå til menuen Datasæt (fig. 2) og vælge det datasæt, du ønsker at inspicere.
Hovedsiden for datasættet (Fig. 10) er hvor du kan administrere alt som har med det at gøre.

Top menubjælken har fem faner: Details, Owners, Users, Licenses, og Publish. Standard er Details fanen er selekteret.

Owners fanen viser alle ejere af et datasæt. Users fanen viser alle brugere med enhver slags adgang til datasættet. På Licenses fanen kan du se alle licenser knyttet til datasættet. Publish fanen giver dig mulighed for at se om et datasæt er blevet offentliggjort, at anmodne om offetliggørelse, og at se status om sådan en anmodning. Du kan få yderlige oplysinger i offetliggør et dataset afsnittet.

Den venstre side datasæt siden giver et hurtig overblik over datasæt metadataet og genveje til datasæt administration handlinger.

Datasæt metadata

Ved toppen af panelet bliver nøgleoplysninger om datasættet vist:

Created at – Dato og tidspunktet datasættet blev oprettet
Number of datastreams – Total antal af datastrømme i datasættet
Last received data – Tidsstempel af den mest fornyelige data opdatering af live data (viser ikke tiden af Batch upload)
Public access – Indikerer hvorvidt datasættet er offentlig tilgængelig eller begrænset
MQTT prefix – Præfikset som bliver brugt til MQTT-baseret data indtagelse til dette datasæt

Disse oplysninger giver brugere mulighed for at hurtigt vurdere datasættets status og konfiguration uden at skulle åbne detaljerede indstillingerne.

Datasæt handlinger

Under metadataet er der en links til handlinger som giver mulighed for at administrere datasættet:

Create dataset alarm – Konfigurere alarmer baseret på datasæt betingelser
Edit dataset details – Ændre et datasæts navn. beskrivelse, og andre metadata
Divide dataset – Dele et datasæt op i deler (f.eks. til adgangskontrol eller strukturering)
Delete dataset – Permanent slette et datasæt

Disse handlinger giver direkte adgang til generelle datasæt administrationsopgaver.

Overvåg et datasæt

Du kan overvåge dine datastrømme i dine datasæt når data er blevet sendt igennem MQTT publish service. Hvis et eller flere scripts sender data til dine datasæt via MQTT, kan du indstille tilsynsregler for at holde øje med om data bliver modtaget i det frekvens du definerer, og at værdierne er indenfor bestemte rækkevider. Hvis datet ikke opfylder disse betingelser bliver en alarm udløst og du vil få en notifikation via email.

Fr a oprette en overvågning, vælg Alarms i Settings menuet (Fig. 1).

Et nyt vindue med to faner bliver vist: Alarm log og Alarms. I Alarm log bliver alle uløste alarmer vist med oplysninger om alarmen ( Fig. 11).

På Alarm fanen bliver alle overvågninger vist og man kan tilføje flere ved brug af
+ ALARM knappen (Fig. 12).

Du kan vælge mellem frekvens alarm (Fig. 13a ) og grænseværdi alarm (Fig. 13b ). Udfyld det tilhørende formular.

Når du opretter en ny overvåging, læg mærk til:

Alarm type
Vælg frekvens, hvis du har brug for at overvåge, at data modtages, og tærskel, hvis du har brug for at overvåge de modtagne værdier.
Source type
Kan enten være for en strøm eller et datasæt
Alarm trigger rules – Repeat active alarm after ( hours)
Definer hvor ofte en alarm skal udløses, indstil det til 0 hvis du ønsker kontinuerlig overvågning.

Datasæts understøtter også integration med eksterne analytiske redskaber, som Grafana, som muliggør mere strømlinede data overvågning og real-time visualisering.

Opdeling af et datasæt

Ved at opdele et datasæt opretter du et nyt datasæt med den givne navn, og MQTT topic præfiks. De selekterede datastrømme bliver flyttet til et nyt datasæt. Datastrømme som bliver overført til den nye datasæt får tildelt et nyt MQTT topic præfiks. Det indebærer dog at applikationer som indsætter data til disse datastrømme ved brug af MQTT, skal blive opdateret med det nye emne (topic). Det vil dog være tilladt at tilsende data til de gamle emner under henstandsperioden. De flyttede datastrømme får også tildelt et nyt datastrøm ID. Applikationer som benytter sig af HTTP APIet (enten import eller eksport), som benytter sig af datastrøm IDer som identifikatorer skal dog også opdateres.
Husk at oprette nye alarmbetingelser for de migrerede datastrømme og det nye datasæt, de de eksisterende alarmer ikke bliver flyttet med. Divide dataset muligheden kan vælges fra datasæt menuet (Fig. 14).

Et formular bliver vist som vist i Figur 15.

Slet dataset

Bemærk venligst, at sletning af et datasæt permanent fjerner datasættet, alle tilhørende datastrømme og alle relaterede data. Denne handling er irreversibel og kan ikke fortrydes. Som ejer af et datasæt er det dit ansvar, at lagringen af data overholder gældende lovgivning.

Derudover kan PowerLabDK (DTU) markere et datasæt til sletning, hvis det har været inaktivt i mere end to år. I sådanne tilfælde vil ejeren af datasættet få besked via den e-mailadresse, der er registreret i systemet, og blive oplyst om den planlagte sletningsdato. Sletning vil ikke finde sted tidligere end én måned efter, at meddelelsen er blevet sendt.

Datasæt, som du ejer, kan slettes ved hjælp af indstillingen Slet datasæt i menuen til venstre. Der vises en dialogboks, der advarer dig om den handling, du er ved at udføre: permanent sletning af datasættet og alle data, der er knyttet til det, herunder de datastrømme, det indeholder.

If you’re absolutely certain that you want to delete the dataset, you can initiate the process by entering the exact name of the dataset followed by pressing the Delete dataset! button.

I EnergyDataDK er adgangsadministration baseret på ejerskab og gruppemedlemskab. Hvis du vil give yderlige brugere mulighed for at administrere din datasæt kan du gøre dem medejer.
Du kan også dele dine datasæt med andre brugere uden at give dem rettigheder til at lave ændringer. Som datasætejer har du kontrol over hvem kan tilgå dit data og hvilken rettigheder de har.
Husk at du er den eneste ansvarlige for at fjerne adgangsrettigheder når de ikke længere er påkrævet i overensstemmelse med GDPR krav og aktuel lovgivning.

Adgangsrettigheder bliver administreret via grupper.
Hver gruppe får tildelt licenser som definerer rettigheder for dens medlemmer (læs/skrive). Disse rettigheder er beskrevet nærmere i ordlisten.

Tildeling af medejerskab

For at tilføje yderlige ejere, valg Owners fanen på datasætvisningen og tryk på + OWNER knappen.

Indtast e-mailadresse af personen du vil gøre medejer og tryk på ADD knappen for at gennemføre.

Vær opmærksom: Du kan kun tilføje en bruger ad gang og e-mailadressen skal være registreret som EnergyDataDK bruger.

Datasæt deling

For at dele et datasæt, følg disse tre trin:

Opret en gruppe
Som datasætejer kan du oprette grupper som bliver brugt til at administrere adgang.
Kobl gruppen til dit datasæt
Når du kobler en gruppe til et datasæt vælger du de rettigheder alle gruppemedlemmer skal have når det kommer til det pågældende datasæt.
Tilføj brugere til gruppen
Enhver bruger i gruppen får automatisk de rettigheder som er defineret i gruppe-datasæt koblingen.

På grund af den opsætning arver brugerne rettigheder af deres gruppemedlemskab. Dette sikrer ensartet, transparent og brugervenlig kontrol over, hvem der kan læse eller ændre dine data.

Figur 16 illustrerer forholdet mellem brugere, grupper, datasæt, og licenser tildelt til hver gruppe.

Opret en gruppe

Gå til Settings menuet (Fig. 1) og vælg Groups. Et formular som vist i Figure 17 kommer fremme.

Listen giver et overblik over alle grupper du enten er medlem eller administrator af. Opret en ny gruppe ved at trykke på +GROUP knappen og ved at udfylde formularen i Figur 18. Navngiv gruppen efter adgangs type og navnet af datasættet for at holde overblik over dine grupper.

Vær opmærksom: Beskrivelsen er begrænset til 100 karakterer.

En ny formular kommer frem når du trykker på create knappen (Fig. 19). Denne formular viser menuet for den specifikke gruppe som netop er belvet oprettet. Vi vil senere referere til denne visning som Gruppe detalje siden.

Som gruppeadminstrator kan du tilgå denne side til hver en tid via gruppe menuet (Fig. 17).

På gruppe detaljer siden kan du:

Se, tilføje, og trække licenser tilbage,
Tilføje og fjerne medlemmer,
De kan rette gruppenavnet og beskrivelsen ved at trykke på Edit i den øvre højre hjørne,
Slet gruppen ved at trykke på Delete i den øvre højre hjørne.

Tildeling af licenser

På gruppe detaljer siden (Fig. 19), naviger til License Details sektionen. Her får du vist:

Aktive licenser,
Adgangstype (læs/skrive),
Adgang varighed,
Hvem udstedte licensen.

Tryk på + LICENSE knappen til højre for at udstede en ny licens.

I det nye vinduet (Fig. 20), definer følgende:

Vilkår og betingelser af licensen (optionel),
Adgangstype (læs/skrive),
Udløbsdato (optionel).

Choose the dataset you want to grant access to and click Create.

Tilføjning af medlemmer

For at tilføje nye gruppemedlemmer, selekter Members fanen i den øvre venstreside af gruppe detaljer siden (Fig. 19).

Den side, der åbnes, er medlemssiden (Fig. 21). Her kan du se:

Nuværende medlemmer,
Deres roller,
Udløbsdatoer.

Du kan også eksportere listen, tilføje medlemmer, og slette dem.

For at tilføje et nyt medlem skal du klikke på +TILFØJ MEDLEM i højre side af siden. Formularen til at tilføje et nyt medlem vil dukke op ( Fig. 22).

Vigtig: Den person du vil tilføje skal have en EnergyDataDK konto!

Vær opmærksom: Du kan kun tilføje en enkel ny medlem ad gang.

Indtast e-mailadressen af det nye gruppemedlem, og angiv deres rolle: Medlem eller Administrator.

Et medlem kan tilgå data en gruppe har adgang til. En administrator kan administrere gruppen i samme grad som personen som oprettede gruppen.

Du kan indstille et udløbsdato. Det kan være nyttigt hvis du vil have at et medlemskab automatisk udløber, f.eks. når et projekt slutter.

Bedste praksis til opsætning af grupper

For at effektiv kunne administrere adgangsrettigheder, tilråder vi at strukturere grupper efter antallet af brugere og projekttype:

småskalaprojekt:

Opret to grupper for hver datasæt:

En gruppe til læseadgang (f.eks., “Dataset_Name_Read”)
En grupper til skriveadgang (f.eks., “Dataset_Name_Write”)

Tilføj brugere fra et småskalaprojekt, som kræver adgang til et datasæt, til den passede gruppe. Indstil individuelle udløbsdatoer til hver bruger for at kunne administrere og begrænse deres adgang efter behov.

Denne opsætning giver dig mulighed for at give brugere fra adskillige småskalaprojekter til de samme datasæt gennem delte læse- eller skrivegrupper, alt imens du holder styr på hver brugers individuelle rettigheder og adgangsvarighed.

Storskalaprojekter:

Opret en enkel dedikerede gruppe til projektet.
Tildel et udløbsdato til gruppens licens i sin helhed.

Denne tilgang hjælper dig at holde din omgivelse organiseret, simplificerer administration af licenser og medlemmer, og sikrer rettigheder er bundet til en projekt tidslinje. Det gør dit system også skalerbar i takt med at dine behov vokser.

Offentliggørelse af et datasæt

Du kan udgive et datasæt. Når det er publiceret, kan alle brugere på EnergyDataDK se, at datasættet findes, og det vil blive søgbart.

For at offentliggøre et datasæt, naviger til Publish fanen på datasæt siden (Fig. 23).

Tryk på PUBLISH DATASET knappen og vælg hvilke rettigheder brugere skal have (Fig. 24). Herfra kan du sende en anmodning om offentliggørelse.

Når en anmodning fremsættes, vil EnergyDataDKs dataadministrator modtage anmodningen, og hvis der er tilstrækkelig beskrivelse og metadata, vil anmodningen blive godkendt. Hvis den afvises, vil der blive givet en begrundelse.

Vær opmærksom på, at en bruger kan være medlem af adskillige grupper, og adskillige af disse grupper kan have adgang til samme datasæt. Du skal derfor inspicere alle grupper tilknyttet til datasættet når du vil fjerne adgangsrettigheder af en bestemt bruger.

Indholdsfortegnelse

Vejledning til Dataejere

Introduktion

Terminologi