Data engineering og analyse handler om å hente data, forstå dataen mot domenet man jobber i, integrere og transformere dataen (f. eks. i et datavarehus) og til slutt visualisere den på en god måte.

Dataplattform

En dataplattform er en teknisk løsning som brukes for å lagre, behandle og analysere store mengder data. Dataplattformer består typisk av en rekke komponenter, som datalagring, dataverktøy og datakilder, og de gir brukerne mulighet for å samle, rense, strukturere og analysere data på en enkel og effektiv måte.

Dataplattformer er nyttige for virksomheter som har store mengder data som de ønsker å få innsikt fra. Ved å bruke en dataplattform kan virksomheten automatisere og forenkle dataanalyseprosessene, og det kan bidra til å gjøre dataen mer tilgjengelig og lettere å bruke for beslutningstakere og andre interessenter.

Det finnes ulike typer dataplattformer, som for eksempel datalake, datavarehus og data lakehouse, og det er viktig å velge en plattform som passer best mulig til virksomhetens behov og krav.

Data mesh

Data mesh er en strategi for å designe og implementere et distribuert datalandskap som kan håndtere stadig økende datamengder og kompleksitet. I stedet for å ha en sentralisert datalake eller et datavarehus, bruker data mesh en distribuert domene-orientert arkitektur med mange autonome dataprodukter som kan samarbeide og dele data på en standardisert måte. Dette kan hjelpe organisasjoner med å bli mer fleksible og skalerbare i forhold til sine databehov, samtidig som det gir bedre innsikt og samarbeid mellom forskjellige avdelinger og team.

Det handler om å flytte eierskap av analytisk data ut til tverrfaglige team som sitter nærmere der hvor dataen produseres og som kjenner dataen best. Med produkttenking ønsker man å ha fokus på konsumentene og skape en markedsplass for data.

Knowledge graphs

En knowledge graph er en kunnskapsbase som bruker en grafbasert datamodell for å representere et nettverk av virkelige konsepter. Den representerer sammenkoblede beskrivelser av konsepter, entiteter, relasjoner og begivenheter ved hjelp av formell semantikk som kan leses av både mennesker og datamaskiner. Knowledge graphs kan brukes til å strukturere og organisere store mengder data på en meningsfull måte, slik at det blir enklere å finne frem til relevant informasjon. I motsetning til relasjonelle databaser, så uttrykkes her relasjoner mellom konsepter eksplisitt, og spørringer kan gjøres uten å måtte koble sammen en rekke tabeller. Knowledge graphs kan for eksempel brukes til å integrere data via et semantisk lag, bygge avanserte søkemotorer, forbedre brukeropplevelsen på nettsider og i sosiale medier, eller til å lage interaktive kart og visualiseringer. Et eksempel er Google Knowledge graph som gir oss relevant informasjon i informasjonsboksen ved siden av søkeresultatene.

Noen teknologier og verktøy som brukes for å jobbe med knowledge graphs, er:

• RDF (Resource Description Framework) er en standardisert metode som benyttes for å representere fakta som bygger opp kunnskapsbasen. Relasjoner mellom konsepter uttrykkes som en sammensetning av subjekt, predikat og objekt. En slik enkel modell gjør at data enkelt kan utveksles mellom ulike systemer.
• OWL (Web Ontology Language) er et språk som er designet for å representere formell semantikk, også kalt ontologi. En ontologi uttrykker datamodellen til knowledge graphs.
• SPARQL (SPARQL Protocol and RDF Query Language) er et spørrespråk som kan brukes til å foreta spørringer over RDF-data og hente ut relevant informasjon. Grafdatabase er en type database som er spesielt godt egnet til å lagre og håndtere knowledge graphs. Det finnes en rekke grafdatabaser som håndterer RDF, og noen har også innebygd motor for å slutte ny fakta basert på eksisterende kunnskap. Eksempler på grafdatabaser inkluderer Ontotext GraphDB og AllegroGraph. Neo4j har en plugin for å muliggjøre bruk av RDF.
• Java og Python har begge biblioteker for å jobbe med knowledge graphs.

Det finnes også mange verktøy og plattformer som kan brukes til å bygge og jobbe med knowledge graph på en mer brukervennlig måte, for eksempel Cambridge Semantics AnzoGraph og PoolParty Semantic Suite.

Datavisualisering

Datavisualisering er en metode for å presentere data i et visuelt format, slik at det blir enklere å forstå og tolke informasjonen. Dette kan for eksempel gjøres ved å bruke diagrammer, grafer, kart, eller andre typer visualiseringer. Formålet med datavisualisering er å hjelpe folk med å identifisere mønstre, trender og sammenhenger i dataene, og å gi en oversiktlig og lettforståelig presentasjon av informasjonen.

Power BI er et verktøy for datavisualisering som gir deg mulighet til å importere, transformere og visualisere data fra ulike kilder, slik at du kan lage interaktive dashboards og rapporter. Det inkluderer også en rekke forhåndsdefinerte diagrammer og visualiseringer som du kan bruke til å vise dataene på en meningsfull måte, samt muligheten for å lage egne visualiseringer ved hjelp av et innebygget verktøy for datavisualisering. Power BI kan bidra til å gjøre dataene mer forståelige og tilgjengelige for folk som trenger å ta beslutninger basert på informasjonen.