Mitä dark data on? Esimerkit, riskit ja hyödyntäminen

Dark data tarkoittaa dataa, jonka organisaatio kerää, käsittelee tai säilyttää, mutta jota se ei käytä analytiikassa, päätöksenteossa tai toiminnan kehittämisessä. Data voi olla täysin tuntematonta, vaikeasti löydettävää, siiloutunutta tai yksinkertaisesti unohtunutta.

Dark dataa syntyy lähes kaiken normaalin toiminnan sivutuotteena. Esimerkkejä ovat sovellus- ja palvelinlokit, IoT-sensorien mittaukset, vanhat tiedostot, sähköpostit, asiakaspalvelutallenteet, varmuuskopiot ja käytöstä poistettuihin järjestelmiin jäänyt data.

Splunkin State of Dark Data -tutkimuksessa 55 prosenttia organisaatioiden datasta arvioitiin dark dataksi. Lukua ei kuitenkaan pidä tulkita niin, että kaikki käyttämätön data pitäisi analysoida. Olennaista on tietää, mitä dataa on olemassa, mitä arvoa tai riskiä siihen liittyy ja pitäisikö se ottaa käyttöön, arkistoida turvallisesti vai poistaa.

Dark data ei ole automaattisesti arvokasta. Arvo syntyy vasta, kun organisaatio löytää datan, ymmärtää sen sisällön ja tekee siitä tarkoituksenmukaisen päätöksen.

Dark data ei ole sama asia kuin strukturoimaton data

Dark data ei ole tietomuoto vaan datan käyttöön ja näkyvyyteen liittyvä tila. Se voi olla strukturoitua, puolistrukturoitua tai strukturoimatonta.

Käsite	Mitä se tarkoittaa	Esimerkki
Dark data	Dataa kerätään tai säilytetään, mutta sitä ei tunneta, hallita tai käytetä aktiivisesti.	Arkistoitu palvelinloki, jota kukaan ei hae tai analysoi.
Strukturoimaton data	Dataa ilman kiinteää taulukko- tai tietokantarakennetta. Se voi silti olla aktiivisessa käytössä.	Sähköposti, kuva, video tai puhelutallenne.
Huonolaatuinen data	Puutteellista, virheellistä, vanhentunutta tai epäjohdonmukaista dataa.	Asiakastietue, josta puuttuu keskeisiä kenttiä.
ROT-data	Tarpeettomia kaksoiskappaleita sekä vanhentunutta tai vähäarvoista dataa.	Useita kopioita vanhasta raportista.

Strukturoimaton data voi siis olla dark dataa, mutta näin ei aina ole. Aktiivisesti analysoitu asiakaspalvelutallenne ei ole dark dataa. Sen sijaan täysin strukturoitu tietokanta voi jäädä pimentoon, jos kukaan ei tunne sen sisältöä tai pääse käyttämään sitä.

Millaisia esimerkkejä dark datasta on?

Dark data näyttää erilaiselta eri organisaatioissa. Tavallisia esimerkkejä ovat seuraavat.

Lokit ja tekninen telemetria. Sovellus-, palvelin-, verkko-, tietoturva- ja auditointilokit, joita kerätään mutta ei indeksoida, yhdistetä tai seurata.
IoT- ja sensoridata. Lämpötila-, energia-, sijainti-, laite- ja tuotantomittaukset, jotka tallentuvat mutta eivät vaikuta kunnossapitoon tai päätöksentekoon.
Asiakasvuorovaikutukset. Puhelutallenteet, chat-keskustelut, palautteet, hakusanat, poistuneet ostoskorit ja asiakaspolun tapahtumat.
Dokumentit ja viestit. Sähköpostit, esitykset, PDF-tiedostot, muistiinpanot ja jaetuille levyille unohtuneet taulukot.
Liiketoimintajärjestelmät. CRM- ja ERP-järjestelmien kentät, joita kerätään rutiininomaisesti mutta ei hyödynnetä raportoinnissa.
Vanhat järjestelmät ja varmuuskopiot. Käytöstä poistettuihin sovelluksiin, pilvitallennuksiin tai arkistoihin jääneet tiedot, joiden omistajaa ei tunneta.
Käyttö- ja pääsytiedot. Tiedot siitä, kuka käytti järjestelmää, mitä hän teki ja milloin tapahtuma sattui, jos niitä ei hyödynnetä tietoturvassa tai auditoinnissa.

Sama tietoaineisto voi olla yhdelle tiimille aktiivista dataa ja toiselle dark dataa. Ratkaisevaa on se, onko data löydettävissä, ymmärrettävissä, luotettavissa ja käytettävissä johonkin määriteltyyn tarkoitukseen.

Miksi data jää pimentoon?

Data ei yleensä muutu dark dataksi yhden teknisen virheen vuoksi. Taustalla on usein useita toisiinsa liittyviä syitä.

Datasiilot. Tiimit keräävät ja säilyttävät dataa omissa järjestelmissään. Muut eivät tiedä sen olemassaolosta tai pääse siihen käsiksi.
Epäselvä omistajuus. Kukaan ei vastaa datan laadusta, kuvauksesta, käyttöoikeuksista tai elinkaaresta.
Puutteelliset metatiedot. Datasta puuttuu kuvaus, alkuperä, aikaleima, luokittelu tai tieto siitä, miten sitä pitäisi tulkita.
Vanhat järjestelmät. Data jää formaatteihin tai sovelluksiin, joita nykyiset työkalut eivät osaa lukea tai yhdistää.
Kerää ensin, mieti myöhemmin. Halpa tallennustila kannustaa säilyttämään kaiken mahdollisen ilman käyttötapausta tai poistopäätöstä.
Rajalliset resurssit. Organisaatio ehtii kerätä dataa nopeammin kuin se pystyy luokittelemaan, puhdistamaan ja analysoimaan sitä.
Heikko datan laatu. Puutteellinen tai epäluotettava data jää käyttämättä, mutta sitä ei silti poisteta tai korjata.
Muuttuvat prioriteetit. Aiemmin tärkeä aineisto unohtuu projektin, järjestelmän tai vastuuhenkilön vaihtuessa.

Mitä riskejä dark data aiheuttaa?

Dark data ei ole vaarallista siksi, että sitä ei käytetä. Riski syntyy siitä, että dataa ei tunneta eikä hallita. Organisaatio ei voi suojata, säilyttää tai poistaa johdonmukaisesti sellaista dataa, jonka sijaintia, sisältöä tai omistajaa se ei tiedä.

Tietoturva- ja yksityisyysriski. Unohdetuissa lokeissa, tiedostoissa ja varmuuskopioissa voi olla henkilötietoja, tunnuksia, IP-osoitteita, asiakastietoja tai liikesalaisuuksia.
Vaatimustenmukaisuusriski. Myös käyttämättömään henkilötietoon sovelletaan tietosuojavaatimuksia. Organisaation on tiedettävä, miksi tietoa säilytetään ja kuinka kauan.
Kustannukset. Tarpeeton data kasvattaa tallennus-, varmistus-, siirto-, lisenssi- ja ylläpitokuluja.
Puutteellinen näkyvyys. Häiriön, tietoturvatapahtuman tai auditoinnin yhteydessä ratkaiseva tieto voi olla olemassa, mutta sitä ei löydetä ajoissa.
Menetetyt mahdollisuudet. Käyttämätön data voi sisältää tietoa asiakasongelmista, prosessien pullonkauloista, laitevioista tai uusista palvelutarpeista.
Heikko pohja tekoälylle. Tuntematon, vinoutunut tai huonolaatuinen data voi johtaa epäluotettaviin malleihin ja päätelmiin.

EU:n tietosuoja-asetuksen periaatteet korostavat käyttötarkoitussidonnaisuutta, tietojen minimointia ja säilytyksen rajoittamista. Dark datan hallinta tukee näitä periaatteita, mutta jokainen oikeudellinen tilanne on arvioitava erikseen.

Mitä arvoa dark datasta voidaan saada?

Dark data voi olla käyttämätön resurssi, mutta pelkkä datamäärä ei luo arvoa. Hyöty syntyy, kun data vastaa todelliseen kysymykseen ja johtaa toimintaan.

Parempi operatiivinen näkyvyys. Lokit ja tapahtumat voivat paljastaa suorituskyvyn pullonkauloja, toistuvia virheitä ja palvelun heikkoja kohtia.
Nopeammat tutkinnat. Yhdistetty ja haettava data lyhentää aikaa, joka kuluu häiriön tai tietoturvatapahtuman syyn selvittämiseen.
Ennakoiva kunnossapito. Sensori- ja laitedata voi auttaa tunnistamaan poikkeamia ennen rikkoutumista tai tuotantokatkoa.
Asiakasymmärrys. Palautteet, haut, keskustelut ja käyttäjäpolut voivat tuoda esiin toistuvia tarpeita, keskeytyksiä ja tyytymättömyyden syitä.
Tietoturva ja petosten tunnistus. Pääsy-, tapahtuma- ja käyttäytymistiedot voivat paljastaa poikkeavaa toimintaa tai tukea jälkikäteistä tutkintaa.
Auditointi ja raportointi. Oikein säilytetty data voi tarjota todisteita tapahtumista ja auttaa osoittamaan, että vaatimuksia on noudatettu.
Tekoäly ja analytiikka. Luokiteltu, laadukas ja tarkoitukseen sopiva data voi parantaa analyysia ja tukea mallien kehittämistä.

Miten dark data tuodaan näkyviin?

Dark datan hyödyntäminen ei ala työkalun hankinnasta. Se alkaa liiketoimintakysymyksestä ja etenee hallittuna prosessina.

Määritä kysymys ja käyttötapaus. Haluatko vähentää häiriöitä, nopeuttaa auditointeja, tunnistaa petoksia, parantaa asiakaskokemusta vai pienentää tallennuskuluja? Rajaus auttaa välttämään tarpeettoman datan keräämistä.
Kartoita datalähteet. Tunnista sovellukset, lokit, pilvipalvelut, tietokannat, tiedostot, sensorit, integraatiot, varmuuskopiot ja vanhat järjestelmät. Keskustele myös liiketoiminta- ja teknisten tiimien kanssa.
Nimeä omistaja ja luokittele data. Kirjaa, kuka vastaa aineistosta, mitä se sisältää, kuinka arkaluonteista se on, kuinka laadukasta se on ja mitä säilytysvaatimuksia siihen liittyy.
Tee päätös datan kohtalosta. Kaikkea ei pidä aktivoida. Päätä, otetaanko data käyttöön, säilytetäänkö se, siirretäänkö se edullisempaan arkistoon vai poistetaanko se turvallisesti.
Yhdistä ja standardoi valitut lähteet. Tee arvokkaasta datasta haettavaa ja vertailukelpoista. Lisää metatiedot, yhtenäistä aikaleimat ja kentät sekä varmista käyttöoikeudet.
Analysoi ja lisää konteksti. Käytä hakuja, näkymiä, korrelaatiota, poikkeamien tunnistusta ja tarvittaessa tekoälyä. Yhdistä tekninen tapahtuma palveluun, asiakkaaseen tai liiketoimintaprosessiin.
Muuta havainto toiminnaksi ja hallitse elinkaarta. Luo hälytys, raportti, työnkulku tai päätös. Seuraa samalla datan käyttöä, laatua, kustannusta ja säilytysaikaa, jotta uutta dark dataa ei kerry huomaamatta.

Mikä on tekoälyn ja koneoppimisen rooli?

Koneoppiminen ja tekoäly voivat käsitellä suuria tietomääriä nopeammin kuin ihminen. Ne voivat auttaa luokittelemaan tiedostoja, tunnistamaan henkilötietoja, muuttamaan puhetta tekstiksi, löytämään poikkeamia ja nostamaan esiin toistuvia malleja.

Enemmän dataa ei kuitenkaan automaattisesti tarkoita parempaa tekoälyä. Malli tarvitsee tarkoitukseen sopivaa, laadukasta, laillisesti käsiteltävää ja riittävän hyvin kuvattua dataa. Muuten tuloksena voi olla enemmän kohinaa, vinoumaa ja vääriä päätelmiä.

Ihmisen tehtävä on edelleen määritellä tavoite, arvioida datan käyttökelpoisuus ja päättää, miten analyysin perusteella toimitaan. Tekoäly nopeuttaa työtä, mutta se ei ratkaise omistajuutta, tietosuojaa tai datan elinkaarta organisaation puolesta.

Miten dark data liittyy lokienhallintaan ja observabilityyn?

Suuri osa teknisestä dark datasta syntyy lokeista ja muusta telemetriasta. Järjestelmät tuottavat jatkuvasti tietoa tapahtumista, virheistä, käyttöoikeuksista, suorituskyvystä ja käyttäjäpoluista. Jos tietoa ei kerätä johdonmukaisesti, jos se jää eri tiimien siiloihin tai jos sitä ei voida hakea ja yhdistää, ympäristöön syntyy sokeita pisteitä.

Lokienhallinnan perusteet auttavat ymmärtämään, miten lokit kerätään, säilytetään ja analysoidaan. Splunk-observability puolestaan yhdistää lokit, metriikat ja trace-datan, jotta tiimit voivat tutkia myös ongelmia, joita ei osattu ennakoida etukäteen.

Tavoitteena ei ole syöttää jokaista mahdollista datalähdettä samaan alustaan. Kerättävä data kannattaa valita käyttötapauksen, arvon, arkaluonteisuuden, säilytysvaatimuksen ja kustannuksen perusteella. Hyvä observability vähentää sokeita pisteitä ja kohinaa samaan aikaan.

Splunk voi auttaa indeksoimaan, hakemaan, korreloimaan ja visualisoimaan kone- ja lokidataa. Hallittu lokienhallinta ja arkistointi voi samalla pitää aktiivisen datan nopeasti käytettävissä ja siirtää pitkäaikaisen aineiston kustannustehokkaaseen säilytykseen. Työkalu ei silti yksin ratkaise datan omistajuutta, laatua tai hallintamallia.

Käytännön esimerkki löytyy asiakastarinastamme lokien ja datan hallinta Splunkilla. Siinä hajallaan olevia auditointilokeja tuotiin keskitettyyn ja haettavaan ratkaisuun, jossa operatiivinen analytiikka ja pitkäaikainen, muuttumaton arkistointi palvelevat eri tarpeita.

Mistä organisaation kannattaa aloittaa?

Ensimmäisen vaiheen ei tarvitse olla laaja dark data -hanke. Aloita rajatusta ympäristöstä, jossa puuttuva näkyvyys aiheuttaa selkeän ongelman.

Valitse yksi kriittinen palvelu, prosessi tai auditointitarve.
Listaa siihen liittyvät tunnetut ja epäillyt datalähteet.
Tunnista omistaja, käyttöoikeudet, arkaluonteisuus ja säilytysaika.
Arvioi, mikä data auttaa päätöksenteossa ja mikä on vain kustannus tai riski.
Tee arvokkaasta datasta haettavaa ja yhdistä se oikeaan liiketoimintakontekstiin.
Mittaa, paransiko muutos näkyvyyttä, vasteaikaa, kustannuksia tai vaatimustenmukaisuutta.

Dark data kannattaa muuttaa hallituksi dataksi

Dark data voi sisältää arvokkaita havaintoja, mutta se voi myös kasvattaa kustannuksia ja riskejä. Siksi tavoitteena ei ole valaista kaikkea hinnalla millä hyvänsä. Tavoitteena on saada riittävä näkyvyys siihen, mitä dataa organisaatiolla on, miksi sitä säilytetään ja miten sen kanssa toimitaan.

Kun datalähteet, omistajuus, laatu, käyttöoikeudet ja elinkaari ovat selvillä, organisaatio voi tehdä parempia päätöksiä. Osa datasta otetaan analytiikan ja tekoälyn käyttöön. Osa säilytetään turvallisesti. Osa poistetaan. Jokainen näistä voi olla oikea ratkaisu.

Usein kysyttyä dark datasta

Mitä dark data tarkoittaa?

Dark data on dataa, jota organisaatio kerää, käsittelee tai säilyttää mutta ei käytä aktiivisesti analytiikassa, päätöksenteossa tai toiminnan kehittämisessä.

Mitä esimerkkejä dark datasta on?

Esimerkkejä ovat analysoimattomat lokit, IoT-sensoridata, sähköpostit, puhelutallenteet, vanhat dokumentit, varmuuskopiot ja käytöstä poistettuihin järjestelmiin jääneet tiedot.

Onko dark data sama asia kuin strukturoimaton data?

Ei. Strukturoimaton data kuvaa tiedon muotoa. Dark data kuvaa sen käyttämättömyyttä tai näkymättömyyttä. Myös täysin strukturoitu tietokanta voi olla dark dataa.

Miksi dark data on tietoturvariski?

Tuntemattomaan dataan ei välttämättä sovelleta oikeita käyttöoikeuksia, suojausta, säilytysaikoja tai valvontaa. Se voi sisältää henkilötietoja ja muuta arkaluonteista tietoa.

Miten dark dataa voidaan hyödyntää?

Data kartoitetaan, luokitellaan ja arvioidaan ensin. Arvokas data yhdistetään analytiikkaan, observabilityyn tai tekoälyyn. Tarpeeton data arkistoidaan tai poistetaan määriteltyjen käytäntöjen mukaisesti.

Voiko Splunk auttaa dark datan hallinnassa?

Splunk voi tehdä kone- ja lokidatasta haettavaa, yhdistää eri lähteitä sekä tukea visualisointia, hälytyksiä ja analytiikkaa. Tarvitaan silti selkeät käyttötapaukset, omistajuus, tietosuoja ja elinkaaren hallinta.