Aineisto-opas: Tekstiaineistot

Tutkimusaineistot ovat erilaisia, ja siksi myös niiden hallintaan liittyvät ratkaisut vaihtelevat. Aineistonhallinta on luovaa ongelmanratkaisua ja tärkeä osa vastuullista ja eettistä tutkimusta. Aineistonhallinnassa tarkoituksena ei ole hallita kaikkia tutkimushankkeita yhden mallin mukaisesti. Ohjeiden ja tukipalvelujen on tarkoitus auttaa tutkijaa löytämään omaan aineistoonsa, tutkimusasetelmaansa ja tutkimusympäristöönsä sopivat ratkaisut.  

Hyvin toteutettu aineistonhallinta tukee tutkimuksen luotettavuutta, läpinäkyvyyttä, toistettavuutta ja mahdollista jatkokäyttöä. Aineistonhallinta kattaa tutkimusaineiston koko elinkaaren tutkimuksen suunnittelusta aineiston keruuseen tai hankintaan, käsittelyyn, analysointiin, dokumentointiin, säilyttämiseen sekä tutkimuksen jälkeiseen avaamiseen, arkistointiin tai hävittämiseen.  

Tutkimusaineistot eroavat toisistaan esimerkiksi aineiston tuottamistavan, tietosuoja- ja tietoturvavaatimusten, sopimusten, teknisten ratkaisujen sekä jatkokäyttömahdollisuuksien suhteen. Tässä aineistokohtaisessa oppaassa tarkastellaan aineistonhallinnan keskeisiä kysymyksiä tekstiaineistojen näkökulmasta.

Kaikkia tutkimusaineistoja ei ole mahdollista tai tarkoituksenmukaista avata muiden käyttöön. Aineiston avaamista voivat rajoittaa esimerkiksi henkilötietojen suoja, tekijänoikeudet, sopimukset tai tutkimuseettiset näkökohdat. Vaikka varsinaista aineistoa ei voitaisi julkaista, sen kuvailutiedot, dokumentaatio tai analyysissa käytetyt menetelmät ja ohjelmakoodit voidaan usein saattaa muiden tutkijoiden saataville. Tämä tukee tutkimuksen läpinäkyvyyttä, tutkimustulosten arviointia ja avoimen tieteen tavoitteita.   

Tämän oppaan tarkoituksena on auttaa tutkijaa tunnistamaan oman aineistotyyppinsä keskeisiä aineistonhallinnan kysymyksiä sekä löytämään käytännöllisiä ratkaisuja tutkimuksen eri vaiheisiin. Opas täydentää organisaation yleisiä datanhallinnan, tietosuojan, tietoturvan ja avoimen tieteen ohjeita. 

Helsingin yliopiston Datatuki tarjoaa tutkijoille sekä

Tämä opas käsittelee tekstiaineistojen jalostamiseen liittyviä aineistonhallinnan kysymyksiä. Tarkastelun kohteena ovat erityisesti aineistot, joita käsitellään ohjelmallisesti ja muunnetaan rakenteiseen muotoon tutkimuskäyttöä ja julkaisemista varten. Tekstiaineistot voivat olla peräisin tutkimusryhmän ulkopuolisista lähteistä, kuten muistiorganisaatioista, tai tutkimusryhmän itse keräämiä, kuten skannattuja kirjoja ja muita dokumentteja. Tässä oppaassa keskitytään erityisesti ulkopuolisista lähteistä saataviin aineistoihin, mutta esitetyt ratkaisut soveltuvat myös itse kerättyyn tai projektissa tuotettuun aineistoon. 

Oppaassa käytetään esimerkinomaisesti aineiston muuntamista RDF-muotoon (Resource Description Framework, standardoitu malli tiedon kuvaamiseen ja vaihtoon) sekä semanttisen webin käyttöliittymien, kuten kaltaisten portaalien, rakentamista. 

Tässä oppaassa käytetään seuraavia keskeisiä termejä: raakadata (voi olla valmiiksi rakenteista tai ei-rakenteista tekstiaineistoa), lähdeorganisaatiot (tahot, joilta raakadata saadaan), jalostettu data (rakenteiseen muotoon muunnettu tekstiaineisto), prosessointiputki (ohjelmisto, jolla raakadata muunnetaan jalostettuun muotoon) sekä portaali (loppukäyttäjän käyttöliittymä).

Julkaistava data tutkimustuotoksena samassa asemassa kuin artikkeli tai kirja. Tutkimusryhmän on syytä jo suunnitteluvaiheessa pohtia, voisiko projektissa syntyvä aineisto olla rakenteistettavissa ja julkaistavissa tutkimusdatan muodossa. Erityisesti laajoja tekstiaineistoja käsittelevissä hankkeissa jalostettu data voi muodostaa keskeisen tutkimustuotoksen tutkimusartikkelien ja muiden perinteisten julkaisujen rinnalle.  

Rakenteiseen muotoon jalostettu data voidaan julkaista sellaisenaan datajulkaisuna tai tehdä käytettäväksi erillisen käyttöliittymän, kuten portaalin, kautta. Näiden vaihtoehtojen huomioiminen edellyttää, että datanhallinnan ratkaisuja suunnitellaan ja ennakoidaan jo hankkeen alkuvaiheessa – mukaan lukien aineiston ja sen prosessoinnin dokumentointi (ks. Dokumentointi) Mahdollisimman varhaisessa vaiheessa on syytä kirjata muistiin, kuinka data kerätään ja jalostetaan, mitä mahdollisia puutteita käsittelyssä tulee vastaan jne. 

Monitieteisyys ja yhteistyö eri organisaatioiden välillä. Laajoja tekstiaineistoja käsittelevää tutkimusta tehdään usein monitieteisesti ja usean organisaation yhteistyönä. Esimerkiksi tietojenkäsittelytieteen tutkijat voivat vastata datan jalostamisesta, kun taas historioitsijat hyödyntävät jalostettua dataa tutkimuksessaan. 

Huolellinen ja varhainen suunnittelu on tällaisessa yhteistyössä erityisen tärkeää. Mitä paremmin tutkimusryhmä jäsentää projektin ja sen datanhallinnan jo alussa, sitä vähemmän resursseja kuluu myöhemmin prosessointien, ohjelmoinnin ja muiden työnkulkujen toistamiseen. 

Suunnittelua tukevat esimerkiksi seuraavat kysymykset: 

• Kerätäänkö aineisto itse vai saadaanko se lähdeorganisaatiolta? 
• Jos data saadaan lähdeorganisaatiolta, millaisia sopimuksia tehdään ja millaisia käyttörajoitteita niihin sisältyy?  
• Mitä tutkimusorganisaatioita hankkeessa on mukana ja miten aineistonhallinnan vastuut jaetaan eri organisaatioiden ja tutkijoiden kesken? 
• Miten versionhallinta toteutetaan siten, että se on yksiselitteinen ja kaikkien osapuolten ymmärtämä?  
• Miten prosessointi kannattaa suunnitella siten, että sen vaiheet ovat toistettavissa ja dokumentoitavissa? 
• Millaiseen muotoon data prosessoidaan ja miten se kuvaillaan? 
• Mitkä jalostetut aineistot julkaistaan, missä ja millaisilla ehdoilla? 
• Minkälaiset resurssit tutkimuksessa on datankäsittelylle ja jatkojalostamiselle? Miten resurssit kannattaa kohdentaa? 

Sopimukset ja lainsäädäntö datankäsittelyn lähtökohtina. Laajoja tekstiaineistoja käsittelevässä tutkimuksessa datan käyttöä ja julkaisemista säätelevät sekä sopimukset että lainsäädäntö. Jos aineisto saadaan toiselta organisaatiolta, keskeisessä roolissa ovat aineiston käyttöä koskevat sopimukset. Sen sijaan tutkimusryhmän itse keräämän aineiston kohdalla tutkimustoiminnan reunaehdot määräytyvät ensisijaisesti lainsäädännön, kuten tietosuojasääntelyn, perusteella. 

Sekä tutkimusryhmän että aineistoa tarjoavan organisaation etu on, että datan käyttämisestä ja julkaisemisesta on selkeä, kirjallinen ja yhdessä sovittu sopimus silloin, kun aineisto saadaan ulkopuolelta. Datan käsittelyä koskevien sopimusten tekemisestä kannattaa muodostaa rutiini. 

Sopimuksen ei tarvitse olla monimutkainen, mutta sen tulee olla selkeä ja yksiselitteinen. Siinä kuvataan ainakin, mitä dataa annetaan, kenelle ja millä ehdoilla sekä mitä dataa voidaan julkaista ja millä lisenssillä tai missä repositoriossa. Epäselvät sopimukset voivat johtaa väärän aineiston julkaisemiseen, ylimääräiseen työhön ja tulkintaepäselvyyksiin, jotka kuluttavat tarpeettomasti resursseja. Sopimuksen laatimisen apuna voi käyttää esimerkiksi Helsingin yliopiston intranetistä löytyviä sekä .  

Sopimusten asettamat rajat. Laajoja tekstiaineistoja tutkittaessa lähdeorganisaatioiden kanssa tehdyillä sopimuksilla on keskeinen merkitys. Tämä johtuu siitä, että lähdeorganisaatiot luovuttavat teksti- tai metadatakorpuksen tutkimusryhmän käyttöön, eikä tutkimusta voida tehdä ilman niiden lupaa. On tärkeää, että tutkimusryhmä on tietoinen myös lähdeorganisaation aiemmin solmimien, aineistoa koskevien sopimusten asettamista käyttörajoista. Tyypillisiä vaatimuksia voivat olla esimerkiksi elossa olevien henkilöiden tietojen suodattaminen pois aineistosta tai tiettyjen osien poistaminen datasta ennen julkaisua. 

Lainsäädännön asettamat rajat. Erityisesti EU:n yleinen tietosuoja-asetus (GDPR) määrittelee, miten elossa oleviin henkilöihin liittyviä henkilötietoja voidaan käsitellä ja julkaista. Henkilöllä, jonka tietoja käsitellään (GDPR:n mukaan rekisteröity), on oikeus saada tietoa siitä, mitä tietoja hänestä kerätään, mihin tarkoitukseen niitä käytetään ja kuka niitä käsittelee. Tutkimusryhmän on tärkeää olla tietoinen GDPR:n ja muun lainsäädännön vaatimuksista ennen datan tai siihen pohjautuvan portaalin julkaisemista. Muussa tapauksessa julkaisu voi olla lainvastainen. 

Kuinka suhtautua yleisen tietosuoja-asetuksen (GDPR) vaatimuksiin? Jos aineisto koostuu kuolleiden henkilöiden henkilötiedoista (esim. ) tai on luonteeltaan selvästi julkista (esim. ), EU:n yleinen tietosuoja-asetus (GDPR) ei yleensä rajoita jalostetun datan tuottamista tai julkaisemista. 

Tulkinnanvaraisempia ovat tilanteet, joissa aineisto sisältää sekä kuolleiden että elossa olevien henkilöiden tai heidän läheistensä tietoja (esim. ). Tällöin henkilötietojen käsittelyyn on kiinnitettävä erityistä huomiota. Näissä tapauksissa portaalille on laadittava tietosuojaseloste, joka on helposti käyttäjien saatavilla. Selkeä ja saavutettava tietosuojaseloste on myös osa hyvää ja vastuullista aineiston käsittelyä ja julkaisemista. 

Datajulkaisujen yhteydessä on varmistettava, että henkilötietojen käsittelylle on lainmukainen peruste ja että rekisteröityjä on informoitu asianmukaisesti. Tämä voi tarkoittaa esimerkiksi sitä, että henkilöt on informoitu suoraan tai että tieto perustuu lähdeorganisaation toteuttamiin tietosuojakäytäntöihin. Lähdeorganisaation tietosuojaratkaisut voivat määrittää myös dataa jalostavan tutkimusryhmän toiminnan reunaehtoja. Lisäksi on suositeltavaa olla varhaisessa vaiheessa yhteydessä oman organisaation tietosuojavastaavaan ja tarvittaessa juristeihin, jotta tutkimuksen, datajulkaisun ja portaalin oikeudelliset edellytykset voidaan varmistaa. 

Datan jalostaminen rakenteiseen muotoon saattaa paljastaa muutoin pimentoon jääviä arkaluonteisia henkilötietoja. Esimerkiksi tapauksessa tiedot eivät ole yksittäisinä tietoina erityisen arkaluonteisia tai korkeariskisiä, mutta muodostavat silti henkilötietoja. Keskeinen kysymys on, tuoko datan jalostaminen uuden tiedollisen tason esillä oleviin henkilötietoihin. Rakenteinen muoto voi mahdollistaa sellaisten tietojen yhdistämisen tai tulkinnan, jotka eivät alkuperäisessä aineistossa ole helposti havaittavissa. Jos jalostamisen katsotaan tuottavan tällaisia uusia, mahdollisesti arkaluonteisia tietoja (esimerkiksi tietosuoja-asetuksen määrittelemiin erityisiin henkilötietoryhmiin kuuluvia tietoja), on aineiston käsittelyyn kiinnitettävä erityistä huomiota. 

Kerää mieluummin liikaa tietokenttiä kuin liian vähän. Koska tekstiaineistoja kerätään usein useista eri lähdeorganisaatioista, aineisto on yleensä heterogeenistä. Siksi sitä on lähes aina yhdenmukaistettava ja muokattava tutkimukselle hyödylliseen, mahdollisimman rakenteiseen muotoon. Yhdenmukaistamisen helpottamiseksi lähdeorganisaatioilta kannattaa pyytää mieluummin liikaa kuin liian vähän tietokenttiä. Näin vältetään tilanteet, joissa samoja aineiston käsittelyvaiheita joudutaan toistamaan myöhemmin. Tämä säästää aikaa ja resursseja tutkimusprosessin aikana. 

Aineiston rakenteisuus ja tiedostomuoto. Laajoja tekstiaineistoja jalostettaessa on huomioitava sekä aineiston rakenteisuus että tiedostomuodon soveltuvuus käsittelyyn. Rakenteisuudella tarkoitetaan sitä, kuinka selkeästi aineiston sisältämät tiedot ja tietueet on jäsennelty, kun taas tiedostomuodolla viitataan siihen, missä muodossa data on tallennettu (esim. .csv, .txt, .json tai .docx). Ohjelmallisen käsittelyn kannalta läpinäkyvät ja yksinkertaiset tiedostomuodot, kuten .csv ja .json, ovat usein helpommin hyödynnettävissä kuin suljetut tai monimutkaisemmat muodot, kuten .docx. Sen sijaan rakenteisuuden lisääminen voi edellyttää aineiston muokkaamista tavalla, joka ei ole suoraan ihmisluettavaa. 

Käytännössä tutkimuksessa joudutaan usein tasapainottelemaan rakenteisuuden ja käytettävyyden välillä. Kaikissa tapauksissa ei ole tarkoituksenmukaista pyrkiä maksimaaliseen rakenteisuuteen, erityisesti jos siihen ei ole riittäviä resursseja. Tutkimuksen sujuvuuden kannalta on kuitenkin suositeltavaa pyytää lähdeorganisaatioilta aineisto mahdollisimman käsiteltävässä muodossa, mieluiten avoimissa ja läpinäkyvissä tiedostomuodoissa. 

Rutiinien puute hidastaa aineiston hankintaa. Datan hankkimiseen lähdeorganisaatioilta liittyy usein aikaa vievää selvittelyä, erityisesti silloin kun toimintatavat eivät ole vakiintuneet. Nämä selvittelyt voivat hidastaa tutkimuksen käynnistymistä. Yksi tapa sujuvoittaa prosessia on laatia tutkimusryhmälle yhteydenottopohja. Siinä kuvataan keskeiset tiedot pyydettävästä aineistosta, sen suunnitellusta jalostamisesta sekä mahdollisista julkaisutavoista (esim. portaali, datajulkaisu ja tutkimusjulkaisut). Yhteydenottopohjan suunnittelussa kannattaa huomioida erityisesti, millaista tietoa lähdeorganisaatiot tarvitsevat omien selvitystensä tueksi. 

Lähdeorganisaatioiden vaatimukset vievät aikaa. Lähdeorganisaatioilla voi olla vaatimuksia siitä, mitä osia tekstiaineistosta saa käyttää tai julkaista portaalissa tai datajulkaisuna. Tyypillinen esimerkki on elossa olevien henkilöiden tietojen poistaminen aineistosta tietosuoja-asetuksen vaatimusten vuoksi. Näiden vaatimusten toteuttaminen voi olla aikaa vievää. Siksi ne on tärkeää huomioida jo suunnitteluvaiheessa ja varata tähän työvaiheeseen riittävästi aikaa. 

Huolellisesta suunnittelusta ja selkeistä sopimuksista huolimatta jalostettavaksi päätyvä raakadata ei ole virheetöntä. Tyypillisiä ongelmia ovat esimerkiksi tekstintunnistukseen (optical character recognition, OCR) liittyvät virheet ja epätarkkuudet. Periaatteessa tutkija tai tutkimusryhmä voi korjata näitä virheitä itse, mutta pitkällä tähtäimellä parempi ratkaisu on usein ottaa yhteyttä lähdeorganisaatioon ja pyytää heitä korjaamaan raakadataansa. Näin samoja korjauksia ei tarvitse tehdä uudelleen, kun aineisto käsitellään uudestaan prosessointiputken läpi. On kuitenkin huomioitava, että lähdeorganisaatiolla ei aina ole mahdollisuutta tai resursseja korjata dataa, jolloin tutkimusryhmän on varauduttava tekemään korjaukset itse. Tämän vuoksi aikatauluihin on suositeltavaa jättää väljyyttä. 

Prosessointiputken toistettavuus ja dokumentointi. Prosessointiputki kannattaa suunnitella siten, että sen toiminta on toistettavissa ja riittävän hyvin dokumentoitu. Tarvittaessa prosessia voidaan myös automatisoida, erityisesti silloin kun tavoitteena on pitkäikäinen käyttäjäportaali. Toistettavuus tarkoittaa käytännössä sitä, että kun lähdeorganisaation raakadata muuttuu, muutokset voidaan päivittää jalostettuun dataan ajamalla aineisto uudelleen prosessin läpi. Prosessointiputken toiminnasta ja käytetyistä työkaluista on tärkeää laatia riittävä dokumentaatio. Sen avulla prosessia voidaan ylläpitää ja korjata myös silloin, kun tutkimusryhmän kokoonpano muuttuu. 

Tutkimusryhmän sisäisen viestinnän selkeys. Laajoja tekstiaineistoja käsittelevää tutkimusta tehdään usein useiden organisaatioiden yhteistyönä. Tällöin tutkimusryhmän sisäiseen viestintään on tärkeää panostaa myös datanhallinnan näkökulmasta. 

Selkeä ja yksiselitteinen viestintä auttaa varmistamaan, etteivät tutkijat tee samoja prosessointeja samalle aineistolle ja että versionhallintaan ei synny epäselvyyksiä. 

Tutkimusprosessin dokumentointi. Laajojen tekstiaineistojen tutkimus perustuu usein lähdeorganisaatioilta saatavaan dataan. Tällöin raakadataa ei aina ole tarpeen kuvailla alusta alkaen itse. Käytännössä lähdeorganisaatiot kuitenkin harvoin dokumentoivat aineistojaan riittävän yksityiskohtaisesti, jolloin kuvailutyö jää ainakin osittain tutkimusryhmän vastuulle. Jos aineistolle tarvitaan lisäkuvailua tai metadataa, se on hyvä tuottaa osana muuta prosessointia. Tässä oppaassa keskeistä on kuitenkin tutkimusprosessin dokumentointi: sen avulla varmistetaan tutkimuksen läpinäkyvyys ja mahdollistetaan käytettyjen menetelmien ja työkalujen hyödyntäminen myös muissa hankkeissa. Dokumentoitavia asioita ovat esimerkiksi käytetyt työkalut, ohjelmistoversiot, ohjelmakirjastot, lähdekoodi ja versionhallintaan liittyvät tiedot. 

Metadatan erillisjulkaiseminen. Prosessointiputki kuvataan usein tutkimusartikkeleissa, mutta avoimen tieteen näkökulmasta se voidaan julkaista myös erikseen metadatatiedostona, esimerkiksi . Metatiedot voivat sisältää kuvauksen prosessointiputken toiminnasta, käytetyistä työkaluista ja niiden versioista. Tällainen dokumentaatio helpottaa hyväksi havaittujen menetelmien jakamista ja uudelleenkäyttöä. 

Tallennusratkaisua valittaessa on otettava huomioon esimerkiksi seuraavat asiat:  

• kuinka moni tarvitsee pääsyn aineistoon,  
• mikä on aineiston koko,  
• sisältääkö aineisto sensitiivistä tietoa,  
• tehdäänkö tutkimusta yhteistyössä muiden yliopistojen kanssa?  

Huolellinen eri tallennusratkaisuihin tutustuminen on erittäin suositeltavaa. Helsingin yliopiston tarjoamat tallennusratkaisut on listattu . Tallennusratkaisua valittaessa on syytä olla varovainen esimerkiksi yleisten pilvipalveluiden sekä siirrettävien tallennusvälineiden (kuten ulkoisten kovalevyjen ja muistitikkujen) kanssa, erityisesti jos aineisto sisältää henkilötietoja. 

Laajojen tekstiaineistojen tapauksessa versionhallinta on korostuneessa roolissa, kun tallennusratkaisua valitaan. Kun raakadataa ajetaan useita kertoja prosessointiputken läpi, täytyy kyetä varmistamaan, että prosessoinnissa tapahtuvat datan muutokset ovat myös peruutettavissa. Jos data esimerkiksi korruptoituu ja viimeisin varmuuskopio on vanha, hyvä versionhallinta säästää merkittävästi aikaa ja resursseja. 

Tässä ehdotetaan muutamia laajoille tekstiaineistoille sopivia tallennusratkaisuja. Ehdotukset perustuvat Helsingin yliopiston tarjoamiin tallennusratkaisuihin, sekä ajatukseen tekstiaineistoista korkeintaan matalariskistä henkilötietoa sisältävänä datana. 

• Lähdekoodia varten suositellaan Helsingin yliopiston GitLabia eli :tä. 
• Jos tutkija tekee tutkimustaan yksin Helsingin yliopistossa ja hänelle kertyy dataa alle 100 GB, kotihakemisto eli  on hyvä vaihtoehto, sillä se on riittävän tietoturvallinen ja tarjoaa tarkan pääsynhallinnan, versionhallinnan ja automaattisen varmuuskopioinnin. 
• Jos tutkija tekee tutkimustaan yksin tai vain Helsingin yliopiston tutkijoita sisältävässä ryhmässä ja dataa kertyy alle 10 TB, ryhmähakemisto eli  on hyvä vaihtoehto, sillä se on riittävän tietoturvallinen ja tarjoaa tarkan pääsynhallinnan, versionhallinnan ja automaattisen varmuuskopioinnin. 
• Jos tutkimusryhmään sisältyy Helsingin yliopiston ulkopuolisia tahoja, toimivia ratkaisuja ovat esimerkiksi ,  sekä tarvittaessa . Huomioitavaa on, että kaikki eivät sovellu henkilötietoa sisältävän datan tallentamiseen. Jos henkilötietoa joudutaan tallentamaan näihin palveluihin, data on syytä salata (ts. kryptata esim. Cryptomator- tai 7-Zip -ohjelmat). Yleisesti käytetty tallennusratkaisu on CSC:n , joskin sitä käytettäessä on otettava huomioon, että dataa ei voi prosessoida Altaassa, vaan prosessointia varten data on ladattava toiseen tallennusratkaisuun. 

Aineiston avaamisessa, arkistoinnissa ja hävittämisessä on noudatettava tutkimuksen aikana tehtyjä sopimuksia, tutkittaville annettua informointia sekä aineistoa koskevia lainsäädännöllisiä ja eettisiä velvoitteita. Vaikka varsinaista tutkimusaineistoa ei olisi mahdollista avata, voidaan aineiston kuvailutietoja, dokumentaatiota, menetelmäkuvauksia tai analyysissa käytettyjä ohjelmakoodeja usein julkaista tutkimuksen läpinäkyvyyden ja toistettavuuden tukemiseksi. 

Helsingin yliopiston -, - ja -palvelut ovat tutkijoiden käytettävissä aineistojen, datan ja kuvailutietojen säilyttämiseen, julkaisemiseen ja avaamiseen tutkimuksen aktiivivaiheen jälkeen tai tutkimushankkeen päätyttyä. Palveluiden soveltuvuus riippuu aineiston luonteesta, käyttöoikeuksista ja tietosuojavaatimuksista. 

Tutkimuskäyttöön jalostetuista tekstiaineistoista julkaistaan usein tutkimusartikkelien lisäksi dataa kahdessa muodossa: jatkojalostettavana datajulkaisuna ja käyttäjille suunnattuna portaalina. Datajulkaisu voidaan avata esimerkiksi  , ja . Portaali puolestaan julkaistaan erillisenä verkkosivustona, jossa aineisto on laajemmalle yleisölle helposti käytettävässä muodossa. Data on molemmissa tapauksissa samaa, mutta esitystapa ja käyttötarkoitus eroavat: portaali palvelee laajempaa yleisöä, kun taas datajulkaisu on suunnattu erityisesti tutkimuskäyttöön. 

Julkaistujen versioiden välillä voi olla eroja esimerkiksi lähdeorganisaatioiden vaatimusten vuoksi. Tällöin osa tiedoista voidaan joutua poistamaan datajulkaisusta, ja portaali voi ohjata käyttäjän alkuperäiseen lähteeseen. 

Pitkäaikaissäilytys ja ylläpito. Pitkäaikaissäilyvyys on tärkeää suunnitella jo tutkimuksen alkuvaiheessa. Tekstiaineistohankkeissa julkaistut portaalit ja data voivat olla käytössä pitkään projektin päättymisen jälkeen. Siksi on tärkeää varmistaa, miten portaalin toimivuus säilyy pitkällä aikavälillä. Tämä edellyttää esimerkiksi suunnitelmaa siitä, mitä portaalille tapahtuu hankkeen päätyttyä, miten ylläpidon kustannukset katetaan ja miten ohjelmistojen päivittäminen järjestetään. 

Poistettavat aineistot tulee hävittää tietoturvallisesti. Kaikkia tutkimusaineistoja ei ole mahdollista tai tarkoituksenmukaista säilyttää tutkimuksen päättymisen jälkeen. Jos aineisto päätetään hävittää, poistaminen on tehtävä siten, ettei tiedostoja voida palauttaa myöhemmin käyttöön. Erityisesti henkilötietoja sisältävien aineistojen kohdalla tulee noudattaa organisaation tietoturvaohjeita. Fyysiset tallennusvälineet, kuten ulkoiset kovalevyt, muistitikku tai optiset levyt, on hävitettävä turvallisesti. Tarvittaessa apua voi pyytää organisaation IT-palveluista tai tietoturvasta vastaavilta asiantuntijoilta (ks. ). Etenkin arkaluonteisten aineistojen hävittämisessä tulee tiedostojen kohdalla noudattaa . Myös IT-lähitukea () voi pyytää hoitamaan hävityksen, mikäli on epävarma tai kyseessä on hyvin sensitiivinen aineisto. 

Lou, B., O'Brien O'Keeffe, K. & Unsworth, J. (toim.) (2005). Electronic Textual Editing. New York: Modern Languages Association.

Nyhan, J. (2012). Text encoding and scholarly digital editions. Teoksessa C. Warwick, M. Terras & J. Nyhan (toim.), Digital Humanities in Practice (s. 117–138). Facet Publishing.

Oldman, D., Doerr, M. & Gradmann, S. (2015). Zen and the Art of Linked Data: New Strategies for a Semantic Web of Humanist Knowledge. TeoksessaS. Schreibman, R. Siemens & J. Unsworth (toim.), A New Companion to Digital Humanities (s. 251–273). Wiley.

Pitti, D. V. (2004). Designing Sustainable Projects and Publications. Teoksessa S. Schriebman, R. Siemens & J. Unsworth (toim.), A Companion to Digital Humanities. Oxford: Blackwell Publishing. 

Baker, J. (2014). Preserving Your Research Data. Programming Historian.

SSH-alojen aineistonhallinnan käsikirjat ovat tarkoitettu eläviksi resursseiksi, joita päivitetään vastaamaan alan kehittyviä käytänteitä ja tutkijoiden tarpeita.

Voit antaa palautetta Tekstiaineisto-oppaaseen, kuten täydennyksiä, kysymyksiä tai korjauksia, tämän kautta.