Kehitysehdotus #4005
Kehitysehdotus: tietokannan tietojen siivousautomatiikkaa
0%
Kuvaus
Saisiko käyttämättömien/vanhentuneiden/turhien tietojen poistoautomatiikkaa?
Saisiko virheellisten/vanhentuneiden kuvailutietojen listausautomaatiikkaa korjausta varten?
Asiakastiedot
- säännöllisesti toimiva automatiikka tietyn ajan käyttämättöminä olleiden asiakastietojen poistoon halutuin säännöin (rajataan toiminnosta pois asiakkaat, joiden tiedoissa on esim. lainoja, maksuja...)
- asiakastiedoissa olevien vanhentuneiden maksujen poistoautomatiikka
Kuvailutiedot
- säännöllisesti toimiva automatiikka turhien niteettömien tietueiden ja emottomien osakohteiden poistoon halutuin säännöin (esim. rajataan toiminnosta pois tietyt aineistolajit)
- Finton sanastojen arvoihin verraten virheellisten/muuttuneiden/vanhentuneiden asiasanojen listaus tietokannasta korjausta varten (vai auttaako Asterin käyttöönotto näiden löytämistä tietokannasta?)
- Finton YKL-arvoihin verraten virheellisten/muuttuneiden/vanhentuneiden luokkatietojen listaus tietokannasta korjausta varten
Historia
#1
Updated by Kodo Korkalo yli 4 vuotta ago
Updated by Erilaisista siivousajoista on ollut puhetta ja kyllä tähän suuntaan varmastikin liikkuja tullaan tekemään. Noiden mainitsemiesi asioiden lisäksi meillä on muitakin tarpeita tietokantojen siivouksen suhteen, eli asia on kyllä meillä tiedossa ja mielen päällä, mutta kokonaisuus on varsin laaja ja vaatii tarkemman suunnitelman kantojen säännöllisistä siivouksista ennen toteutusta. Toivoisimme tähän myös yhtenäisiä käytäntöjä eri Koha-kimpoissa, joten asiasta kannattaa puhella myös esimerkiksi pääkäyttäjäporukalla.
Nuo Finto-päivitykset tosin on varmaankin järkevämpi hoitaa ihan automaattipäivityksin ilman että kenenkään tarvitsee käsin käydä muokkailemassa kuvailutietueita jokaisessa Koha-installaatiossa. Tämä ratkennee Melinda-integraation myötä, kunhan kuvailutietueet päivitetään muuttuneiden asiasanojen osalta Melindaan. Melindasta ne valuvat sitten automaagisesti TäTiin ja TäTistä paikalliskantoihin hyvässä järjestyksessä.
#2
Updated by Anneli Österman yli 2 vuotta ago
Updated by - Projekti changed from Palaute - Koha-Suomi to Kehitysehdotukset
- Tila changed from Uusi to Kommentoitu
#3
Updated by Anneli Österman 7 kuukautta ago
- Tila changed from Kommentoitu to Suljettu
Asiantuntijaryhmän 15.3.2023 päätös:
Asiakastiedot
- säännöllisesti toimiva automatiikka tietyn ajan käyttämättöminä olleiden asiakastietojen poistoon halutuin säännöin (rajataan toiminnosta pois asiakkaat, joiden tiedoissa on esim. lainoja, maksuja...)
Ennen ei-aktiivisten asiakkaiden poistoja pitää saada eaineistoihin ja palveluihin kirjautumiset lokittautumaan. Tällä hetkellä Finnan kirjautuminen ei lokittaudu, mutta esim. borrowers/status-endpointin kautta kirjautuminen lokittautuu.
Susanna tekee tiketin Finnan kirjautumisen lokittumisesta.
Kati tekee tiketin epäaktiivisten asiakkaiden poistoautomatiikasta.
- asiakastiedoissa olevien vanhentuneiden maksujen poistoautomatiikka
Tämä on tulossa.
Kuvailutiedot
- säännöllisesti toimiva automatiikka turhien niteettömien tietueiden ja emottomien osakohteiden poistoon halutuin säännöin (esim. rajataan toiminnosta pois tietyt aineistolajit)
Turha niteetön tietue on hankala tunnistaa koneellisesti. Jos saadaan luotua hyvä säännöstö, niin sitten voidaan tehdä ajoja. Päivi laittaa kuvailuryhmälle tehtäväksi luoda mahdollinen säännöstö.
Emottomille osakohteille on olemassa skripti, joka luo listan emottomista osakohteista. Ne voidaan tarkistaa ennen tietueiden poistoa. Tästä on auki tiketti Githubissa. Uusia emottomia osakohteita ei periaatteessa pitäisi syntyä uusia, koska osakohteet poistuu emon mukana. Tehdään siivousajo ja seurataan tilannetta sen jälkeen. Jos uusia osakohteettomia tulee, pitää syntysyy selvittää ja korjata. Tehdään ajoja tarvittaessa jatkossa.
- Finton sanastojen arvoihin verraten virheellisten/muuttuneiden/vanhentuneiden asiasanojen listaus tietokannasta korjausta varten (vai auttaako Asterin käyttöönotto näiden löytämistä tietokannasta?)
Tarkistellaan näitä YSO-konversion yhteydessä.
- Finton YKL-arvoihin verraten virheellisten/muuttuneiden/vanhentuneiden luokkatietojen listaus tietokannasta korjausta varten
Tarkistetaan siinä vaiheessa, kun linkitetään luokat Fintoon. Ei vielä aikataulua, liittyy linkitetyn datan aikatauluun.
#4
Updated by Anneli Österman 6 kuukautta ago
Turha niteetön tietue on hankala tunnistaa koneellisesti. Jos saadaan luotua hyvä säännöstö, niin sitten voidaan tehdä ajoja. Päivi laittaa kuvailuryhmälle tehtäväksi luoda mahdollinen säännöstö.
Kuvailuryhmä käsitteli tätä asiaa 22.3.2023 kokouksessaan ja sellaiset niteettömät tietueet, joiden aineistotyyppi ei ole kausijulkaisu, verkkoaineisto tai mikrofilmi, voi poistaa.
#5
Updated by Antti Heikkinen 6 kuukautta ago
Updated by Anneli Österman kirjoitti:
Turha niteetön tietue on hankala tunnistaa koneellisesti. Jos saadaan luotua hyvä säännöstö, niin sitten voidaan tehdä ajoja. Päivi laittaa kuvailuryhmälle tehtäväksi luoda mahdollinen säännöstö.
Kuvailuryhmä käsitteli tätä asiaa 22.3.2023 kokouksessaan ja sellaiset niteettömät tietueet, joiden aineistotyyppi ei ole kausijulkaisu, verkkoaineisto tai mikrofilmi, voi poistaa.
Riittääkö tässä se että tieto otetaan 942c-kentästä vai tarvitseeko määritellä tarkemmin kiinteiden kenttien perusteella vielä?
#6
Updated by Mauri Aittaniemi 6 kuukautta ago
Updated by Antti Heikkinen kirjoitti:
Anneli Österman kirjoitti:
Turha niteetön tietue on hankala tunnistaa koneellisesti. Jos saadaan luotua hyvä säännöstö, niin sitten voidaan tehdä ajoja. Päivi laittaa kuvailuryhmälle tehtäväksi luoda mahdollinen säännöstö.
Kuvailuryhmä käsitteli tätä asiaa 22.3.2023 kokouksessaan ja sellaiset niteettömät tietueet, joiden aineistotyyppi ei ole kausijulkaisu, verkkoaineisto tai mikrofilmi, voi poistaa.
Riittääkö tässä se että tieto otetaan 942c-kentästä vai tarvitseeko määritellä tarkemmin kiinteiden kenttien perusteella vielä?
Selvittelen vielä asiaa Lapin kohan osalta. Tarkemmin asia on tarkistettava musiikin ja maakuntakokoelman osakohteiden takia.
-Mauri
#7
Updated by Katri Sillgren 5 kuukautta ago
Updated by Nyt GitHubissa nämä Koha-asianatuntijaryhmässä käsitellyt:
Tietokannan tietojen siivousautomatiikkaa tietueille
https://github.com/KohaSuomi/Koha/issues/511
Tietokannan tietojen siivousautomatiikkaa asiakastiedoille: ei-aktiivisten asiakkaiden poistoautomatiikka
https://github.com/KohaSuomi/Koha/issues/510