Projekti

Yleinen

Profile

Kehitysehdotus #4005

Kehitysehdotus: tietokannan tietojen siivousautomatiikkaa

Lisännyt Katri Sillgren yli 4 vuotta sitten. Päivitetty 5 kuukautta sitten.

Tila:
Suljettu
Prioriteetti:
Normaali
Nimetty:
-
Luokka:
-
Kohdeversio:
-
Alku:
13. Toukokuuta 2019
Määräaika:
% Tehty:

0%

Arvioitu aika:
Yhteyshenkilö:
Tiketti Bugzillassa:
Votes: 1

Kuvaus

Saisiko käyttämättömien/vanhentuneiden/turhien tietojen poistoautomatiikkaa?
Saisiko virheellisten/vanhentuneiden kuvailutietojen listausautomaatiikkaa korjausta varten?

Asiakastiedot

- säännöllisesti toimiva automatiikka tietyn ajan käyttämättöminä olleiden asiakastietojen poistoon halutuin säännöin (rajataan toiminnosta pois asiakkaat, joiden tiedoissa on esim. lainoja, maksuja...)
- asiakastiedoissa olevien vanhentuneiden maksujen poistoautomatiikka

Kuvailutiedot

- säännöllisesti toimiva automatiikka turhien niteettömien tietueiden ja emottomien osakohteiden poistoon halutuin säännöin (esim. rajataan toiminnosta pois tietyt aineistolajit)
- Finton sanastojen arvoihin verraten virheellisten/muuttuneiden/vanhentuneiden asiasanojen listaus tietokannasta korjausta varten (vai auttaako Asterin käyttöönotto näiden löytämistä tietokannasta?)
- Finton YKL-arvoihin verraten virheellisten/muuttuneiden/vanhentuneiden luokkatietojen listaus tietokannasta korjausta varten

Historia

#1 Updated by Kodo Korkalo yli 4 vuotta ago

Erilaisista siivousajoista on ollut puhetta ja kyllä tähän suuntaan varmastikin liikkuja tullaan tekemään. Noiden mainitsemiesi asioiden lisäksi meillä on muitakin tarpeita tietokantojen siivouksen suhteen, eli asia on kyllä meillä tiedossa ja mielen päällä, mutta kokonaisuus on varsin laaja ja vaatii tarkemman suunnitelman kantojen säännöllisistä siivouksista ennen toteutusta. Toivoisimme tähän myös yhtenäisiä käytäntöjä eri Koha-kimpoissa, joten asiasta kannattaa puhella myös esimerkiksi pääkäyttäjäporukalla.

Nuo Finto-päivitykset tosin on varmaankin järkevämpi hoitaa ihan automaattipäivityksin ilman että kenenkään tarvitsee käsin käydä muokkailemassa kuvailutietueita jokaisessa Koha-installaatiossa. Tämä ratkennee Melinda-integraation myötä, kunhan kuvailutietueet päivitetään muuttuneiden asiasanojen osalta Melindaan. Melindasta ne valuvat sitten automaagisesti TäTiin ja TäTistä paikalliskantoihin hyvässä järjestyksessä.

#2 Updated by Anneli Österman yli 2 vuotta ago

  • Projekti changed from Palaute - Koha-Suomi to Kehitysehdotukset
  • Tila changed from Uusi to Kommentoitu

#3 Updated by Anneli Österman 7 kuukautta ago

  • Tila changed from Kommentoitu to Suljettu

Asiantuntijaryhmän 15.3.2023 päätös:

Asiakastiedot

- säännöllisesti toimiva automatiikka tietyn ajan käyttämättöminä olleiden asiakastietojen poistoon halutuin säännöin (rajataan toiminnosta pois asiakkaat, joiden tiedoissa on esim. lainoja, maksuja...)

Ennen ei-aktiivisten asiakkaiden poistoja pitää saada eaineistoihin ja palveluihin kirjautumiset lokittautumaan. Tällä hetkellä Finnan kirjautuminen ei lokittaudu, mutta esim. borrowers/status-endpointin kautta kirjautuminen lokittautuu.

Susanna tekee tiketin Finnan kirjautumisen lokittumisesta.

Kati tekee tiketin epäaktiivisten asiakkaiden poistoautomatiikasta.

- asiakastiedoissa olevien vanhentuneiden maksujen poistoautomatiikka

Tämä on tulossa.

Kuvailutiedot

- säännöllisesti toimiva automatiikka turhien niteettömien tietueiden ja emottomien osakohteiden poistoon halutuin säännöin (esim. rajataan toiminnosta pois tietyt aineistolajit)

Turha niteetön tietue on hankala tunnistaa koneellisesti. Jos saadaan luotua hyvä säännöstö, niin sitten voidaan tehdä ajoja. Päivi laittaa kuvailuryhmälle tehtäväksi luoda mahdollinen säännöstö.

Emottomille osakohteille on olemassa skripti, joka luo listan emottomista osakohteista. Ne voidaan tarkistaa ennen tietueiden poistoa. Tästä on auki tiketti Githubissa. Uusia emottomia osakohteita ei periaatteessa pitäisi syntyä uusia, koska osakohteet poistuu emon mukana. Tehdään siivousajo ja seurataan tilannetta sen jälkeen. Jos uusia osakohteettomia tulee, pitää syntysyy selvittää ja korjata. Tehdään ajoja tarvittaessa jatkossa.

- Finton sanastojen arvoihin verraten virheellisten/muuttuneiden/vanhentuneiden asiasanojen listaus tietokannasta korjausta varten (vai auttaako Asterin käyttöönotto näiden löytämistä tietokannasta?)

Tarkistellaan näitä YSO-konversion yhteydessä.

- Finton YKL-arvoihin verraten virheellisten/muuttuneiden/vanhentuneiden luokkatietojen listaus tietokannasta korjausta varten

Tarkistetaan siinä vaiheessa, kun linkitetään luokat Fintoon. Ei vielä aikataulua, liittyy linkitetyn datan aikatauluun.

#4 Updated by Anneli Österman 6 kuukautta ago

Turha niteetön tietue on hankala tunnistaa koneellisesti. Jos saadaan luotua hyvä säännöstö, niin sitten voidaan tehdä ajoja. Päivi laittaa kuvailuryhmälle tehtäväksi luoda mahdollinen säännöstö.

Kuvailuryhmä käsitteli tätä asiaa 22.3.2023 kokouksessaan ja sellaiset niteettömät tietueet, joiden aineistotyyppi ei ole kausijulkaisu, verkkoaineisto tai mikrofilmi, voi poistaa.

#5 Updated by Antti Heikkinen 6 kuukautta ago

Anneli Österman kirjoitti:

Turha niteetön tietue on hankala tunnistaa koneellisesti. Jos saadaan luotua hyvä säännöstö, niin sitten voidaan tehdä ajoja. Päivi laittaa kuvailuryhmälle tehtäväksi luoda mahdollinen säännöstö.

Kuvailuryhmä käsitteli tätä asiaa 22.3.2023 kokouksessaan ja sellaiset niteettömät tietueet, joiden aineistotyyppi ei ole kausijulkaisu, verkkoaineisto tai mikrofilmi, voi poistaa.

Riittääkö tässä se että tieto otetaan 942c-kentästä vai tarvitseeko määritellä tarkemmin kiinteiden kenttien perusteella vielä?

#6 Updated by Mauri Aittaniemi 6 kuukautta ago

Antti Heikkinen kirjoitti:

Anneli Österman kirjoitti:

Turha niteetön tietue on hankala tunnistaa koneellisesti. Jos saadaan luotua hyvä säännöstö, niin sitten voidaan tehdä ajoja. Päivi laittaa kuvailuryhmälle tehtäväksi luoda mahdollinen säännöstö.

Kuvailuryhmä käsitteli tätä asiaa 22.3.2023 kokouksessaan ja sellaiset niteettömät tietueet, joiden aineistotyyppi ei ole kausijulkaisu, verkkoaineisto tai mikrofilmi, voi poistaa.

Riittääkö tässä se että tieto otetaan 942c-kentästä vai tarvitseeko määritellä tarkemmin kiinteiden kenttien perusteella vielä?

Selvittelen vielä asiaa Lapin kohan osalta. Tarkemmin asia on tarkistettava musiikin ja maakuntakokoelman osakohteiden takia.
-Mauri

#7 Updated by Katri Sillgren 5 kuukautta ago

Nyt GitHubissa nämä Koha-asianatuntijaryhmässä käsitellyt:

Tietokannan tietojen siivousautomatiikkaa tietueille
https://github.com/KohaSuomi/Koha/issues/511

Tietokannan tietojen siivousautomatiikkaa asiakastiedoille: ei-aktiivisten asiakkaiden poistoautomatiikka
https://github.com/KohaSuomi/Koha/issues/510

Vie Atom PDF