Projekti

Yleinen

Profile

Bugi #4780

OUTI: Tietueet eivät yhdistyneet automaattisesti

Lisännyt Anneli Österman 2 kuukautta sitten. Päivitetty 7 päivää sitten.

Tila:
Kommentoitu
Prioriteetti:
Normaali
Luokka:
Luettelointi
Kohdeversio:
-
Alku:
25. Helmikuuta 2021
Määräaika:
% Tehty:

0%

Arvioitu aika:
Yhteyshenkilö:
Votes: 0

Kuvaus

OUTIn tietokantaan on syntynyt tuplatietueet, vaikka kummallakin teoksella on ean-koodi 024a-kentässä. Outoa tässä on, että vaikka niillä on ean-koodi, ei se ole tallentunut biblioitems-taulun ean-sarakkeeseen, vaikka kyseiset kentät on liitetty toisiinsa Koha to MARC mappingissä.

https://koha.outikirjastot.fi:8080/cgi-bin/koha/catalogue/detail.pl?biblionumber=2198247 ja https://koha.outikirjastot.fi:8080/cgi-bin/koha/catalogue/detail.pl?biblionumber=2182608

Toisen tietueen 2182608 tilaus on lisätty käsin 3.9.2020 ja tietue on joko poimittu Helmetistä/Melindasta tai lisätty käsin (käsittelijä ei muista tarkkaan). Se on vastaanotettu 21.10.2020. Täysluetteloitujen tietojen poiminta lienee tehty vastaanoton ja ensimmäisen lainakerran välillä. Eka lainakerta on 24.11.2020. Siitäkään ei varmuutta. Tietuetta on viimeksi muokattu 19.2.2021, ei tietoa, miten sitä on silloin muokattu.

Tietueen 2198247 tilaus on lisätty EDItX:n kautta 19.2.2021 ja tilaussanomassa oli mukana myös 024a-kentän tieto, eli periaatteessa yhdistely olisi pitänyt toimia.

Heräsi kysymys, onko näitä vastaavia enemmänkin, joten tein raportin vanhan tuplatietue-raportin pohjalta. Näyttäisi siltä, että meillä on muitakin tietueita, joissa on marcissa ean, mutta ei biblioitems-taulussa.

DVD: https://koha.outikirjastot.fi:8080/cgi-bin/koha/reports/guided_reports.pl?phase=Run+this+report&reports=386&sql_params=DV&limit=100

Bluräy: https://koha.outikirjastot.fi:8080/cgi-bin/koha/reports/guided_reports.pl?phase=Run+this+report&reports=386&sql_params=BR&limit=100

Mistähän voi johtua, että osalle tietueista ei tallennu ean biblioitemsiin?

Historia

#1 Updated by Anneli Österman 2 kuukautta ago

Tällä raportilla etsiskelin teoksia, joissa on ean-koodi marcxml:llä, mutta ei tietokannassa biblioitems-taulun ean-sarakkeessa.

SELECT GROUP_CONCAT('<a href=\"/cgi-bin/koha/catalogue/detail.pl?biblionumber=',b.biblionumber,'\">',b.title,'</a>' SEPARATOR '; ') AS 'Teos', GROUP_CONCAT(b.biblionumber SEPARATOR ' | ') as Tietuenumero, GROUP_CONCAT(bi.ean SEPARATOR ' | ') as 'EAN tietokannassa', GROUP_CONCAT(ExtractValue(bm.metadata,'//datafield[@tag="024"]/subfield[@code="a"]') SEPARATOR ' | ') as 'EAN 024a', bi.itemtype as 'Aineistolaji'
FROM biblio b
LEFT JOIN biblio_metadata bm using (biblionumber)
LEFT JOIN biblioitems bi using (biblionumber)
WHERE ExtractValue(bm.metadata,'//datafield[@tag="024"]/subfield[@code="a"]') != ''
AND ExtractValue(bm.metadata,'//datafield[@tag="773"]/subfield[@code="w"]') = ''
AND bi.itemtype=<<Valitse aineistolaji|itemtypes>>
GROUP BY ExtractValue(bm.metadata,'//datafield[@tag="024"]/subfield[@code="a"]') HAVING COUNT(ExtractValue(bm.metadata,'//datafield[@tag="024"]/subfield[@code="a"]'))>1

Voisiko muut pääkäyttäjät testailla, löytyykö teiltä vastaavia tapauksia? Eli onko tämä yleinen ongelma vai vain OUTIn ongelma?

#2 Updated by Anneli Österman noin 2 kuukautta ago

  • Tila changed from Uusi to Kommentoitu

Nyt tuli esille toinen samanlainen tapaus, mutta tuplia oli tällä kertaa yhteensä neljä.

Neljä eri kirjastoa oli tilannut teoksen 9789526941400 (Arabia Muumi) editx:n kautta. Niistä syntyi bibliot '2198385', '2198451', '2198477' ja '2199061'.

Kolmella ekalla on isbn-koodi marcxml:ssä 024a-kentässä indikaattorilla 3, viimeisellä isbn-koodi on 020a-kentässä.

Tietueen 2199061 editx-sanoma, jossa tieto on tullut marcxml:ssä 020a-kentässä. (25.2.2021) (tilattu suoraan BTJ:ltä?)
  • isbn tallentunut biblioitems-taulun isbn-sarakkeeseen
Tietueen 2198477 editx-sanoma, jossa isbn-koodi marcxml:ssä 024a:ssa. (23.2.2021) (portaali_order)
  • ean-koodi on tietokannassa marcxml:ssä, mutta ei biblioitems-taulun ean-sarakkeessa
Tietueen 2198451 editx-sanoma, jossa isbn-koodi marcxml:ssä 024a:ssa. (23.2.2021) (portaali_order)
  • ean-koodi on tietokannassa marcxml:ssä, mutta ei biblioitems-taulun ean-sarakkeessa
Tietueen 2198385 editx-sanoma, jossa isbn-koodi marcxml:ssä 024a:ssa. (22.2.2021) (portaali_order)
  • ean-koodi on tietokannassa marcxml:ssä, mutta ei biblioitems-taulun ean-sarakkeessa

Listan eka ja kolme jälkimmäistä ei ole voineet yhdistyä, koska kolmessa jälkimmäisessa isbn on merkitty periaatteessa väärään kenttään editx-sanomassa. Kolme jälkimmäistä eivät taas ole yhdistyneet keskenään, koska 024a-kentän tieto ei ole päätynyt biblioitems-taulun ean-sarakkeeseen, jolloin tuplavertailua ei ole voitu tehdä tietueita luodessa.

Eli edelleen ihmettelen, miksi ean-sarakkeeseen ei päädy tieto tietueen luonnin yhteydessä? Koha to Marc mappings edelleen kunnossa.

#3 Updated by Anneli Österman noin kuukausi ago

Kun editx-rajapinta käsittelee sanomia, niin missä vaiheessa tiedot viedään tietokannan tauluun? Meneekö ne syntyneen tietueen tietojen perusteella vai viedäänkö tiedot tietokantaan ikään kuin ohi Kohan toimintojen? Koska tuossa melkein voisi kuvitella käyvän niin, että tiedot viedään ohi Kohan toimintojen (Koha to marc mappings -määrittelyjen) ja rajapinta ei vie ean-koodia (024a) tietokantaan. isbn-koodi (020a) sen sijaan vietäisiin.

#4 Updated by Anneli Österman noin kuukausi ago

Myös tästä teoksesta oli alunperin kolme tuplaa: https://koha.outikirjastot.fi:8080/cgi-bin/koha/catalogue/detail.pl?biblionumber=2200359

Myös tuolla näyttäisi olevan vain ean-koodi luettelointitiedoissa (ei isbn-koodia), mutta en ehtinyt tutkimaan triploja ennen kuin ne oli yhdistetty ja tarkistamaan, puuttuiko ean-koodi tietokannasta.

#5 Updated by Johanna Räisä noin kuukausi ago

  • Nimetty set to Johanna Räisä

#6 Updated by Anneli Österman noin kuukausi ago

EAN-tunnuksella 9790550116368 ei tietueet yhdistyneet. Katson kohta lisätietoja, mutta laitan tän jo tänne muistiin.

#7 Updated by Anneli Österman 29 päivää ago

https://koha.outikirjastot.fi:8080/cgi-bin/koha/catalogue/detail.pl?biblionumber=2201519 https://koha.outikirjastot.fi:8080/cgi-bin/koha/catalogue/detail.pl?biblionumber=2201364

Nämä ovat siis sama teos kuin kommentissa nro 4. Tullut uusia tilauksia.

#8 Updated by Anneli Österman 29 päivää ago

En ole varma liittyykö samaan ongelmaan, mutta nyt saimme ilmoituksen teoksista, jossa on isbn-numero tietokannassa viivojen kanssa. Viivathan pitäisi pudottaa pois. Toisaalta, kumpikaan noista ei näytä Editx-sanomasta luodulta tietueelta, eikä ne olekaan. Biblio 2202104 on päivittynyt valutuksessa 31.3.2021. Sitä ennen siinä on ollut isbn-numero ilman viivoja. Tietue 2201281 on päivitetty 6.4.2021, mutta ei valutuksessa (ainakaan en löydä sitä raportilta).

https://koha.outikirjastot.fi:8080/cgi-bin/koha/acqui/edimsg.pl?id=17095
https://koha.outikirjastot.fi:8080/cgi-bin/koha/catalogue/detail.pl?biblionumber=2201281
Tilattu 24.3.2021

https://koha.outikirjastot.fi:8080/cgi-bin/koha/acqui/edimsg.pl?id=17230
https://koha.outikirjastot.fi:8080/cgi-bin/koha/catalogue/detail.pl?biblionumber=2202104
Tilattu 31.3.2021

Ainakin tässä näkyy ongelmana se, että Tätistä valuessa isbn-numeroista ei tipu väliviivat. Onko näin tarkoitus?

#9 Updated by Johanna Räisä 24 päivää ago

Anneli Österman kirjoitti:

https://koha.outikirjastot.fi:8080/cgi-bin/koha/catalogue/detail.pl?biblionumber=2201519 https://koha.outikirjastot.fi:8080/cgi-bin/koha/catalogue/detail.pl?biblionumber=2201364

Nämä ovat siis sama teos kuin kommentissa nro 4. Tullut uusia tilauksia.

En nyt tullut hullua hurskaammaksi, kokeilin tämän viemistä testissä. https://koha.outikirjastot.fi:8080/cgi-bin/koha/catalogue/detail.pl?biblionumber=2201364
Se yhdisti ne viennit ihan oikein, tietokannasta löytyy yksi tietue. https://koha.outikirjastot.fi:8086/cgi-bin/koha/catalogue/detail.pl?biblionumber=2153734
Tuohan ei käytä edes yhdistelyyn indeksiä, vaan ottaa sen suoraan kantatasolla. En nyt keksi mikä siellä tuotannossa on eri tavalla.

#10 Updated by Johanna Räisä 8 päivää ago

Korjasin noita ean-koodeja OUTIsta, ensisijaisesti yritin löytää marcista 024a-kentän jolla on indikaattori 3. Jotain jänniä vielä jäi, nämä ehkä kannattaa katsoa käsin mitä niille tehdään.

+--------------+----------------+
| biblionumber | ean            |
+--------------+----------------+
|       175179 |  (Nid.)        |
|       179219 |  (Nid.)        |
|       194699 |  (Nid.)        |
|       242658 |  (Nid.)        |
|       706557 |  (Nid.)        |
|       797112 | 5500110454 (s  |
|      1036112 |  (Kierreselkä  |
|      1049768 |  (Kierreselkä  |
|      1072173 | 231047028 (ni  |
|      1266712 |  (nid.)        |
|      1273948 |  (nid.)        |
|      1573833 |  (57065500240  |
|      1583018 |  (57065500248  |
|      1603258 |  (64201141132  |
|      1611123 |  (64150186225  |
|      1621659 |  (64150186165  |
|      1640775 |  (64380440013  |
|      1663691 |  (02894117391  |
|      1677959 |  (64163351756  |
|      1683533 |  (70613226379  |
|      1687606 |  (64168619002  |
+--------------+----------------+

#11 Updated by Anneli Österman 7 päivää ago

Säädin tuota aikaisempaa kyselyä niin, että se ei hae tuplia vaan kaikki tietueet, joissa on ean-koodi marcissa mutta ei biblioitems-taulussa.

SELECT GROUP_CONCAT('<a href=\"/cgi-bin/koha/catalogue/detail.pl?biblionumber=',b.biblionumber,'\">',b.title,'</a>' SEPARATOR '; ') AS 'Teos', GROUP_CONCAT(b.biblionumber SEPARATOR ' | ') as Tietuenumero, GROUP_CONCAT(bi.ean SEPARATOR ' | ') as 'EAN tietokannassa', GROUP_CONCAT(ExtractValue(bm.metadata,'//datafield[@tag="024"]/subfield[@code="a"]') SEPARATOR ' | ') as 'EAN 024a', bi.itemtype as 'Aineistolaji'
FROM biblio b
LEFT JOIN biblio_metadata bm using (biblionumber)
LEFT JOIN biblioitems bi using (biblionumber)
WHERE ExtractValue(bm.metadata,'//datafield[@tag="024"]/subfield[@code="a"]') != ''
AND ExtractValue(bm.metadata,'//datafield[@tag="773"]/subfield[@code="w"]') = ''
AND bi.ean is null
GROUP BY ExtractValue(bm.metadata,'//datafield[@tag="024"]/subfield[@code="a"]')
ORDER BY 2 DESC LIMIT 1000

Vie Atom PDF