Metadatenstandards für Webarchivierung

Formate & Standards
1

Wir sind bei der Digitalen Landesbibliothek (https://digital.zlb.de) der Zentral- und Landesbibliothek Berlin dabei, das Metadaten-Schema für archivierte Webseiten und zugehörige Crawls/Zeitschnitte zu erstellen.

Als eine gute Referenz haben wir dies hier auf dem Schirm: Dooley, Jackie, and Kate Bowers. 2018. Descriptive Metadata for Web Archiving: Recommendations of the OCLC Research Library Partnership Web Archiving Metadata Working Group. Dublin, OH: OCLC Research. Descriptive Metadata for Web Archiving: Recommendations of the OCLC Research Library Partnership Web Archiving Metadata Working Group. Direktlink: https://www.oclc.org/content/dam/research/publications/2018/oclcresearch-wam-recommendations-a4.pdf

Wir selbst werden die Daten in METS/MODS (möglichst nah an den Empfehlungen der DFG-Praxisregeln) und MARC verwenden.

Habt ihr denn Tipps und Hinweise für weitere nützliche Ressourcen zum Thema?

2

Hi @mgoetze, herzlich willkommen im metadaten.community-Forum und danke für deinen Beitrag!

Im hbz betreiben Kolleg:innen die Sammlung rheinland-pfälzischer Netzpublikationen edoweb und greifen dabei auch Software & Tools > lobid zurück, weshalb ich mit dem Thema in der Vegrangenheit ein wenig Kontakt hatte. Die Metadaten werden mittlerweile in Alma erfasst mit entsprechenden Angaben im MARC-Feld 856, das ja auch in dem von dir verlinkten Dokument genannt wird. In Regelwerks-/Standardisierungsfragen dazu stecke ich allerdings nicht weiter drin.

Falls relevant: Für die RDF/JSON-LD-Repräsenation der MARC-Angaben aus 856 haben wir vor zehn Jahren den Typ lv:ArchivedWebPage und die Property lv:webPageArchived geprägt, um Webschnitte als solche in RDF zu typisieren und die URL der archivierten Webseite anzugeben. Hier ein Edoweb-Beispiel: HTML, MARC, JSON-LD.

1 „Gefällt mir“
3

Vielen herzlichen Dank!!!

4

Das ist eine gute Gelegenheit auch bei uns diese Thematik mal anzugehen.
Wir liefern aktuell die Webseiten noch sehr unspezifisch aus, so dass man sie eigentlich gar nicht so gut erkennen kann.

Beispiel „Webseiten Kollektion“:

<https://d-nb.info/1359058109> a bibo:Series .

Beispiel „Archivierte Webseite“:

<https://d-nb.info/1048103730> a bibo:Periodical .

Beispiel „Zeitschnitte“ (haben bisher gar keine Klasse)

<https://d-nb.info/1048103749> dcterms:medium <http://rdaregistry.info/termList/RDACarrierType/1018> .

Da würde ich gerne lv:ArchivedWebPage und lv:webPageArchived nachnutzen. Allerdings fehlt mir dann aktuell noch der Typ des Zeitschnitts.

Spannendes Thema, zu dem es anscheinend noch kein Standard Vokabular gibt…

5

Heute haben @Tracy_Arndt und ich etwas gezeichnet:

einmal grob, wie wir es aktuell verstehen:

VPD1ImCn48Nl-HL3pwxOcmGfQa-2O15BmTjiCji6iviboLgA-j-TDBlTRH6XbyoyV9DvRtiV8lhOrLQqg3vmIr2Qqi6NK1P3W5awoHLvuxHHQ6VYHvoKIunetNOKBvsrfA9npOoBhEph6og3YPIAMaNoTP0rQTFLu3MgAEStyrjHEQnawqsD_l3cMgCcW7SoCQXTOsBy7p9qJ5ZnMYzLOl2lSP4NSp6w6bm5_Nj0mbC35L--0cmEi7vz3e2UO6i-gJaDNthSspGs4Ecrjmauz5RiGsePBQ7BhS4TwqgZHs_iftpmQiTapUFRuprCut9jdskiPo4V4dZGCtN2vKGgZpLDCgfwDESpCl7iDUmUrJZUoMUvoPDoN2mVd2cwudlnH_fzNvu51KMnW8GHOlm2uEvwCHWjn2J0ethpyBgiZ4qHU6ez1MeYwSV3L2XFAK9X2pV2Ze70EQNrJdUAGcvAsMUL5XdUTcbrtl5araLRNgQGKPV62N5FZUR_poy0
VPD1ImCn48Nl-HL3pwxOcmGfQa-2O15BmTjiCji6iviboLgA-j-TDBlTRH6XbyoyV9DvRtiV8lhOrLQqg3vmIr2Qqi6NK1P3W5awoHLvuxHHQ6VYHvoKIunetNOKBvsrfA9npOoBhEph6og3YPIAMaNoTP0rQTFLu3MgAEStyrjHEQnawqsD_l3cMgCcW7SoCQXTOsBy7p9qJ5ZnMYzLOl2lSP4NSp6w6bm5_Nj0mbC35L--0cmEi7vz3e2UO6i-gJaDNthSspGs4Ecrjmauz5RiGsePBQ7BhS4TwqgZHs_iftpmQiTapUFRuprCut9jdskiPo4V4dZGCtN2vKGgZpLDCgfwDESpCl7iDUmUrJZUoMUvoPDoN2mVd2cwudlnH_fzNvu51KMnW8GHOlm2uEvwCHWjn2J0ethpyBgiZ4qHU6ez1MeYwSV3L2XFAK9X2pV2Ze70EQNrJdUAGcvAsMUL5XdUTcbrtl5araLRNgQGKPV62N5FZUR_poy01006×523 40.2 KB

und einmal ein Skizze, wie es werden könnte:

fLLDQzmm4BthLuYzUsbkHPHjaisXWKAM9M6X8GTP6YSYicKaEM5fyjyx8yjVcn8elLapRvvcHc_6vo5A7xlQibQgP_a8l3Ibux-PiZ84lgAJs84tJXibxOgzin6vbL5QzpY1jyvQKD6uPeL6H6Rx0Se09W9PjOhWwo1gqAQhkTTIHN7svUmhgvoiHEjDBVtnrhL64SD0yGlZWtfgJ8oVimmU4tPOs4t5FBGU0ZGHzEMHADyPPusBMAcBqTNSLNn8a0l-0pnmsHpvtVvdu4esl0JU1T1S1hHp9F97tZhJn36vhPUlbj8A0FhEstdYE-mKkOmMlEjTG_-kRWuN-otwnZxXiJ8suLllTASevyIEPIZdTPXJ4nnBSvrNi4_k5IM99emdPt5xR87Vew5rJO2t0VpGU_kOulegWwL_X5ZSxQ-PSjYk9lBIElLyUgLfAZUxZexB-yZoxrSiYfeLe-Ra_vLuTbwIBv4FQ7ouhimnhJnQ9_LfR3QdiFoDOGx55kbDPgzgNMdqD1FsHLnuzMHUGAFAsgG6KbAslVOsn2CG3oIN0R_anKcilAnXDfjLfiQvd3ZbGcCuCr3BAQO_YqD_Kp-cC_ZkS7qrWYcnyTD7mes3KdJ5s-Olws44hBir0iQK1hjOJ3WlYWsdH1YRTWV_jjwC4ydORF8Nf6FlvWWnpZqlRE4ccWLciH9ueJ69uTaPJKzV74gFJaAWiCYKCqscf9NUc4N4M1g4APIE0t2zlc-SbytpmuQdSSP5eo4eRqe8Z0rp_w5fsKvDMso3_kP-CKoWl2BwWYW5bX12vBKqAs8O56JEOaw-iGkdykpB6XCxSOjJvVPifs9ZR3TnVN2UAETZS4faZTgOAqBmxup4cHpqTcHWvz1e-gVnFm00
fLLDQzmm4BthLuYzUsbkHPHjaisXWKAM9M6X8GTP6YSYicKaEM5fyjyx8yjVcn8elLapRvvcHc_6vo5A7xlQibQgP_a8l3Ibux-PiZ84lgAJs84tJXibxOgzin6vbL5QzpY1jyvQKD6uPeL6H6Rx0Se09W9PjOhWwo1gqAQhkTTIHN7svUmhgvoiHEjDBVtnrhL64SD0yGlZWtfgJ8oVimmU4tPOs4t5FBGU0ZGHzEMHADyPPusBMAcBqTNSLNn8a0l-0pnmsHpvtVvdu4esl0JU1T1S1hHp9F97tZhJn36vhPUlbj8A0FhEstdYE-mKkOmMlEjTG_-kRWuN-otwnZxXiJ8suLllTASevyIEPIZdTPXJ4nnBSvrNi4_k5IM99emdPt5xR87Vew5rJO2t0VpGU_kOulegWwL_X5ZSxQ-PSjYk9lBIElLyUgLfAZUxZexB-yZoxrSiYfeLe-Ra_vLuTbwIBv4FQ7ouhimnhJnQ9_LfR3QdiFoDOGx55kbDPgzgNMdqD1FsHLnuzMHUGAFAsgG6KbAslVOsn2CG3oIN0R_anKcilAnXDfjLfiQvd3ZbGcCuCr3BAQO_YqD_Kp-cC_ZkS7qrWYcnyTD7mes3KdJ5s-Olws44hBir0iQK1hjOJ3WlYWsdH1YRTWV_jjwC4ydORF8Nf6FlvWWnpZqlRE4ccWLciH9ueJ69uTaPJKzV74gFJaAWiCYKCqscf9NUc4N4M1g4APIE0t2zlc-SbytpmuQdSSP5eo4eRqe8Z0rp_w5fsKvDMso3_kP-CKoWl2BwWYW5bX12vBKqAs8O56JEOaw-iGkdykpB6XCxSOjJvVPifs9ZR3TnVN2UAETZS4faZTgOAqBmxup4cHpqTcHWvz1e-gVnFm001028×1273 112 KB

Bisher sind uns als relevante Vokabulare nur die zwei Terme von lobid und DOWARC [1] der National Archives (UK) über den Weg gelaufen.
Wir haben über die Einträge die die Internals eines WARCfiles abbilden DOWARC geschrieben, da wir das Vokabular mit einbeziehen wollen aktuell ist es aber nicht in der Form modelliert.

Möglicherweise verstehe ich die Internals der WARC files und der PWIDs noch nicht richtig.

Die Grafiken sind mit plantuml gemacht, ihr könnt euch aus der URL also die Beschreibung ziehen und Änderungen vornehmen.

@mgoetze was sind eure use cases für das metadaten modell?

[1] GitHub - DOWARC/dowarc: Domain Ontology to model web archiving artefacts as Semantic objects and describe web archiving and web preservation activities.