Chi si occupa di ricerca scientifica, di costruire basi di conoscenza o di realizzare prodotti per il recupero di articoli ha probabilmente incontrato lo stesso problema: gli articoli non sono difficili da trovare, la parte difficile è organizzarli davvero bene.
Oggi se ne salva un lotto dal sito della rivista, domani se ne esporta un altro da una piattaforma DOI, e dopo qualche giorno i membri del team aggiungono altri file Excel. Quando poi servono davvero, il formato dei titoli è diverso, lo stesso articolo compare ripetutamente, le date di pubblicazione non coincidono, e ritrattazioni e correzioni sono mescolate agli articoli ordinari. Più materiali si accumulano, più diventa difficile cercarli.
Se il progetto richiede solo di trovare temporaneamente alcuni articoli, l'organizzazione manuale può ancora bastare. Ma per fare ricerca tematica, basi di conoscenza scientifica, sistemi di recupero bibliografico o analisi dei dati degli articoli, è difficile andare lontano affidandosi al copia e incolla.
Questo è proprio il punto di partenza della nostra organizzazione del dataset di articoli della rivista Nature: trasformare innanzitutto le informazioni bibliografiche disperse in dati dalla struttura chiara, ricercabili, collegabili e comodi per le successive elaborazioni.
¶ Quali problemi risolve principalmente questo dataset?
In parole semplici, non serve ad aiutarti a “cercare di nuovo gli articoli”, ma ad aiutarti a organizzare il catalogo della letteratura sotto un tema di ricerca in modo più simile a un insieme di dati utilizzabile direttamente.
I problemi comuni includono:
- Lo stesso articolo proviene da canali diversi e deve essere deduplicato in base a informazioni come il DOI;
- Le modalità di scrittura di titoli, nomi delle riviste e date di pubblicazione non sono uniformi;
- Articoli, correzioni, ritrattazioni e contenuti supplementari sono mescolati insieme, rendendo scomodo il filtraggio;
- Il team desidera creare la propria biblioteca bibliografica per disciplina, rivista, tema o anno;
- Successivamente occorre collegare motori di ricerca, database, grafi di conoscenza o sistemi RAG, ma i materiali originali sono troppo dispersi.
Il dataset di articoli della rivista Nature fornisce servizi di organizzazione della letteratura accademica tematica e dei dati bibliografici. Puoi discutere l'ambito specifico in base al campo di ricerca, all'intervallo di riviste, all'anno di pubblicazione, agli identificatori bibliografici, ai campi richiesti e al formato dei file. In altre parole, non è necessario ricevere un file “grande e completo, ma non necessariamente adatto”; prima si chiarisce ciò di cui il progetto ha realmente bisogno, poi si confermano la versione e il piano di consegna.
¶ Cosa contiene il pacchetto di riferimento pubblico?
Per permettere a tutti di valutare prima se la struttura dei dati è adatta, abbiamo preparato un pacchetto di riferimento pubblico.
Attualmente il pacchetto di riferimento contiene 5 record bibliografici tracciabili della rivista principale Nature, e fornisce:
- File di record JSONL
- File di record CSV
- Dizionario dei campi dell'anteprima pubblica
- Riferimento ai campi di consegna
- Descrizione delle fonti dei dati
L'anteprima pubblica elenca in totale 7 campi:
| Campo | A cosa serve |
|---|---|
doi |
Identificare e collegare gli articoli |
title |
Titolo dell'articolo |
journal |
Rivista di appartenenza |
published_date |
Data di pubblicazione |
document_type |
Distinguere i tipi di documento |
source_url |
Tornare al DOI o al record originale |
reference_origin |
Spiegare da dove proviene il record |
Questi campi non sembrano complessi, ma possono già supportare molto lavoro di base, ad esempio il recupero bibliografico, la deduplicazione dei record, il tracciamento delle fonti e l'ulteriore elaborazione dopo l'importazione nel database.
¶ Quali scenari sono più adatti?
¶ 1. Creare una biblioteca bibliografica tematica
Per esempio, se il team sta monitorando una determinata area delle scienze della vita, della medicina o della scienza dei materiali, può prima delimitare l'ambito per tema, rivista e anno, quindi creare un catalogo bibliografico unificato. In seguito, che si tratti di ricerca, statistiche o aggiornamenti continui, sarà più facile da mantenere rispetto a fogli di calcolo sparsi ovunque.
¶ 2. Unire bibliografie provenienti da fonti diverse
Lo stesso articolo può comparire contemporaneamente su piattaforme DOI, siti web delle riviste, basi di conoscenza universitarie e archivi interni del team. Con l'aiuto di DOI, titolo, rivista e data di pubblicazione, è possibile definire regole di deduplicazione più affidabili e collegare più fonti allo stesso record bibliografico.
¶ 3. Preparazione preliminare per basi di conoscenza scientifica o RAG
Molti progetti di domande e risposte sugli articoli e di ricerca scientifica hanno fretta di analizzare i PDF fin dall'inizio. Nella pratica, si scopre che ciò che richiede davvero tempo è spesso la selezione preliminare dell'ambito e la governance dei dati.
Un approccio più sicuro è: prima usare i dati bibliografici per confermare “quali articoli esistono, da dove provengono e a quale tipo appartengono”, quindi decidere se elaborare abstract, testo completo, PDF o materiali supplementari in base alle autorizzazioni del progetto e agli usi effettivi.
¶ Ci sono due punti che devono assolutamente essere chiariti in anticipo
Primo, il pacchetto di riferimento pubblico non è un campione del lotto di consegna formale.
Questi 5 record servono principalmente a visualizzare il tema, i campi e l'organizzazione dei file, e non possono essere usati per dedurre quanti dati contiene il lotto completo, quale sia la copertura o quale livello di qualità venga raggiunto. Le menzioni di “milioni di record” e “livello TB (da confermare)” nella pagina del prodotto sono stime di registrazione del catalogo; quanto effettivamente può essere consegnato deve essere riconfermato in base a rivista, anno, campi e ambito dei contenuti.
Secondo, disporre di informazioni bibliografiche non significa possedere automaticamente i diritti di utilizzo del testo completo.
Il pacchetto pubblico contiene solo fatti bibliografici tracciabili e non include abstract degli articoli, testo completo, PDF o materiali supplementari. Se il progetto riguarda l'elaborazione del testo completo, l'addestramento di modelli, l'uso commerciale o la ridistribuzione, è necessario confermare le autorizzazioni in base ai singoli documenti e alla versione di consegna. Questo passaggio non può essere omesso, né è consigliabile gestirlo in modo ambiguo.
Inoltre, l'attuale ambito di riferimento pubblico si riferisce alla rivista principale Nature, e non all'intero Nature Portfolio. Se è necessario coprire le relative riviste affiliate, elenca direttamente le riviste o l'ambito tematico nei requisiti.
¶ Come confermare un dataset adatto alle proprie esigenze?
Si consiglia di seguire i passaggi seguenti: la comunicazione sarà molto più rapida:
- Prima esamina gli esempi pubblici: controlla JSONL, CSV, il dizionario dei campi e la descrizione delle fonti;
- Definisci l'ambito: specifica il tema di ricerca, la rivista di destinazione e gli anni di inizio e fine;
- Elenca i campi: conferma se sono necessari autori, DOI, informazioni di pubblicazione, abstract o file;
- Spiega l'uso previsto: se sarà utilizzato per ricerca interna, analisi, valutazione di modelli, progetti commerciali o ridistribuzione;
- Conferma i criteri di accettazione: inclusi il tasso di validità dei DOI, il tasso di duplicazione, il tasso di campi mancanti, nonché le modalità di gestione delle ritrattazioni e delle correzioni;
- Definisci formato e consegna: concorda prezzo e tempistiche in base al volume dei dati, ai requisiti di pulizia e all'ambito della licenza.
In definitiva, per i progetti di dati scientifici non vale la regola che più grandi sono i file, meglio è. Solo chiarendo prima l'ambito, i campi, le fonti e i confini dei diritti, le successive attività di ricerca, analisi e costruzione della base di conoscenza potranno procedere più agevolmente.
Se stai costruendo una ricerca scientifica, una biblioteca di letteratura tematica, un grafo della conoscenza accademica o un sistema di domande e risposte sui paper, puoi prima scaricare il pacchetto di riferimento per vederne la struttura, quindi contattarci con esigenze specifiche.