Les personnes qui font de la recherche scientifique, construisent des bases de connaissances ou développent des produits de recherche d’articles rencontrent pour la plupart le même problème : les articles ne sont pas difficiles à trouver ; ce qui est difficile, c’est de vraiment bien les organiser.
Aujourd’hui, on en enregistre un lot depuis le site d’une revue, demain on en exporte un autre depuis une plateforme de DOI, puis quelques jours plus tard des membres de l’équipe ajoutent encore des fichiers Excel. Au moment où il faut réellement les utiliser, les formats de titre diffèrent, le même article apparaît plusieurs fois, les dates de publication ne correspondent pas, et les rétractations comme les corrections sont mélangées aux articles ordinaires. Plus les documents s’accumulent, plus il devient difficile de les consulter.
Si le projet consiste seulement à trouver temporairement quelques articles, l’organisation manuelle peut encore suffire. Mais pour mener des recherches thématiques, construire une base de connaissances scientifique, un système de recherche documentaire ou une analyse de données d’articles, il est difficile d’aller loin en se reposant sur le copier-coller.
C’est précisément le point de départ de notre organisation du jeu de données d’articles de la revue Nature : transformer d’abord des informations bibliographiques dispersées en données clairement structurées, consultables, associables et pratiques pour les traitements ultérieurs.
¶ Quels problèmes cet ensemble de données résout-il principalement ?
En termes simples, il ne vous aide pas à « rechercher à nouveau des articles », mais à organiser le catalogue bibliographique d’un thème de recherche de manière à ce qu’il ressemble davantage à un ensemble de données directement utilisable.
Voici quelques problèmes courants :
- Le même article provient de différents canaux et doit être dédoublonné à l’aide d’informations telles que le DOI ;
- Les formats des titres, noms de revues et dates de publication ne sont pas uniformes ;
- Les articles, corrections, rétractations et contenus additionnels sont mélangés, ce qui complique le filtrage ;
- Les équipes souhaitent créer leur propre bibliothèque documentaire par discipline, revue, thème ou année ;
- Il faut ensuite les connecter à des moteurs de recherche, des bases de données, des graphes de connaissances ou des systèmes RAG, mais les données source sont trop dispersées.
Le jeu de données d’articles de la revue Nature fournit des services d’organisation de littérature académique thématique et de bibliographies. Vous pouvez définir précisément le périmètre en fonction du domaine de recherche, de la portée des revues, des années de publication, des identifiants documentaires, des champs requis et du format de fichier. En d’autres termes, il n’est pas nécessaire de recevoir un fichier « vaste et exhaustif, mais pas forcément adapté » : clarifiez d’abord le contenu réellement nécessaire au projet, puis confirmez la version et le plan de livraison.
¶ Que contient le package de référence public ?
Afin de permettre à chacun de déterminer d’abord si la structure des données convient, nous avons préparé un package de référence public.
Le package de référence contient actuellement 5 notices bibliographiques traçables de la revue principale Nature, et fournit :
- un fichier de notices JSONL
- un fichier de notices CSV
- un dictionnaire de champs pour l’aperçu public
- une référence des champs de livraison
- une description des sources de données
L’aperçu public répertorie au total 7 champs :
| Champ | Utilisation |
|---|---|
doi |
Identifier et associer les articles |
title |
Titre de l’article |
journal |
Revue concernée |
published_date |
Date de publication |
document_type |
Distinguer le type de document |
source_url |
Revenir au DOI ou à la notice d’origine |
reference_origin |
Indiquer d’où provient la notice |
Ces champs ne semblent pas complexes, mais ils permettent déjà de prendre en charge de nombreux travaux de base, tels que la recherche bibliographique, le dédoublonnage des notices, le suivi des sources, ainsi que les traitements ultérieurs après importation dans une base de données.
¶ Quels scénarios sont les plus adaptés ?
¶ 1. Créer une bibliothèque documentaire thématique
Par exemple, si une équipe suit un domaine des sciences de la vie, de la médecine ou de la science des matériaux, elle peut d’abord délimiter le périmètre par thème, revue et année, puis créer un catalogue documentaire unifié. Qu’il s’agisse ensuite de recherche, de statistiques ou de mises à jour continues, il sera plus facile à maintenir que des tableaux dispersés en différents endroits.
¶ 2. Fusionner des bibliographies issues de différentes sources
Le même article peut apparaître simultanément sur une plateforme de DOI, le site d’une revue, une base de connaissances universitaire et la base documentaire propre à l’équipe. À l’aide du DOI, du titre, de la revue et de la date de publication, il est possible de définir des règles de dédoublonnage plus fiables et d’associer plusieurs sources à une même notice documentaire.
¶ 3. Préparer en amont une base de connaissances scientifique ou un système RAG
De nombreux projets de questions-réponses sur les articles et de recherche scientifique s’empressent dès le départ d’analyser les PDF. En pratique, on constate que ce qui prend réellement du temps est souvent la sélection du périmètre et la gouvernance des données en amont.
Une approche plus fiable consiste à : d’abord utiliser les données bibliographiques pour confirmer « quels articles existent, d’où ils proviennent et à quel type ils appartiennent », puis décider s’il faut traiter les résumés, le texte intégral, les PDF ou les documents supplémentaires selon les autorisations du projet et les usages réels.
¶ Il y a deux points qu’il faut impérativement clarifier à l’avance
Premièrement, le package de référence public n’est pas un échantillon du lot de livraison officiel.
Ces 5 notices servent principalement à examiner le thème, les champs et le mode d’organisation des fichiers ; elles ne permettent pas de déduire le volume de données du lot complet, son taux de couverture ou son niveau de qualité. Les mentions « à l’échelle du million » et « à l’échelle du To (à confirmer) » indiquées sur la page du produit sont des estimations d’enregistrement au catalogue ; la quantité réellement livrable doit être reconfirmée en fonction de la revue, de l’année, des champs et de la portée du contenu.
Deuxièmement, disposer d’informations bibliographiques ne signifie pas automatiquement disposer de droits d’utilisation du texte intégral.
Le package public contient uniquement des faits bibliographiques traçables, et ne contient ni résumés d’articles, ni texte intégral, ni PDF, ni documents supplémentaires. Si le projet implique le traitement du texte intégral, l’entraînement de modèles, une utilisation commerciale ou une redistribution, les autorisations doivent être confirmées selon les documents concernés et la version de livraison. Cette étape ne peut pas être omise, et il n’est pas recommandé de la traiter de manière ambiguë.
Par ailleurs, la portée actuelle de la référence publique vise la revue principale Nature, et ne correspond pas à l’ensemble de Nature Portfolio. Si une couverture des revues associées est nécessaire, veuillez indiquer directement dans la demande les revues ou le périmètre thématique.
¶ Comment confirmer un ensemble de données adapté à vos besoins ?
Il est recommandé de suivre les étapes ci-dessous, afin que la communication soit beaucoup plus rapide :
- Consultez d’abord l’échantillon public : vérifiez le JSONL, le CSV, le dictionnaire de champs et les explications sur les sources ;
- Délimitez le périmètre : indiquez le thème de recherche, les revues cibles et les années de début et de fin ;
- Listez les champs : confirmez si les auteurs, les DOI, les informations de publication, les résumés ou les fichiers sont nécessaires ;
- Expliquez l’usage : s’il est destiné à la recherche interne, à l’analyse, à l’évaluation de modèles, à des projets commerciaux ou à la redistribution ;
- Confirmez les critères d’acceptation : y compris le taux de validité des DOI, le taux de doublons, le taux de champs manquants, ainsi que la manière de traiter les rétractations et les errata ;
- Finalisez le format et la livraison : négociez le prix et le délai en fonction du volume de données, des exigences de nettoyage et du périmètre de licence.
En fin de compte, pour les projets de données scientifiques, ce n’est pas plus le fichier est grand, mieux c’est. Clarifiez d’abord le périmètre, les champs, les sources et les limites des droits, afin que la recherche, l’analyse et la construction de bases de connaissances ultérieures se déroulent plus facilement.
Si vous construisez un moteur de recherche scientifique, une base documentaire thématique, un graphe de connaissances académiques ou un système de questions-réponses sur les articles, vous pouvez d’abord télécharger le kit de référence pour examiner sa structure, puis nous contacter avec vos besoins précis.