Quienes realizan investigación científica, construyen bases de conocimiento o desarrollan productos de búsqueda de artículos académicos, en su mayoría se han encontrado con el mismo problema: los artículos no son difíciles de encontrar; lo difícil es organizarlos realmente bien.
Hoy se guarda un lote desde el sitio web de una revista, mañana se exporta otro lote desde una plataforma DOI, y unos días después los miembros del equipo añaden algunos Excel. Cuando realmente se necesitan, el formato de los títulos es diferente, el mismo artículo aparece repetido, las fechas de publicación no coinciden, y las retractaciones y correcciones también se mezclan con los artículos ordinarios. Cuantos más materiales se acumulan, más difícil resulta consultarlos.
Si el proyecto solo consiste en buscar temporalmente algunos artículos, la organización manual todavía puede ser suficiente. Pero para realizar investigación temática, una base de conocimiento científico, un sistema de búsqueda bibliográfica o análisis de datos de artículos, depender de copiar y pegar difícilmente permite avanzar mucho.
Este es precisamente el punto de partida de nuestra organización del conjunto de datos de artículos de la revista Nature: primero transformar la información bibliográfica dispersa en datos con una estructura clara, que se puedan buscar, relacionar y que también faciliten el procesamiento posterior.
¶ ¿Qué problemas resuelve principalmente este conjunto de datos?
En pocas palabras, no te ayuda a “buscar artículos otra vez”, sino a organizar el catálogo bibliográfico de un tema de investigación para que se parezca más a un conjunto de datos que pueda utilizarse directamente.
Estos son algunos problemas habituales:
- El mismo artículo procede de diferentes canales y es necesario eliminar duplicados con base en información como el DOI;
- Las formas de escribir los títulos, nombres de revistas y fechas de publicación no son uniformes;
- Artículos, correcciones, retractaciones y contenido adicional se mezclan, lo que dificulta el filtrado;
- Los equipos desean establecer sus propias bibliotecas bibliográficas por disciplina, revista, tema o año;
- Posteriormente se necesita conectar con motores de búsqueda, bases de datos, grafos de conocimiento o sistemas RAG, pero los materiales originales están demasiado dispersos.
El conjunto de datos de artículos de la revista Nature ofrece servicios de organización de literatura académica temática y bibliografía. Puedes comunicar el alcance específico según el campo de investigación, el alcance de revistas, el año de publicación, los identificadores bibliográficos, los campos requeridos y el formato de archivo. En otras palabras, no es necesario recibir un archivo “grande y completo, pero no necesariamente adecuado”; en su lugar, primero se aclara lo que el proyecto realmente necesita y después se confirma la versión y el plan de entrega.
¶ ¿Qué incluye el paquete de referencia público?
Para facilitar que todos determinen primero si la estructura de los datos es adecuada, hemos preparado un paquete de referencia público.
Actualmente, el paquete de referencia contiene 5 registros bibliográficos rastreables de la revista principal Nature, y proporciona:
- Archivo de registros JSONL
- Archivo de registros CSV
- Diccionario de campos de vista previa pública
- Referencia de campos de entrega
- Descripción de las fuentes de datos
La vista previa pública enumera un total de 7 campos:
| Campo | Para qué se utiliza |
|---|---|
doi |
Identificar y relacionar artículos |
title |
Título del artículo |
journal |
Revista a la que pertenece |
published_date |
Fecha de publicación |
document_type |
Distinguir tipos de documentos |
source_url |
Volver al DOI o al registro original |
reference_origin |
Indicar de dónde procede el registro |
Estos campos no parecen complejos, pero ya pueden respaldar bastante trabajo básico, como la búsqueda bibliográfica, la eliminación de duplicados de registros, el seguimiento de fuentes y el procesamiento posterior tras importarlos a una base de datos.
¶ ¿Qué escenarios son más adecuados?
¶ 1. Crear una biblioteca bibliográfica temática
Por ejemplo, si un equipo está siguiendo una dirección concreta de ciencias de la vida, medicina o ciencia de materiales, puede primero delimitar el alcance por tema, revista y año, y después crear un catálogo bibliográfico unificado. Posteriormente, ya sea para búsquedas, estadísticas o actualizaciones continuas, será más fácil de mantener que las hojas de cálculo dispersas por distintos lugares.
¶ 2. Combinar bibliografías de diferentes fuentes
El mismo artículo puede aparecer simultáneamente en plataformas DOI, sitios web de revistas, repositorios institucionales y la propia base de materiales del equipo. Con ayuda del DOI, el título, la revista y la fecha de publicación, se pueden establecer reglas de eliminación de duplicados más sólidas y relacionar múltiples fuentes con el mismo registro bibliográfico.
¶ 3. Realizar la organización previa para una base de conocimiento científico o RAG
Muchos proyectos de preguntas y respuestas sobre artículos y de búsqueda científica se apresuran a analizar PDF desde el principio. Al llevarlos a la práctica, se descubre que lo que realmente suele consumir tiempo es la selección inicial del alcance y la gobernanza de datos.
Un enfoque más seguro es: primero utilizar los datos bibliográficos para confirmar “qué artículos hay, de dónde proceden y a qué tipo pertenecen”, y después decidir si se procesan resúmenes, texto completo, PDF o materiales suplementarios según los permisos del proyecto y el uso real.
¶ Hay dos puntos que deben aclararse con antelación
Primero, el paquete de referencia público no es una muestra de un lote de entrega formal.
Estos 5 registros se utilizan principalmente para revisar el tema, los campos y la forma de organización de los archivos; no se pueden usar para inferir cuántos datos tiene el lote completo, cuál es su cobertura o qué nivel de calidad alcanza. Las menciones de “millones” y “nivel TB (por confirmar)” en la página del producto son estimaciones de registro del catálogo; cuánto puede entregarse realmente debe confirmarse de nuevo en función de la revista, el año, los campos y el alcance del contenido.
Segundo, disponer de información bibliográfica no equivale a poseer automáticamente derechos de uso del texto completo.
El paquete público solo contiene hechos bibliográficos rastreables y no incluye resúmenes de artículos, texto completo, PDF ni materiales suplementarios. Si el proyecto implica procesamiento de texto completo, entrenamiento de modelos, uso comercial o redistribución, es necesario confirmar los permisos según la bibliografía específica y la versión de entrega. Este paso no puede omitirse, ni se recomienda tratarlo de forma ambigua.
Además, el alcance de referencia público actual apunta a la revista principal Nature, y no equivale a todo Nature Portfolio. Si se necesita cubrir subrevistas relacionadas, enumere directamente las revistas o el alcance temático en los requisitos.
¶ ¿Cómo confirmar un conjunto de datos adecuado para uno mismo?
Se recomienda seguir los pasos siguientes; la comunicación será mucho más rápida:
- Primero revise las muestras públicas: examine JSONL, CSV, el diccionario de campos y las descripciones de las fuentes;
- Delimite el alcance: especifique el tema de investigación, la revista objetivo y los años de inicio y fin;
- Enumere los campos: confirme si se necesitan autores, DOI, información de publicación, resúmenes o archivos;
- Explique el uso: si se utilizará para búsquedas internas, análisis, evaluación de modelos, proyectos comerciales o redistribución;
- Confirme los criterios de aceptación: incluidos la tasa de validez de DOI, la tasa de duplicados, la tasa de campos faltantes, así como la forma de tratar las retractaciones y las correcciones;
- Defina el formato y la entrega: negocie el precio y el plazo según el volumen de datos, los requisitos de limpieza y el alcance de la licencia.
En definitiva, en los proyectos de datos científicos, no se trata de que los archivos sean cuanto más grandes mejor. Primero aclare el alcance, los campos, las fuentes y los límites de derechos, para que las posteriores búsquedas, análisis y construcción de bases de conocimiento se desarrollen con mayor fluidez.
Si está construyendo un buscador científico, una biblioteca temática de literatura, un grafo de conocimiento académico o un sistema de preguntas y respuestas sobre artículos, puede descargar primero el paquete de referencia para revisar la estructura y luego contactarnos con requisitos específicos.