Pessoas que fazem pesquisa científica, constroem bases de conhecimento ou desenvolvem produtos de busca de artigos, em sua maioria já encontraram o mesmo problema: os artigos não são difíceis de encontrar; o difícil é realmente organizá-los bem.
Hoje, salva-se um lote de um site de periódico; amanhã, exporta-se outro lote de uma plataforma DOI; alguns dias depois, membros da equipe acrescentam alguns arquivos Excel. Quando chega a hora de realmente usá-los, os formatos dos títulos são diferentes, o mesmo artigo aparece repetidamente, as datas de publicação não correspondem, e retratações e erratas também ficam misturadas com artigos comuns. Quanto mais materiais se acumulam, mais difícil se torna pesquisar.
Se o projeto for apenas encontrar temporariamente alguns artigos, a organização manual ainda pode dar conta. Mas, para realizar pesquisa temática, construir uma base de conhecimento científico, um sistema de busca de literatura ou análise de dados de artigos, é difícil ir muito longe apenas com copiar e colar.
Este é exatamente o ponto de partida para organizarmos o conjunto de dados de artigos do periódico Nature: primeiro transformar informações bibliográficas dispersas em dados com estrutura clara, que possam ser pesquisados, relacionados e também sejam convenientes para processamento posterior.
¶ Quais problemas este conjunto de dados resolve principalmente?
Em termos simples, ele não ajuda você a “pesquisar artigos mais uma vez”, mas ajuda a organizar o catálogo de literatura sob um tema de pesquisa de modo que ele se pareça mais com um conjunto de dados que pode ser usado diretamente.
Problemas comuns incluem:
- O mesmo artigo vem de diferentes canais e precisa ser deduplicado com base em informações como DOI;
- As formas de escrever títulos, nomes de periódicos e datas de publicação não são uniformes;
- Artigos, erratas, retratações e conteúdos suplementares estão misturados, dificultando a filtragem;
- A equipe deseja criar sua própria biblioteca de literatura por disciplina, periódico, tema ou ano;
- Posteriormente, é necessário conectar mecanismos de busca, bancos de dados, grafos de conhecimento ou sistemas RAG, mas os materiais originais estão dispersos demais.
O conjunto de dados de artigos do periódico Nature oferece serviços de organização de literatura acadêmica temática e bibliografias. Você pode discutir o escopo específico de acordo com a área de pesquisa, o escopo de periódicos, o ano de publicação, os identificadores de literatura, os campos necessários e o formato de arquivo. Em outras palavras, não é necessário receber um arquivo “grande e completo, mas não necessariamente adequado”; em vez disso, primeiro esclarece-se o que o projeto realmente precisa e, então, confirma-se a versão e o plano de entrega.
¶ O que há no pacote público de referência?
Para facilitar que todos avaliem primeiro se a estrutura dos dados é adequada, preparamos um pacote público de referência.
Atualmente, o pacote de referência contém 5 registros bibliográficos rastreáveis do periódico principal Nature, e oferece:
- Arquivo de registros JSONL
- Arquivo de registros CSV
- Dicionário público de campos de pré-visualização
- Referência de campos de entrega
- Explicação das fontes de dados
A pré-visualização pública lista ao todo 7 campos:
| Campo | Para que serve |
|---|---|
doi |
Identificar e relacionar artigos |
title |
Título do artigo |
journal |
Periódico ao qual pertence |
published_date |
Data de publicação |
document_type |
Distinguir tipos de documento |
source_url |
Retornar ao DOI ou ao registro original |
reference_origin |
Explicar de onde vem o registro |
Esses campos não parecem complexos, mas já podem apoiar bastante trabalho básico, como busca bibliográfica, deduplicação de registros, rastreamento de fontes e processamento posterior após a importação para um banco de dados.
¶ Quais cenários são mais adequados?
¶ 1. Criar uma biblioteca de literatura temática
Por exemplo, se a equipe está acompanhando uma determinada área de ciências da vida, medicina ou ciência dos materiais, pode primeiro delimitar o escopo por tema, periódico e ano e, então, criar um catálogo de literatura unificado. Posteriormente, seja para busca, estatísticas ou atualizações contínuas, será mais fácil de manter do que planilhas dispersas por diferentes lugares.
¶ 2. Mesclar bibliografias de diferentes fontes
O mesmo artigo pode aparecer simultaneamente em plataformas DOI, sites de periódicos, bases de conhecimento de universidades e no próprio repositório de materiais da equipe. Com a ajuda de DOI, título, periódico e data de publicação, é possível definir regras de deduplicação mais seguras e relacionar múltiplas fontes a um mesmo registro bibliográfico.
¶ 3. Fazer a organização preliminar para uma base de conhecimento científico ou RAG
Muitos projetos de perguntas e respostas sobre artigos e busca científica se apressam em analisar PDFs logo no início. Na prática, percebe-se que o que realmente consome tempo costuma ser a filtragem de escopo e a governança de dados anteriores.
Uma abordagem mais segura é: primeiro usar os dados bibliográficos para confirmar “quais artigos existem, de onde vêm e a que tipo pertencem”; depois, conforme as permissões do projeto e os usos reais, decidir se serão processados resumos, texto completo, PDFs ou materiais suplementares.
¶ Há dois pontos que devem ser esclarecidos antecipadamente
Primeiro, o pacote público de referência não é uma amostra do lote de entrega formal.
Esses 5 registros servem principalmente para verificar o tema, os campos e a forma de organização dos arquivos; eles não podem ser usados para inferir quantos dados há no lote completo, qual é a cobertura ou que nível de qualidade é atingido. As menções a “milhões” e “nível de TB (a confirmar)” na página do produto são estimativas de registro de catálogo; quanto poderá ser efetivamente entregue precisa ser reconfirmado com base no periódico, ano, campos e escopo de conteúdo.
Segundo, ter informações bibliográficas não significa possuir automaticamente o direito de uso do texto completo.
O pacote público contém apenas fatos bibliográficos rastreáveis e não inclui resumos de artigos, texto completo, PDFs ou materiais suplementares. Se o projeto envolver processamento de texto completo, treinamento de modelos, uso comercial ou redistribuição, as permissões devem ser confirmadas de acordo com a literatura específica e a versão de entrega. Esta etapa não pode ser omitida, nem é recomendável tratá-la de forma vaga.
Além disso, o escopo público de referência atual aponta para o periódico principal Nature, e não para todo o Nature Portfolio. Se for necessário cobrir periódicos relacionados, liste diretamente os periódicos ou o escopo temático nos requisitos.
¶ Como confirmar um conjunto de dados adequado para você?
Recomenda-se seguir as etapas abaixo; a comunicação será muito mais rápida:
- Primeiro veja os exemplos públicos: verifique JSONL, CSV, dicionário de campos e descrição das fontes;
- Delimite o escopo: explique o tema de pesquisa, a revista-alvo e os anos de início e término;
- Liste os campos: confirme se são necessários autores, DOI, informações de publicação, resumos ou arquivos;
- Explique a finalidade: se será usado para busca interna, análise, avaliação de modelos, projetos comerciais ou redistribuição;
- Confirme os critérios de aceitação: incluindo taxa de validade de DOI, taxa de duplicação, taxa de ausência de campos, bem como a forma de tratamento de retratações e erratas;
- Defina o formato e a entrega: negocie preço e prazo conforme o volume de dados, os requisitos de limpeza e o escopo da licença.
Em última análise, em projetos de dados científicos, arquivos maiores nem sempre são melhores. Primeiro esclareça bem o escopo, os campos, as fontes e os limites de direitos; só então a busca, a análise e a construção da base de conhecimento posteriores poderão avançar de forma mais tranquila.
Se você estiver construindo busca científica, uma base temática de literatura, um grafo de conhecimento acadêmico ou um sistema de perguntas e respostas sobre artigos, pode primeiro baixar o pacote de referência para ver a estrutura e depois entrar em contato conosco com requisitos específicos.