Люди, занимающиеся научными исследованиями, созданием баз знаний или разработкой продуктов для поиска научных статей, в большинстве случаев сталкивались с одной и той же проблемой: найти статьи не так сложно, сложно по-настоящему хорошо их организовать.
Сегодня сохранить одну партию с сайта журнала, завтра экспортировать другую с DOI-платформы, а через несколько дней члены команды добавят ещё несколько Excel-файлов. Когда данные действительно понадобятся, форматы заголовков различаются, одна и та же статья встречается повторно, даты публикации не совпадают, а отозванные статьи и исправления смешаны с обычными публикациями. Чем больше накапливается материалов, тем сложнее в них искать.
Если проект заключается лишь во временном поиске нескольких статей, ручная организация ещё может справиться. Но если нужно проводить тематическое исследование, создавать научную базу знаний, систему поиска литературы или анализировать данные научных статей, далеко на копировании и вставке не уедешь.
Именно это стало отправной точкой для подготовки набора данных статей журнала Nature: сначала превратить разрозненную библиографическую информацию в данные с понятной структурой, которые можно искать, связывать и удобно обрабатывать дальше.
¶ Какие проблемы в основном решает этот набор данных?
Проще говоря, он не помогает вам «ещё раз найти статьи», а помогает организовать каталог литературы по исследовательской теме так, чтобы он больше походил на набор данных, который можно использовать напрямую.
Распространённые проблемы включают:
- одна и та же статья поступает из разных источников, и требуется удаление дубликатов на основе DOI и другой информации;
- способы записи заголовков, названий журналов и дат публикации не унифицированы;
- статьи, исправления, отзывы и дополнительные материалы смешаны вместе, что неудобно для фильтрации;
- команда хочет создать собственную базу литературы по дисциплинам, журналам, темам или годам;
- впоследствии нужно подключить поисковую систему, базу данных, граф знаний или RAG-систему, но исходные материалы слишком разрознены.
Набор данных статей журнала Nature предоставляет услуги по организации тематической научной литературы и библиографических данных. Вы можете обсудить конкретный объём на основе области исследований, охвата журналов, года публикации, идентификаторов литературы, требуемых полей и форматов файлов. Иными словами, не нужно получать один «большой и всеобъемлющий, но не обязательно подходящий» файл: сначала чётко определить, что действительно нужно проекту, а затем подтвердить версию и план поставки.
¶ Что есть в публичном ознакомительном пакете?
Чтобы всем было удобно сначала определить, подходит ли структура данных, мы подготовили публичный ознакомительный пакет.
В настоящее время в ознакомительном пакете содержится 5 отслеживаемых библиографических записей основного журнала Nature, а также предоставляются:
- файл записей JSONL
- файл записей CSV
- публичный словарь полей предварительного просмотра
- справочник полей поставки
- описание источников данных
В публичном предварительном просмотре всего перечислено 7 полей:
| Поле | Для чего используется |
|---|---|
doi |
Идентификация и связывание статей |
title |
Заголовок статьи |
journal |
Журнал, в котором опубликована статья |
published_date |
Дата публикации |
document_type |
Различение типов документов |
source_url |
Возврат к DOI или исходной записи |
reference_origin |
Указание, откуда поступила запись |
Эти поля выглядят несложными, но уже могут поддерживать немало базовых задач, например библиографический поиск, удаление дубликатов записей, отслеживание источников, а также дальнейшую обработку после импорта в базу данных.
¶ Для каких сценариев это больше подходит?
¶ 1. Создание тематической базы литературы
Например, команда отслеживает определённое направление в науках о жизни, медицине или материаловедении: можно сначала определить рамки по теме, журналам и годам, а затем создать единый каталог литературы. В дальнейшем, будь то поиск, статистика или непрерывное обновление, такую базу будет легче поддерживать, чем таблицы, разбросанные по разным местам.
¶ 2. Объединение библиографических данных из разных источников
Одна и та же статья может одновременно присутствовать на DOI-платформе, сайте журнала, в университетской базе знаний и собственной базе материалов команды. С помощью DOI, заголовка, журнала и времени публикации можно разработать более надёжные правила удаления дубликатов и связать несколько источников с одной записью литературы.
¶ 3. Предварительная организация для научной базы знаний или RAG
Во многих проектах по вопросам и ответам на основе статей и научному поиску с самого начала спешат анализировать PDF. На практике оказывается, что больше всего времени часто отнимают предварительный отбор по охвату и управление данными.
Более надёжный подход таков: сначала с помощью библиографических данных определить, «какие статьи существуют, откуда они поступили и к какому типу относятся», а затем в зависимости от разрешений проекта и фактических целей решать, нужно ли обрабатывать аннотации, полный текст, PDF или дополнительные материалы.
¶ Есть два момента, которые обязательно нужно заранее чётко определить
Во-первых, публичный ознакомительный пакет не является выборкой из официальной партии поставки.
Эти 5 записей главным образом используются для просмотра темы, полей и способа организации файлов; по ним нельзя судить о том, сколько данных будет в полной партии, каков охват или какого уровня достигнет качество. Упоминаемые на странице продукта «миллионный масштаб» и «масштаб TB (требует подтверждения)» относятся к оценкам при регистрации в каталоге; сколько фактически может быть поставлено, необходимо повторно подтвердить с учётом журналов, годов, полей и охвата содержания.
Во-вторых, наличие библиографической информации не означает автоматического наличия права на использование полного текста.
Публичный пакет содержит только отслеживаемые библиографические факты и не включает аннотации статей, полный текст, PDF или дополнительные материалы. Если проект предполагает обработку полного текста, обучение моделей, коммерческое использование или повторное распространение, необходимо подтверждать разрешения для конкретной литературы и версии поставки. Этот этап нельзя пропускать, и не рекомендуется относиться к нему неоднозначно.
Кроме того, текущий публичный ознакомительный охват относится к основному журналу Nature и не означает весь Nature Portfolio. Если требуется охват связанных дочерних журналов, пожалуйста, непосредственно перечислите журналы или тематический охват в требованиях.
¶ Как подтвердить данные, подходящие именно вам?
Рекомендуется действовать по следующим шагам — это значительно ускорит обсуждение:
- Сначала ознакомьтесь с публичным примером: проверьте JSONL, CSV, словарь полей и описание источников;
- Определите рамки: укажите тему исследования, целевой журнал и начальный и конечный годы;
- Перечислите поля: подтвердите, нужны ли авторы, DOI, информация о публикации, аннотации или файлы;
- Опишите назначение: используется ли это для внутреннего поиска, анализа, оценки моделей, коммерческих проектов или повторного распространения;
- Подтвердите критерии приёмки: включая процент действительных DOI, уровень дубликатов, процент отсутствующих полей, а также способ обработки отозванных публикаций и исправлений;
- Согласуйте формат и поставку: цена и сроки обсуждаются в зависимости от объёма данных, требований к очистке и объёма лицензии.
В конечном счёте, для проектов с научными данными больше файлов — не обязательно лучше. Сначала чётко определите рамки, поля, источники и границы прав, и тогда последующие поиск, анализ и построение базы знаний будут проходить более гладко.
Если вы создаёте научный поиск, тематическую базу литературы, академический граф знаний или систему вопросов и ответов по статьям, вы можете сначала скачать ознакомительный пакет, чтобы посмотреть структуру, а затем связаться с нами, указав конкретные требования.