Jupyter Notebook

Jupyter Notebook — это веб-приложение с открытым исходным кодом, предназначенное для создания и распространения документов, содержащих живой код, уравнения, визуализации и пояснительный текст. Относится к классу интерактивных вычислительных сред (REPL-сред с графическим интерфейсом) и является одним из ключевых инструментов в области науки о данных (data science), машинного обучения, научных исследований и образования. Основное отличие Jupyter Notebook от традиционных интегрированных сред разработки (IDE) заключается в сочетании исполняемого кода с нарративным контентом, что позволяет создавать самодокументируемые и воспроизводимые вычислительные артефакты.

История

Проект Jupyter возник как ответвление от более раннего проекта IPython. IPython (Interactive Python) был создан в 2001 году Фернандо Пересом как улучшенная интерактивная оболочка для языка программирования Python. В 2011 году команда IPython начала разработку двухкомпонентной архитектуры: ядра (kernel), отвечающего за выполнение кода, и веб-интерфейса (notebook), обеспечивающего взаимодействие с пользователем.

В 2014 году проект был переименован в Jupyter (сокращение от Julia, Python и R — трёх языков, которые он изначально поддерживал). Это решение было принято для подчёркивания языковой независимости платформы. В том же году вышла первая стабильная версия Jupyter Notebook (версия 4.0). С этого момента началось быстрое распространение инструмента в академической среде и индустрии.

В 2015 году проект Jupyter получил премию ACM Software System Award. В 2017 году была анонсирована новая архитектура — JupyterLab, которая представляет собой более мощную и гибкую среду, призванную заменить классический Notebook в качестве основного интерфейса. На 2025 год JupyterLab является рекомендуемым интерфейсом, однако классический Jupyter Notebook по-прежнему активно используется и поддерживается.

Архитектура и устройство

Архитектура Jupyter Notebook основана на модели «ядро-клиент». Она состоит из нескольких независимых компонентов:

Ядро (Kernel)

Ядро — это отдельный процесс, который отвечает за выполнение кода, отправленного пользователем, и возврат результатов (вывод, ошибки, визуализации). Каждое ядро привязано к одному конкретному языку программирования. Наиболее распространённым является ядро IPython для Python. Существуют сотни ядер для других языков: IRkernel (R), IJulia (Julia), jupyter-kotlin, bash_kernel (Bash), и другие. Ядро работает по протоколу ZeroMQ, что позволяет ему общаться с клиентом асинхронно.

Сервер (Notebook Server)

Сервер — это веб-приложение (написанное на Python с использованием фреймворка Tornado), которое управляет сессиями пользователей, аутентификацией, файловой системой и взаимодействием между браузером и ядром. Он запускается локально на машине пользователя или на удалённом сервере.

Клиент (Web Client)

Клиент — это веб-интерфейс, который отображается в браузере. Он написан на JavaScript и использует библиотеки CodeMirror для редактирования кода и MathJax для отображения математических формул. Клиент отправляет запросы серверу, который перенаправляет их ядру.

Формат файла (.ipynb)

Документы Jupyter Notebook сохраняются в формате JSON с расширением .ipynb. Этот формат является открытым и стандартизированным. Файл содержит:

• ячейки (cells) — основные структурные единицы документа;
• метаданные (metadata) — информацию о ядре, версии формата и пользовательские настройки.

Ячейки и их типы

Документ Jupyter Notebook состоит из последовательности ячеек, которые могут быть трёх типов:

Ячейки кода (Code cells)

Содержат исполняемый код на языке, соответствующем выбранному ядру. Пользователь может выполнить ячейку, нажав Shift+Enter. Результат выполнения (вывод, график, таблица) отображается непосредственно под ячейкой. Ячейки могут быть выполнены в любом порядке, что даёт большую гибкость, но может привести к невоспроизводимости результатов при неправильном порядке выполнения.

Ячейки разметки (Markdown cells)

Содержат текст, отформатированный с помощью языка разметки Markdown. Поддерживаются заголовки, списки, ссылки, изображения, таблицы, а также математические формулы в формате LaTeX. Эти ячейки не выполняются, а рендерятся в HTML при сохранении документа.

Ячейки «сырого» текста (Raw cells)

Содержат неформатированный текст, который не обрабатывается при рендеринге. Используются для вставки метаданных или контента, который должен быть обработан внешними инструментами (например, при конвертации в LaTeX).

Основные возможности

Jupyter Notebook предоставляет ряд ключевых возможностей, сделавших его стандартом в научных вычислениях:

Интерактивное выполнение кода

Пользователь может выполнять код по частям, видеть промежуточные результаты и немедленно вносить изменения. Это ускоряет процесс исследования и отладки.

Визуализация данных

Благодаря интеграции с библиотеками визуализации (Matplotlib, Seaborn, Plotly, Bokeh), графики и диаграммы отображаются непосредственно в документе. Поддерживаются интерактивные виджеты (ipywidgets), позволяющие создавать элементы управления (слайдеры, кнопки, выпадающие списки).

Богатый текстовый контент

Возможность встраивать пояснения, формулы, изображения и ссылки делает Notebook идеальным инструментом для создания отчётов, учебных пособий и научных статей.

Воспроизводимость

Файл .ipynb содержит как код, так и его результаты, что позволяет другим исследователям или коллегам полностью воспроизвести вычислительный эксперимент.

Экспорт и конвертация

Jupyter Notebook поддерживает экспорт в различные форматы: HTML, PDF (через LaTeX), Markdown, Python-скрипт (.py), Reveal.js (презентации). Для конвертации используется утилита nbconvert.

Поддержка параллельных вычислений

Через IPython.parallel (теперь ipyparallel) можно организовать выполнение кода на нескольких ядрах или узлах кластера.

JupyterLab

JupyterLab — это следующее поколение интерфейса Jupyter, выпущенное в стабильной версии в 2019 году. В отличие от классического Notebook, JupyterLab предоставляет:

• Многооконный интерфейс — возможность одновременно работать с несколькими Notebook, терминалами, текстовыми редакторами и файловым менеджером.
• Расширяемость — поддержка плагинов и расширений, позволяющих добавлять новые функции (например, интеграцию с Git, отладчики, интерактивные панели).
• Улучшенную работу с файлами — встроенный просмотрщик CSV, JSON, изображений.
• Консоли — возможность запуска интерактивной консоли для быстрого тестирования кода.

JupyterLab не заменяет классический Notebook полностью, но является рекомендуемым интерфейсом для новых пользователей.

Применение

Jupyter Notebook нашёл широкое применение в различных областях:

Наука о данных (Data Science)

Это основная сфера использования. Notebook используется для очистки, преобразования, визуализации и анализа данных. Популярные библиотеки: pandas, NumPy, scikit-learn, TensorFlow, PyTorch.

Машинное обучение и искусственный интеллект

Исследователи и инженеры используют Notebook для прототипирования моделей, обучения нейронных сетей, визуализации метрик и сравнения архитектур.

Научные исследования

Физики, биологи, химики и экономисты используют Notebook для моделирования, обработки экспериментальных данных и публикации результатов. Многие научные журналы принимают Notebook в качестве дополнительного материала.

Образование

Jupyter Notebook широко используется в университетах для преподавания программирования, статистики, математики и других дисциплин. Он позволяет студентам одновременно видеть теорию и практические примеры.

Финансовый анализ

Трейдеры и аналитики используют Notebook для анализа рыночных данных, построения моделей оценки рисков и автоматизации отчётов.

Экосистема и сервисы

Вокруг Jupyter сложилась обширная экосистема:

Облачные сервисы

• Google Colab — бесплатный сервис от Google, предоставляющий Notebook с доступом к GPU и TPU. Требует аккаунт Google.
• Kaggle Notebooks — платформа для соревнований по машинному обучению, предоставляющая Notebook с предустановленными наборами данных.
• Binder — сервис, позволяющий запускать Notebook из репозитория GitHub в облаке без установки.
• Azure Notebooks (закрыт в 2021 году, заменён на Azure Machine Learning) и AWS SageMaker Notebooks.

Инструменты для совместной работы

• JupyterHub — многопользовательский сервер, позволяющий развернуть Notebook для группы пользователей (например, для учебного класса или команды).
• nbviewer — сервис для просмотра статической версии Notebook (без выполнения кода) по URL.

Инструменты для управления версиями

• ReviewNB — плагин для GitHub, позволяющий просматривать диффы Notebook (сравнение ячеек и результатов).
• Jupyter Notebook Diff — утилиты для сравнения .ipynb файлов.

Критика и ограничения

Несмотря на популярность, Jupyter Notebook имеет ряд недостатков:

Проблемы с воспроизводимостью

Возможность выполнения ячеек в произвольном порядке может привести к тому, что Notebook, работающий у одного пользователя, не будет работать у другого из-за скрытых зависимостей (глобальные переменные, состояние ядра). Для решения этой проблемы рекомендуется выполнять Notebook «сверху вниз» или использовать инструменты проверки порядка выполнения (например, nbstripout).

Сложность с контролем версий

Формат .ipynb хранит как код, так и вывод (включая большие объёмы данных, изображения в base64). Это делает файлы плохо подходящими для систем контроля версий (Git), так как диффы становятся нечитаемыми. Решения: очистка вывода перед коммитом (nbstripout), использование Jupytext (синхронизация с .py файлами).

Ограниченная поддержка отладки

Встроенный отладчик в классическом Notebook отсутствует. В JupyterLab появился экспериментальный отладчик (debugger), но он уступает полноценным IDE (PyCharm, VS Code).

Проблемы с производительностью

При работе с большими наборами данных или длительными вычислениями интерфейс может зависать. Рекомендуется выгружать тяжёлые вычисления в отдельные скрипты или использовать фоновые процессы.

Отсутствие модульности

Notebook поощряет написание кода в одной длинной последовательности ячеек, что затрудняет рефакторинг и повторное использование кода. Для промышленной разработки рекомендуется переносить функции и классы в отдельные .py файлы.

Интересные факты

• Название «Jupyter» является отсылкой к трём основным поддерживаемым языкам: Julia, Python и R. Однако сейчас проект поддерживает более 100 языков.
• Символом проекта является Юпитер (в честь планеты), а в логотипе используется стилизованное изображение планеты с кольцом.
• Jupyter Notebook используется в крупнейших научных проектах, включая анализ данных с Большого адронного коллайдера в ЦЕРНе и обработку данных телескопа «Хаббл».
• В 2018 году проект Jupyter был удостоен награды «Best Open Source Software» от журнала InfoWorld.

Источники

• Официальная документация проекта Jupyter (jupyter.org)
• Книга «Python Data Science Handbook» by Jake VanderPlas
• Статья «Jupyter Notebooks — a publishing format for reproducible computational workflows» (2015) в журнале «Positioning and Power in Academic Publishing: Players, Agents and Agendas»
• Репозиторий проекта Jupyter на GitHub (github.com/jupyter)
• Статья «The Jupyter Notebook: A Guide for Beginners» на портале Real Python