Jupyter Notebooks¶

Jupyter Notebook — это веб-приложение с открытым исходным кодом, предназначенное для создания и распространения документов, содержащих интерактивный код, текст, визуализации и мультимедиа. Относится к классу инструментов для вычислительной ноутбуковой среды (computational notebook), позволяющей объединять программный код, его результаты, пояснения и графику в едином документе. Ключевыми характеристиками являются поддержка десятков языков программирования (через ядра), интерактивность выполнения кода, простота обмена документами и широкое распространение в научных, образовательных и инженерных сообществах.

¶История

Разработка Jupyter Notebook началась как ответвление от проекта IPython (Interactive Python). IPython был создан в 2001 году Фернандо Пересом как улучшенная интерактивная оболочка для языка Python. В 2011 году в IPython была добавлена поддержка веб-интерфейса, что привело к созданию прототипа ноутбука. В 2014 году, в рамках реструктуризации, компонент веб-интерфейса и ядра был выделен из IPython в отдельный проект под названием Jupyter. Название происходит от комбинации трёх поддерживаемых на тот момент языков: Julia, Python и R. В 2015 году проект Jupyter был принят под эгиду Фонда программного обеспечения Project Jupyter, который и координирует его дальнейшее развитие.

В 2017 году был анонсирован проект JupyterLab — следующее поколение интерфейса, предназначенное для замены классического Jupyter Notebook. JupyterLab предлагает более гибкую, модульную среду с возможностью работы с несколькими документами и терминалами в одном окне. В 2018 году вышла первая стабильная версия JupyterLab 1.0. Несмотря на это, классический Jupyter Notebook (версии 6.x) продолжает активно использоваться и поддерживаться.

¶Архитектура и устройство

Jupyter Notebook основан на клиент-серверной архитектуре. Основные компоненты:

¶Ядро (Kernel)

Ядро — это отдельный процесс, который выполняет код пользователя. Оно отвечает за интерпретацию и выполнение команд, отправленных из веб-интерфейса, и возврат результатов. Ядра могут быть написаны для разных языков программирования. Наиболее популярные ядра:

• IPython (Python)
• IRkernel (R)
• IJulia (Julia)
• xeus-cling (C++)
• bash_kernel (Bash)
• sparkmagic (Apache Spark)

Каждое ядро реализует протокол Jupyter Kernel Protocol, который определяет формат сообщений между ядром и клиентом.

¶Веб-сервер (Notebook Server)

Серверная часть, написанная на Python (Tornado), управляет сессиями пользователей, аутентификацией, доступом к файловой системе и передачей данных между ядром и клиентом. Сервер запускается локально или на удалённом сервере.

¶Клиент (Web Client)

Клиент — это веб-интерфейс, работающий в браузере пользователя. Он отображает документ (ноутбук) в формате HTML и обрабатывает взаимодействие пользователя с кодом, текстом и виджетами. Взаимодействие с сервером происходит через WebSocket или HTTP.

¶Формат документа

Документ Jupyter Notebook сохраняется в формате JSON с расширением .ipynb. Этот формат представляет собой структурированный файл, содержащий последовательность ячеек (cells) и метаданные. Основные типы ячеек:

• Ячейка кода (Code cell): содержит исполняемый код на языке, поддерживаемом ядром. Вывод кода (текст, изображения, графики, виджеты) отображается непосредственно под ячейкой.
• Ячейка разметки (Markdown cell): содержит текст, форматированный с помощью языка разметки Markdown. Поддерживаются заголовки, списки, таблицы, ссылки, изображения, математические формулы (LaTeX).
• Ячейка «сырой» (Raw cell): содержит текст, который не преобразуется и не выполняется. Используется для вставки необработанных данных, например, для экспорта в другие форматы.

Файл .ipynb также может содержать выходные данные (outputs), которые кэшируются и отображаются при повторном открытии ноутбука без необходимости перезапуска ядра.

¶Применение

Jupyter Notebook получил широкое распространение в различных областях:

¶Научные исследования

Ноутбуки стали стандартным инструментом для воспроизводимых вычислительных исследований. Учёные используют их для прототипирования алгоритмов, анализа данных, визуализации результатов и документирования методологии. Примеры: анализ геномных данных, моделирование климата, обработка сигналов.

¶Образование

В учебных заведениях Jupyter Notebook применяется для преподавания программирования, статистики, машинного обучения и других дисциплин. Интерактивность позволяет студентам сразу видеть результаты выполнения кода и экспериментировать с параметрами. Многие учебные курсы, включая курсы на платформах Coursera, edX и Stepik, используют ноутбуки в качестве лабораторных работ.

¶Анализ данных и машинное обучение

Это одна из самых популярных областей применения. Ноутбуки позволяют специалистам по данным (data scientists) быстро исследовать данные, строить модели, оценивать их качество и визуализировать результаты. Библиотеки Python, такие как Pandas, NumPy, Matplotlib, Scikit-learn и TensorFlow, тесно интегрированы с Jupyter.

¶Инженерия и разработка

Инженеры используют Jupyter для прототипирования, отладки, документирования API и создания интерактивных отчётов. В некоторых компаниях ноутбуки применяются для создания внутренних инструментов и дашбордов.

¶Распространённые дистрибутивы и платформы

Для упрощения установки и настройки Jupyter существуют готовые дистрибутивы:

• Anaconda: крупнейший дистрибутив для Python и R, включающий Jupyter Notebook, JupyterLab, Spyder и множество научных библиотек. Широко используется в научных кругах.
• Miniconda: минималистичная версия Anaconda, содержащая только менеджер пакетов conda и Python. Позволяет устанавливать Jupyter и другие пакеты по необходимости.
• Google Colaboratory (Colab): облачный сервис от Google, предоставляющий бесплатный доступ к вычислительным ресурсам (включая GPU и TPU) и предустановленным библиотекам. Требует только учётную запись Google. Не является прямым дистрибутивом Jupyter, но реализует его интерфейс.
• Kaggle Notebooks: облачная платформа для соревнований по машинному обучению, предоставляющая среду Jupyter с доступом к наборам данных и GPU.
• Azure Notebooks (прекращён) и Amazon SageMaker Notebooks: облачные сервисы от Microsoft и Amazon соответственно, интегрированные с их облачными платформами.

¶Критика

Несмотря на популярность, Jupyter Notebook имеет ряд недостатков, которые подвергаются критике:

• Проблемы с контролем версий: формат .ipynb хранит не только код, но и выходные данные, метаданные и порядок выполнения ячеек. Это делает файлы плохо подходящими для систем контроля версий (например, Git), так как диффы часто содержат много шума.
• Сложность с отладкой: отладка кода в ноутбуке менее удобна, чем в традиционных IDE (например, PyCharm, VS Code), из-за отсутствия полноценного отладчика с точками останова и пошаговым выполнением.
• Проблемы с состоянием: выполнение ячеек в случайном порядке может привести к непредсказуемому состоянию ядра, что затрудняет воспроизводимость и отладку.
• Сложность с рефакторингом: код в ноутбуках часто пишется линейно, что затрудняет его рефакторинг и превращение в модульный, переиспользуемый код.
• Безопасность: выполнение кода из ненадёжных источников может представлять угрозу безопасности, так как ноутбук может содержать вредоносный код.

¶Альтернативы

Существуют и другие инструменты, реализующие концепцию вычислительных ноутбуков:

• Apache Zeppelin: веб-ноутбук, ориентированный на работу с большими данными и интеграцию с Apache Spark.
• R Markdown: формат для создания воспроизводимых отчётов на языке R, который может включать код, текст и графику.
• Observable: веб-платформа для интерактивных ноутбуков на JavaScript, ориентированная на визуализацию данных и создание дашбордов.
• Deepnote: облачная платформа для совместной работы над ноутбуками, ориентированная на команды data scientists.

¶Интересные факты

• Название «Jupyter» является аббревиатурой от трёх языков: Julia, Python и R.
• Проект Jupyter поддерживается некоммерческой организацией Project Jupyter, которая финансируется за счёт грантов и пожертвований.
• В 2017 году проект Jupyter получил премию ACM Software System Award за создание и развитие вычислительной ноутбуковой среды.
• Существуют расширения для Jupyter, позволяющие добавлять интерактивные виджеты, проверять код на наличие ошибок, интегрироваться с системами контроля версий и многое другое.
• Jupyter Notebook используется в крупных исследовательских проектах, таких как LIGO (обнаружение гравитационных волн) и CERN (анализ данных с Большого адронного коллайдера).

¶Источники

1. Project Jupyter. (2023). Jupyter Documentation. https://jupyter.org/documentation
2. Kluyver, T., Ragan-Kelley, B., Pérez, F., Granger, B., Bussonnier, M., Frederic, J., ... & Willing, C. (2016). Jupyter Notebooks – a publishing format for reproducible computational workflows. In Positioning and Power in Academic Publishing: Players, Agents and Agendas (pp. 87–90).
3. Pérez, F., & Granger, B. E. (2007). IPython: A System for Interactive Scientific Computing. Computing in Science & Engineering, 9(3), 21–29.
4. Anaconda, Inc. (2023). Anaconda Distribution. https://www.anaconda.com/products/distribution
5. Google. (2023). Google Colaboratory. https://colab.research.google.com/
6. ACM. (2017). ACM Software System Award. https://awards.acm.org/software-system