MyScript

MyScript — это технология распознавания рукописного ввода и обработки цифровых рукописных заметок, разработанная французской компанией MyScript (ранее Vision Objects). Система позволяет преобразовывать рукописный текст, написанный от руки на экране устройства (планшета, смартфона, интерактивной доски), в цифровой машинописный текст, а также распознавать математические формулы, геометрические фигуры и музыкальные нотации. Технология основана на методах машинного обучения и нейронных сетях, поддерживает более 100 языков, включая русский, и используется в различных приложениях для образования, бизнеса и творчества.

История

Разработка технологии началась в конце 1990-х годов в рамках исследовательского проекта французского Национального института информатики и автоматики (INRIA). В 2003 году была основана компания Vision Objects, которая коммерциализировала технологию под названием MyScript. Первоначально продукт ориентировался на рынок корпоративных решений и мобильных устройств, работающих под управлением Windows Mobile и Palm OS.

В 2010-х годах, с распространением сенсорных экранов и стилусов, MyScript получила широкое распространение в приложениях для планшетов. В 2015 году компания выпустила SDK (Software Development Kit) для разработчиков, что позволило интегрировать распознавание рукописного ввода в сторонние приложения. В 2018 году Vision Objects была переименована в MyScript, а технология стала доступна для облачных сервисов.

В 2020-х годах компания внедрила технологии глубокого обучения (deep learning), что повысило точность распознавания, особенно для сложных почерков и математических формул. По состоянию на 2024 год MyScript используется в более чем 10 миллионах устройств по всему миру.

Принцип работы

Технология MyScript основана на анализе последовательности точек, которые пользователь оставляет на экране при письме. Система не просто распознаёт готовые изображения символов, а отслеживает траекторию движения пера (стилуса или пальца), что позволяет учитывать динамику письма — направление штрихов, нажим, скорость.

Этапы обработки

1. Сбор данных — устройство фиксирует координаты точек, временные метки и давление (если поддерживается).
2. Предобработка — удаление шумов, сглаживание траекторий, нормализация размера.
3. Сегментация — разделение непрерывного потока ввода на отдельные символы, слова или математические элементы.
4. Распознавание — сопоставление сегментов с базой данных символов, слов и формул с использованием нейронных сетей.
5. Постобработка — коррекция ошибок, применение языковых моделей для уточнения слов, форматирование (например, преобразование «1/2» в дробь).

Основные возможности

Распознавание рукописного текста

MyScript преобразует рукописный текст в цифровой с сохранением форматирования (шрифты, размеры, выравнивание). Поддерживаются:

• Печатные и прописные буквы.
• Смешанное написание (например, латиница и кириллица в одном слове).
• Специальные символы (знаки препинания, цифры, валюты).

Распознавание математических формул

Одна из ключевых особенностей — возможность распознавать сложные математические выражения, включая:

• Дроби, степени, корни.
• Интегралы, суммы, произведения.
• Матрицы и системы уравнений.
• Греческие буквы и математические символы.

После распознавания формула может быть экспортирована в LaTeX, MathML или в виде изображения.

Распознавание геометрических фигур

Система способна распознавать нарисованные от руки фигуры (линии, окружности, прямоугольники, треугольники) и преобразовывать их в аккуратные векторные объекты. Поддерживается создание диаграмм и блок-схем.

Распознавание музыки

MyScript также включает модуль для распознавания музыкальных нот, написанных от руки. Пользователь может нарисовать нотный стан, ключи, ноты, паузы и динамические оттенки, после чего система преобразует их в цифровую партитуру.

Применение

Образование

Технология широко используется в образовательных приложениях для записи лекций, решения математических задач и создания конспектов. Например, приложения Nebo (собственное приложение MyScript) и GoodNotes (интегрирует MyScript SDK) позволяют студентам писать от руки, а затем искать, редактировать и экспортировать текст.

Бизнес

В корпоративной среде MyScript применяется для:

• Заполнения форм и документов на планшетах.
• Создания цифровых подписей.
• Ведения заметок на совещаниях с последующим преобразованием в текст.

Творчество

Художники и дизайнеры используют технологию для создания эскизов и набросков, которые затем автоматически превращаются в векторные изображения.

Медицина

Врачи применяют MyScript для заполнения электронных медицинских карт и рецептов, что сокращает время на ввод данных.

Критика и ограничения

Несмотря на высокую точность (до 99% для чёткого почерка), технология имеет ряд недостатков:

• Зависимость от качества ввода — при небрежном или очень мелком почерке точность снижается.
• Ограниченная поддержка языков — хотя заявлено более 100 языков, некоторые редкие языки и диалекты не поддерживаются.
• Проблемы с распознаванием формул — сложные многострочные выражения или нестандартные обозначения могут распознаваться некорректно.
• Требования к аппаратному обеспечению — для работы в реальном времени требуется достаточно мощный процессор, что ограничивает использование на старых устройствах.

Интересные факты

• Технология MyScript была использована в ранних версиях планшетов Samsung Galaxy Note для распознавания рукописного ввода в приложении S Note.
• В 2021 году MyScript выпустила версию для Windows, которая позволяет писать от руки на любом приложении, поддерживающем ввод текста.
• Компания регулярно проводит конкурсы по распознаванию рукописного текста, где участники соревнуются в точности и скорости обработки.

Источники

• Официальный сайт MyScript (myscript.com)
• Документация MyScript SDK
• Статья «Handwriting Recognition Technology: A Review» (Journal of Computer Science, 2020)
• Материалы INRIA о проекте Vision Objects
• Презентации MyScript на конференциях WWDC и Google I/O