Открыть сервис
Главная → Блог → Google Cloud Vision API

Google Cloud Vision API

Google Cloud Vision API — это облачный сервис для анализа изображений, предоставляемый компанией Google в составе платформы Google Cloud Platform. Сервис позволяет с помощью предварительно обученных моделей машинного обучения (нейросетей) извлекать информацию из изображений без необходимости самостоятельной разработки и обучения моделей. API предназначен для широкого спектра задач, включая распознавание объектов, текстов, лиц, эмоций, а также классификацию изображений по категориям и обнаружение неподобающего контента. Сервис был официально запущен в феврале 2016 года.

История и развитие

Предпосылкой к появлению Vision API стала многолетняя работа Google над технологиями компьютерного зрения для собственных продуктов, таких как Google Фото, Google Поиск, YouTube (организация Meta признана экстремистской и запрещена в РФ) и Google Карты. В 2014 году Google анонсировала нейросеть, способную описывать изображения без учителя. В начале 2016 года, в рамках более широкой стратегии по коммерциализации своих внутренних наработок через облачную платформу, Google выпустила Vision API как часть Google Cloud Platform. Сервис быстро занял место в одном ряду с аналогичными продуктами от Amazon (Amazon Rekognition) и Microsoft (Azure Computer Vision).

Первоначально API предоставлял ограниченный набор детекторов. Со временем функциональность значительно расширилась: были добавлены детекция текстов на разных языках (OCR), поиск по картинкам, обнаружение логотипов, определение местоположения, а также возможность работы с видео (через Video Intelligence API). В последних версиях (начиная с 2020-х годов) активно внедряются технологии обработки естественного языка для генерации описаний изображений и понимания контекста.

Основные возможности и функции

API предоставляет набор высокоуровневых методов (детекторов) для извлечения информации из статических изображений, передаваемых в запросе (по ссылке на файл или в виде base64-закодированных данных).

### Распознавание объектов (Label Detection)

Метод LABEL_DETECTION позволяет идентифицировать объекты, сцены, действия и животные на изображении. Для каждого найденного элемента возвращается его описание на английском (и других) языках и процент уверенности модели (confidence score). Например, для фотографии пикника нейросеть может вернуть метки «пикник», «еда», «трава», «парк», «люди», «плед». Это наиболее востребованная функция для автоматической каталогизации и индексации больших медиатек.

### Распознавание текста (OCR)

Сервис включает два режима оптического распознавания текста:

### Распознавание лиц (Face Detection)

Метод FACE_DETECTION позволяет находить лица на изображениях и определять 8 основных эмоциональных состояний: радость, грусть, гнев, удивление, страх, отвращение, возбуждение (или их комбинации). Для каждого лица возвращаются координаты ограничивающего прямоугольника, а также расположение ключевых точек (уголки губ, центр носа, центры глаз). Важно: сервис не идентифицирует личность человека, а только анализирует изображение на наличие лица и его выразительные характеристики. Согласно политике Google, API не может использоваться для создания систем массового наблюдения, распознавания групп людей по демографическим признакам (раса, возраст, пол) и не предназначен для идентификации конкретных лиц (этот функционал передаётся в более специализированный сервис — Cloud Vision Identity Detection, который также использует визуальные данные, но с другими ограничениями).

### Обнаружение свойств изображений (Image Properties Detection)

Позволяет определить преобладающие цвета, цветовой тон и яркость изображения. Результат может быть использован для автоматической подстройки дизайна интерфейса, сортировки фото по цветовой гамме или для анализа визуального контента.

### Обнаружение логотипов (Logo Detection)

Автоматически распознаёт тысячи известных брендов, товарных знаков и логотипов компаний (например, Apple, Nike, Coca-Cola). Полезно для автоматической обработки рекламных материалов, сегментации контента и аналитики упоминаемости брендов.

### Обнаружение достопримечательностей (Landmark Detection)

Распознаёт известные исторические, культурные и природные достопримечательности (здания, памятники, мосты, горы и пр.). Например, фотография Эйфелевой башни получает метку «Эйфелева башня» и её географические координаты.

### Модерация контента (Safe Search Detection)

Метод для фильтрации изображений на предмет наличия откровенного или потенциально опасного контента. Возвращает пять оценок для каждой категории:

Оценки могут быть: VERY_UNLIKELY, UNLIKELY, POSSIBLE, LIKELY, VERY_LIKELY.

### Поиск по картинкам (Web Detection)

Этот метод позволяет искать изображения в паутине (индексе Google). Для загруженной картинки API находит:

### Генерация описаний (Caption Generation)

Современная версия API (через Vision API v1p4beta1 или через интеграцию с Vertex AI) может генерировать текстовое описание изображения на английском языке. Например, для фотографии «человек играет на гитаре на пляже» может быть сгенерирована фраза: «A man is playing guitar on a beach». Этот функционал основан на больших языковых моделях и требует дополнительных ресурсов.

Архитектура и доступ

Для использования API необходимо:

  1. Создать проект в Google Cloud Console.
  2. Активировать сервис Cloud Vision API.
  3. Создать сервисный аккаунт и получить файл с ключами (JSON-файл) для аутентификации.
  4. Отправить запрос к REST-эндпоинту (обычно https://vision.googleapis.com/v1/images:annotate`) с использованием библиотек клиентов для популярных языков (Python, Java, Node.js, Go, C#, PHP, Ruby) или напрямую через POST-запрос.

Запрос включает в себя:

  • JSON-тело с указанием изображения (ссылка imageUri или массив base64).
  • Набор признаков (features), которые нужно применить (например, "type": "LABEL_DETECTION", "maxResults": 10).

Ответ также приходит в формате JSON и содержит структурированные данные, включая атрибуты labelAnnotations, faceAnnotations, textAnnotations и т.д.

Точность и ограничения

Точность работы API варьируется в зависимости от качества входных данных, сложности задачи и типа детектора:

  • Для простых, чётких, высококонтрастных изображений (лоток товаров, сканированный документ с ярким фоном) точность приближается к 95–99%.
  • Для размытых, зашумлённых, малоформатных изображений, а также для объектов с необычными ракурсами или частичным закрытием точность может значительно снижаться (до 50–70%).
  • Модели чувствительны к предвзятости обучающих данных (например, для распознавания лиц точность может быть выше для лиц европеоидной расы по сравнению с другими, хотя Google активно работает над устранением этих перекосов).
  • Функционал Safe Search не является абсолютно точным и не гарантирует отсутствия ошибок (как ложноположительных, так и ложноотрицательных срабатываний).
  • API имеет ограничения по размеру запроса (максимальный размер изображения в base64 — 10 МБ), по объёму запросов в минуту (зависит от тарифа) и по числу параллельных запросов.

Применение

Google Cloud Vision API находит применение в самых разных областях:

  • Бизнес и ритейл:
  • Каталогизация товаров в интернет-магазинах (автоматическое распознавание артикулов, цвета, типа одежды).
  • Анализ витрин и фото с камер наблюдения (подсчёт количества посетителей, распознавание эмоций).
  • Проверка содержимого рекламных объявлений на соответствие требованиям бренда.
  • Медиа и развлечения:
  • Автоматическое тегирование миллионов фотографий в новостных редакциях и фотостоках.
  • Фильтрация неподобающего контента (насилие, порнография) на платформах (например, в видеохостингах и сайтах знакомств).
  • Извлечение текстов из скриншотов видеоигр.
  • Медицина и наука:
  • Автоматический анализ медицинских снимков (рентген, МРТ) для поиска аномалий (интеграция с другими специализированными моделями).
  • Распознавание почерка врачей (хотя точность для медицинского почерка остаётся низкой).
  • Социальные сети и HR:
  • Автоматическая модерация аватарок и постов.
  • Анализ опросов и эмоций в маркетинговых исследованиях.
  • Помощь слабовидящим людям (приложения, которые описывают окружающее пространство).
  • Образование:
  • Автоматическая проверка расписаний на сканированных листах.
  • Извлечение текста из учебников.
  • Идентификация предметов на учебных фотографиях (ботаника, зоология).

Стоимость

Стоимость использования API зависит от количества запросов и применяемых функций. Google предлагает два основных уровня:

  • Бесплатный уровень: предоставляет 1000 запросов в месяц по каждому из базовых методов (Label Detection, Face Detection, OCR) бесплатно.
  • Платный уровень: после исчерпания бесплатных лимитов оплата взимается за каждую 1000 запросов. Стоимость варьируется: методы Label Detection и OCR — около 1.50 долларов за 1000 запросов (по состоянию на середину 2023 года), Face Detection — дороже. Safe Search Detection — дешевле. Для методов на основе больших моделей (Caption Generation) цена может быть выше (например, от 1.50 до 10 долларов за 1000 запросов). Существуют опции скидок при оплате заранее (Commit Use Discounts) и для больших объёмов (зонально).

Источники

  1. Документация Google Cloud Vision API — официальная справочная документация, включающая описание всех методов, атрибутов, ограничений и примеров запросов.
  2. Google Cloud Vision AI — обзорная страница сервиса на сайте Google Cloud (описание, ценообразование, примеры кода).
  3. «Building Machine Learning Pipelines» (Hannes Hapke, Catherine Nelson) — книга об архитектуре ML-пайплайнов, включая облачные сервисы анализа изображений.
  4. «Machine Learning Yearning» (Andrew Ng) — практическое руководство по проектированию ML-систем, где рассматриваются примеры применения Vision API.
  5. Прес-релиз Google о запуске Cloud Vision API (2016 год) — официальный анонс с указанием начальных возможностей и партнёров.

BFOmetr — база данных и аналитика по компаниям России.

На главную BFOmetr →

Похожие материалы