CSV

CSV (от англ. Comma-Separated Values — значения, разделённые запятыми) — это текстовый формат представления табличных данных, в котором строки таблицы соответствуют строкам текста, а значения в строках разделяются определённым символом-разделителем, чаще всего запятой. CSV является одним из наиболее распространённых и простых способов обмена данными между различными программами, базами данных и электронными таблицами, не зависящим от конкретного программного обеспечения или платформы.

История

Формат CSV начал использоваться в 1970-х годах для переноса данных между мейнфреймами и персональными компьютерами. Его распространение тесно связано с развитием электронных таблиц. Программа VisiCalc (1979) и её преемник Lotus 1-2-3 (1983) использовали собственные форматы для экспорта и импорта данных, которые по сути были предшественниками CSV. Однако широкое признание формат получил с выходом Microsoft Excel в 1985 году, который ввёл поддержку CSV как стандартного способа обмена данными с другими приложениями.

В 2005 году был опубликован стандарт RFC 4180 (Request for Comments 4180), формализовавший формат CSV. До этого времени существовало множество неофициальных и несовместимых реализаций, что приводило к проблемам с кодировкой, разделителями и обработкой специальных символов. RFC 4180 определил базовые правила: разделитель — запятая, строки разделяются символами перевода строки (CR+LF), значения, содержащие запятые, кавычки или переводы строк, заключаются в двойные кавычки, а двойные кавычки внутри таких значений экранируются удвоением.

Структура и синтаксис

Файл CSV представляет собой обычный текстовый файл, каждая строка которого соответствует одной записи (строке таблицы). Значения в строке разделяются символом-разделителем. Стандарт RFC 4180 предписывает использовать запятую, однако на практике часто применяются и другие символы, особенно в локализованных версиях программного обеспечения.

Основные правила (по RFC 4180)

1. Каждая строка файла содержит одну запись.
2. Последняя запись может не иметь завершающего перевода строки.
3. Первая строка может содержать заголовки столбцов (необязательно).
4. Значения разделяются запятыми. Пробелы до или после запятой считаются частью значения, если значение не заключено в кавычки.
5. Если значение содержит запятую, двойную кавычку или перевод строки, оно должно быть заключено в двойные кавычки.
6. Если значение заключено в кавычки, двойная кавычка внутри него представляется двумя последовательными двойными кавычками.

Пример

Текст в формате CSV (с разделителем-запятой): `` Имя,Возраст,Город Иван,30,Москва Мария,25,"Санкт-Петербург" Пётр,"35","Краснодар, ул. Ленина, 10" `` В этом примере:

• Первая строка — заголовки.
• Вторая строка — запись с тремя простыми значениями.
• Третья строка — значение «Санкт-Петербург» заключено в кавычки, так как содержит дефис (необязательно, но допустимо).
• Четвёртая строка — значение «35» заключено в кавычки (необязательно), а значение «Краснодар, ул. Ленина, 10» обязательно заключено в кавычки, так как содержит запятую.

Разновидности и диалекты

Из-за отсутствия единого стандарта до RFC 4180 и особенностей локализации программного обеспечения существует множество диалектов CSV. Наиболее распространённые различия касаются символа-разделителя и кодировки.

Разделители

• Запятая (,) — стандартный разделитель, используемый в англоязычных странах.
• Точка с запятой (;) — часто используется в странах, где запятая является десятичным разделителем (например, в России, Германии, Франции). Программы, такие как Microsoft Excel, в локализованных версиях по умолчанию используют точку с запятой.
• Табуляция (\t) — формат TSV (Tab-Separated Values). Используется, когда данные могут содержать запятые и точки с запятой, но редко содержат табуляцию.
• Вертикальная черта (|) — иногда используется для упрощения синтаксического анализа.

Кодировка

• ASCII — базовый набор символов.
• UTF-8 — современный стандарт, поддерживающий все символы Юникода. Рекомендуется для обмена данными.
• Windows-1251 (CP1251) — часто использовалась в российском программном обеспечении для кириллицы.
• UTF-16 — реже, но встречается, особенно в среде Windows.

Другие вариации

• Наличие или отсутствие строки заголовков.
• Обработка пробелов после разделителя (многие программы игнорируют их, другие считают частью значения).
• Использование обратной косой черты (\) для экранирования кавычек вместо их удвоения.

Применение

CSV широко используется в различных областях благодаря своей простоте и универсальности.

Обмен данными между программами

• Электронные таблицы: Microsoft Excel, Google Sheets, LibreOffice Calc поддерживают импорт и экспорт CSV.
• Базы данных: Большинство СУБД (MySQL, PostgreSQL, SQLite) позволяют импортировать и экспортировать данные в формате CSV.
• Статистические пакеты: R, Python (с библиотеками pandas, csv), SPSS, Stata могут читать и записывать CSV-файлы.

Веб-разработка и программирование

• CSV часто используется для экспорта данных из веб-приложений (например, списков заказов, пользователей, отчётов).
• Многие API (интерфейсы программирования приложений) предоставляют данные в формате CSV наряду с JSON и XML.
• Библиотеки для работы с CSV существуют практически во всех языках программирования (Python, Java, C++, PHP, JavaScript).

Научные исследования

• CSV является популярным форматом для хранения и обмена экспериментальными данными, особенно в области биоинформатики, физики и социологии.
• Многие научные репозитории и базы данных (например, Kaggle, UCI Machine Learning Repository) предоставляют наборы данных в формате CSV.

Финансы и бухгалтерия

• Банковские выписки, отчёты о транзакциях, данные о платежах часто экспортируются в CSV.
• Бухгалтерские программы (1С, SAP) поддерживают импорт и экспорт CSV для обмена данными с другими системами.

Преимущества и недостатки

Преимущества

• Простота: CSV-файлы можно создавать и редактировать в любом текстовом редакторе.
• Человекочитаемость: Данные легко просматриваются и понимаются без специального программного обеспечения.
• Универсальность: Поддерживается практически всеми программами для работы с данными.
• Компактность: CSV-файлы обычно занимают меньше места, чем форматы XML или JSON, особенно при большом количестве записей.
• Стандартизация: Наличие RFC 4180 упрощает разработку парсеров и обмен данными.

Недостатки

• Отсутствие типов данных: Все значения хранятся в виде строк. Числа, даты и логические значения не имеют явного типа, что может приводить к ошибкам при импорте.
• Проблемы с кодировкой: Различия в кодировках могут приводить к искажению текста, особенно при использовании кириллицы или других не-ASCII символов.
• Неоднозначность: Множество диалектов и отсутствие строгого соблюдения стандарта могут вызывать проблемы совместимости между разными программами.
• Отсутствие поддержки сложных структур: CSV не поддерживает вложенные структуры данных (например, списки или объекты внутри одной ячейки), что делает его непригодным для представления иерархических данных.
• Проблемы с большими числами: В некоторых программах (например, Microsoft Excel) длинные числа (например, идентификаторы) могут автоматически преобразовываться в экспоненциальный формат, что приводит к потере точности.

Критика и альтернативы

Основная критика CSV связана с его неоднозначностью и отсутствием встроенной поддержки типов данных. Для решения этих проблем были разработаны альтернативные форматы:

• JSON (JavaScript Object Notation) — поддерживает вложенные структуры и типы данных (числа, строки, логические значения, массивы, объекты). Широко используется в веб-разработке.
• XML (Extensible Markup Language) — более строгий и расширяемый формат, поддерживающий схемы данных (XSD) и пространства имён. Часто используется в корпоративных системах.
• Parquet и Avro — бинарные форматы, оптимизированные для хранения и обработки больших объёмов данных в системах больших данных (Hadoop, Spark). Они поддерживают сжатие, типы данных и схемы.
• YAML (YAML Ain't Markup Language) — формат, ориентированный на человека, поддерживающий сложные структуры и комментарии.

Несмотря на критику, CSV остаётся одним из самых распространённых форматов для простого обмена табличными данными благодаря своей простоте, универсальности и широкой поддержке.

Интересные факты

• Название «CSV» иногда расшифровывается как «Character-Separated Values» (значения, разделённые символом), что более точно отражает суть формата, учитывая множество возможных разделителей.
• В 2014 году была опубликована спецификация W3C «Model for Tabular Data and Metadata on the Web», которая предлагает стандартизированный способ описания структуры и типов данных в CSV-файлах с помощью метаданных (JSON-схемы).
• Microsoft Excel при открытии CSV-файла может автоматически определять разделитель на основе региональных настроек системы, что часто приводит к неожиданному поведению при обмене файлами между пользователями из разных стран.

Источники

1. RFC 4180 — Common Format and MIME Type for Comma-Separated Values (CSV) Files. IETF, 2005.
2. Shafranovich, Y. (2005). «Common Format and MIME Type for Comma-Separated Values (CSV) Files». RFC Editor.
3. W3C. (2015). «Model for Tabular Data and Metadata on the Web». World Wide Web Consortium.
4. Microsoft. (2023). «Import or export text (.txt or .csv) files». Microsoft Support.
5. Python Software Foundation. (2023). «csv — CSV File Reading and Writing». Python Documentation.