CSV-формат¶
CSV (от англ. Comma-Separated Values, «значения, разделённые запятыми») — текстовый формат хранения табличных данных, в котором значения полей разделяются разделителем (обычно запятой), а строки — переводом строки. Каждая строка файла представляет собой одну запись таблицы, поля которой записаны в определённом порядке. Формат не имеет единого строгого стандарта, но наиболее распространённой является спецификация RFC 4180 (2005), а также её производные варианты.
¶История
CSV-формат возник в 1970-х годах в среде мейнфреймов IBM — первые упоминания разделённых запятыми файлов относятся к системам IBM 1401 и их программному обеспечению для обработки данных. Позднее формат получил широкое распространение в персональных компьютерах: в 1980-х годах CSV стал стандартным способом обмена данными между электронными таблицами (Lotus 1-2-3, Microsoft Excel) и базами данных.
В 2005 году организация IETF опубликовала стандарт RFC 4180, описывающий структуру CSV-файлов. Стандарт фиксирует основные правила: поля разделяются запятыми, записи — переводом строки (CRLF), а поля, содержащие запятые, кавычки или переводы строк, заключаются в двойные кавычки. RFC 4180 стал основой для большинства современных реализаций формата.
¶Структура файла
CSV-файл представляет собой последовательность строк, каждая из которых содержит одно или несколько полей. Минимальный пример:
`` Имя,Фамилия,Возраст Иван,Петров,34 Анна,Сидорова,28 ``
Первая строка часто (но не всегда) содержит заголовки столбцов. Данные начинаются со следующей строки.
¶Правила записи полей
- Поля разделяются запятой (
,). - Записи разделяются переводом строки (в стандарте — CRLF, в большинстве реализаций допускается и LF).
- Поле может быть заключено в двойные кавычки (
"). Кавычки обязательны, если поле содержит запятую, кавычку, перевод строки или ведущие/хвостовые пробелы. - Двойная кавычка внутри кавычкованного поля записывается как две подряд (
""). - Пустое поле записывается как два разделителя подряд.
Пример поля со вложенными кавычками:
`` "ООО ""Ромашка"", Москва" ``
¶Разделители и кодировки
Хотя запятая является стандартным разделителем, на практике используются и другие варианты:
| Разделитель | Область применения | |
|---|---|---|
Запятая (,) | Стандарт RFC 4180, США, международный обмен | |
Точка с запятой (;) | Европейские версии Excel, где запятая используется как десятичный разделитель | |
Табуляция (\t) | TSV-файлы (Tab-Separated Values) | |
| Вертикальная черта (`\ | `) | Экспорт из ряда СУБД, конфигурационные файлы |
Кодировка также не унифицирована. В России и Европе исторически распространена Windows-1251, в международном обмене — UTF-8 (часто с BOM — маркером порядка байтов, который помогает Excel корректно определить кодировку). Отсутствие единой кодировки — одна из основных проблем совместимости CSV-файлов.
¶Применение
CSV-формат используется в самых разных областях:
- Обмен данными между программами. Почти все СУБД (PostgreSQL, MySQL, SQLite, Microsoft SQL Server) поддерживают экспорт и импорт CSV. Формат служит «универсальным адаптером» между системами с разными внутренними представлениями данных.
- Загрузка данных в аналитические системы. Инструменты бизнес-аналитики и визуализации (Tableau, Power BI, Google Data Studio) принимают CSV как один из базовых форматов.
- Научные данные. В биоинформатике, статистике и обработке данных CSV широко используется как формат хранения наблюдений и результатов экспериментов.
- Конфигурация и списки. CSV применяется для хранения списков пользователей, адресов, товаров и других структурированных данных.
¶Достоинства и ограничения
К достоинствам формата относятся простота, читаемость человеком, поддержка практически всеми программами и независимость от платформы. CSV-файл можно открыть в текстовом редакторе, таблице или обработать скриптом на любом языке программирования.
К ограничениям относятся отсутствие единого стандарта (разные реализации могут по-разному трактовать кавычки, разделители и кодировки), невозможность представить иерархические данные без потери структуры, отсутствие встроенного описания типов полей и поддержки схемы. Для сложных структур данных CSV часто заменяют на JSON, XML или форматы с описанием схемы (Avro, Parquet).
¶Пример обработки
Наиболее распространённый способ чтения CSV-файлов в Python — стандартный модуль csv:
```python import csv
with open('data.csv', encoding='utf-8') as f: reader = csv.reader(f, delimiter=';') for row in reader: print(row) ```
Аналогичные возможности есть в стандартных библиотеках PHP, Perl, Java, C# и других языков.
¶Источники
- RFC 4180. Common Format and MIME Type for Comma-Separated Values (CSV) Files, IETF, 2005
- Tantau H. Comma-Separated Values (CSV) File Format // The OpenOffice.org Documentation Project
- Microsoft Excel Documentation. Importing and Exporting Text Files
- PostgreSQL Documentation. COPY — COPY data between a file and a table
