FASTQ

FASTQ — это текстовый формат хранения биологических последовательностей (нуклеотидных или аминокислотных) и соответствующих им оценок качества (quality scores), полученных в результате секвенирования. Он является стандартным форматом для представления «сырых» (raw) данных секвенирования нового поколения (NGS — Next Generation Sequencing) и широко используется в биоинформатике, геномике, транскриптомике и метагеномике.

История

Формат FASTQ был разработан для преодоления ограничений более раннего формата FASTA, который хранил только последовательность и её идентификатор, но не содержал информации о точности каждого нуклеотида. Потребность в оценке качества возникла с появлением технологий секвенирования, генерирующих миллионы коротких прочтений (reads) с разной степенью достоверности.

Первое известное упоминание формата FASTQ относится к 1999 году, когда компания Wellcome Trust Sanger Institute (Великобритания) начала использовать его для данных, полученных с секвенаторов Solexa (позже — Illumina). В 2000-х годах, с распространением платформ Illumina, Roche 454 и SOLiD, формат FASTQ стал де-факто стандартом для хранения результатов секвенирования. В 2009 году было опубликовано неофициальное, но широко принятое описание формата (FASTQ Specification), которое стандартизировало основные правила кодирования.

Структура записи

Каждая запись в файле FASTQ состоит ровно из четырёх строк (строк), объединённых в блок:

1. Строка-идентификатор (Header line): Начинается с символа @. Содержит уникальное название прочтения и, опционально, дополнительную информацию (например, номер инструмента, координаты на проточной ячейке, индекс-последовательность). Пример: @EAS139:136:FC706VJ:2:2104:15343:197393 1:Y:18:ATCACG
2. Строка последовательности (Sequence line): Содержит собственно нуклеотидную (A, C, G, T, U) или аминокислотную последовательность. В случае нуклеотидной последовательности могут использоваться стандартные буквы IUPAC для обозначения неоднозначных позиций (например, N — любой нуклеотид, R — пурин, Y — пиримидин).
3. Строка-разделитель (Separator line): Начинается с символа +. В некоторых реализациях после + может повторяться идентификатор из первой строки, но это не является обязательным требованием. Часто строка состоит только из одного символа +.
4. Строка качества (Quality line): Содержит строку символов той же длины, что и строка последовательности. Каждый символ представляет собой закодированную оценку качества (Phred quality score) для соответствующего нуклеотида. Чем выше значение, тем выше уверенность в правильности определения основания.

Кодирование качества (Phred quality score)

Оценка качества (Q) в FASTQ вычисляется по формуле Фреда (Phred), которая изначально была разработана для программного обеспечения Phred, анализировавшего данные капиллярного секвенирования. Формула: Q = -10 × log₁₀(P), где P — вероятность ошибки при определении нуклеотида.

• Q = 10 означает вероятность ошибки 1/10 (10%).
• Q = 20 означает вероятность ошибки 1/100 (1%).
• Q = 30 означает вероятность ошибки 1/1000 (0.1%).
• Q = 40 означает вероятность ошибки 1/10000 (0.01%).

Для компактного хранения числовое значение Q (обычно от 0 до 40 или 0 до 41) преобразуется в символ ASCII путём добавления фиксированного смещения (offset). Существует несколько стандартов кодирования, которые различаются величиной смещения и, следовательно, диапазоном допустимых значений Q:

Стандарты кодирования

Важно: При работе с FASTQ-файлами необходимо точно знать, какой стандарт кодирования качества использовался, так как неправильное декодирование приведёт к ошибочным оценкам качества. Обычно информация о кодировке указывается в метаданных эксперимента или в названии файла.

Применение

FASTQ является основным форматом для хранения и обмена данными секвенирования. Он используется на всех этапах биоинформатического анализа:

1. Хранение сырых данных (Raw data): Результаты работы секвенаторов (например, Illumina, Ion Torrent, PacBio, Oxford Nanopore) сохраняются в виде FASTQ-файлов. Это исходный материал для всех последующих анализов.
2. Контроль качества (QC): Инструменты, такие как FastQC, MultiQC или Trimmomatic, анализируют FASTQ-файлы для оценки качества прочтений, выявления загрязнений (адаптеров, поли-A хвостов), GC-состава, распределения длин прочтений и других параметров.
3. Предобработка (Preprocessing): На основе данных из FASTQ-файлов выполняется обрезка (trimming) низкокачественных концов прочтений, удаление адаптеров (adapter clipping) и фильтрация прочтений с низким средним качеством.
4. Выравнивание (Alignment) и картирование (Mapping): Программы для выравнивания (например, BWA, Bowtie2, STAR) принимают на вход FASTQ-файлы и сопоставляют прочтения с референсным геномом.
5. Сборка (Assembly): De novo сборщики геномов (например, SPAdes, Velvet, SOAPdenovo) используют FASTQ-файлы для сборки последовательностей без использования референса.
6. Выявление вариантов (Variant calling): После выравнивания FASTQ-файлов на референс, инструменты (например, GATK, Samtools) анализируют качество прочтений для идентификации однонуклеотидных полиморфизмов (SNP) и инделов.

Ограничения и критика

Несмотря на широкое распространение, формат FASTQ имеет ряд недостатков:

• Отсутствие стандартизации: Существует несколько несовместимых версий кодирования качества, что может приводить к ошибкам при обработке.
• Избыточность хранения: Текстовый формат неэффективен для хранения больших объёмов данных (терабайты и петабайты). Для архивации часто используются сжатые версии (FASTQ.GZ) или более компактные бинарные форматы, такие как CRAM или BAM (хотя они хранят выровненные данные).
• Отсутствие метаданных: Внутри файла FASTQ не хранится информация о референсном геноме, параметрах секвенирования или программном обеспечении, использованном для генерации данных.
• Проблемы с длинными прочтениями: Формат изначально был разработан для коротких прочтений (до 200-300 пар оснований). Для технологий, генерирующих очень длинные прочтения (например, PacBio HiFi, Oxford Nanopore), FASTQ становится менее удобным, хотя и продолжает использоваться.

Интересные факты

• Название «FASTQ» образовано от «FASTA» (формат для последовательностей) и «Quality» (качество).
• Символы в строке качества, соответствующие низким значениям Q (например, ! для Q=0), могут быть невидимыми или отображаться как пробелы в некоторых текстовых редакторах, что затрудняет визуальный контроль.
• В 2020-х годах предпринимались попытки создать новый стандарт — FAST5 (для данных Oxford Nanopore) и SRA (Sequence Read Archive) в формате BAM, но FASTQ остаётся доминирующим форматом для обмена данными.

Источники

1. Cock, P. J. A., Fields, C. J., Goto, N., Heuer, M. L., & Rice, P. M. (2010). The Sanger FASTQ file format for sequences with quality scores, and the Solexa/Illumina FASTQ variants. Nucleic Acids Research, 38(6), 1767–1771.
2. Ewing, B., & Green, P. (1998). Base-calling of automated sequencer traces using phred. II. Error probabilities. Genome Research, 8(3), 186–194.
3. Li, H., Handsaker, B., Wysoker, A., Fennell, T., Ruan, J., Homer, N., ... & Durbin, R. (2009). The Sequence Alignment/Map format and SAMtools. Bioinformatics, 25(16), 2078–2079.
4. Andrews, S. (2010). FastQC: a quality control tool for high throughput sequence data. Babraham Institute.
5. Bolger, A. M., Lohse, M., & Usadel, B. (2014). Trimmomatic: a flexible trimmer for Illumina sequence data. Bioinformatics, 30(15), 2114–2120.