Инженерия данных
Kafka, Spark, Airflow, dbt, Parquet, CDC, data warehouse и lakehouse. Как устроены современные data-платформы.
Data-платформы объединяют ingestion, хранение, трансформации и аналитику. Раздел покрывает потоковую обработку, оркестрацию пайплайнов, форматы вроде Parquet и эволюцию от warehouse к lakehouse.
Материалы для инженеров данных и backend-разработчиков, которые строят ETL/ELT, репликацию через CDC и витрины для BI или ML.
Начните с data lakehouse, Apache Kafka и data warehouse — это каркас большинства корпоративных стеков.
С чего начать
Термины в теме (10)
Частые вопросы
Чем data warehouse отличается от data lake?
Warehouse — структурированные витрины под SQL и BI. Data lake хранит сырые файлы (Parquet, JSON) дешевле и гибче. Lakehouse объединяет оба подхода (Delta Lake, Iceberg).
Зачем Kafka в data-платформе?
Kafka — шина событий для потоковой доставки данных между сервисами, CDC и real-time пайплайнами. Даёт буфер, replay и масштабирование потребителей.
Что такое CDC и когда его включают?
Change Data Capture передаёт изменения из OLTP-базы в аналитику без тяжёлых batch-выгрузок. Нужен для актуальных дашбордов и синхронизации витрин.