Мы строим корпоративную дата‑платформу следующего уровня — новый сервис с амбициозной задачей: трансформировать наработки компании в единое стандартизированное решение для работы с данными. Отказываемся от легаси, проектируем архитектуру заново, сохраняем лучшее (например, Apache Spark) и постепенно переносим существующие пайплайны на новую платформу.
Начинать с нуля — не значит «с чистого листа». Это возможность заложить фундамент, который будет надёжным, масштабируемым и понятным десяткам инженерных команд. Именно сейчас мы переопределяем техстек, архитектурные подходы и процессы — и сейчас у тебя есть шанс поучаствовать в запуске платформы, куда будут стекаться все корпоративные данные.
Что предстоит делать
- Разрабатывать с нуля MVP новой дата‑платформы и инфраструктуры для ingest/transform.
- Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse).
- Работать с большими объёмами данных и высоконагруженными Kafka‑топиками.
- Строить отказоустойчивые пайплайны обработки и доставки данных.
- Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных.
- Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP).