Full-Stack Data Engineering
Комплексна програма з інженерії даних для розробників-світчерів та спеціалістів по роботі з даними
Full-Stack Data Engineering
Огляд програми
Сьогодні кожен бізнес — data driven. Попит на спеціалістів по роботі з даними лише зростає. Саме тому ми розробили цю програму — мікромагістратуру з фундаментальними знаннями про зберігання, обробку і отримання даних.
Протягом 3 місяців ви опануєте всі основні напрямки роботи — від запитів у SQL до координації та моніторингу. Для кожного ми обрали найбільш топові та затребувані інструменти. Їх успішне опанування дозволить зайти у сферу, закріпитися в ній, або ж систематизувати свої знання в трендовому технологічному напрямку.
ЩО ВИ ВИВЧИТЕ
ВИМОГИ ДО УЧАСНИКІВ
базове розуміння Python
базове розуміння SQL
базове розуміння Docker
знання англійської не нижче B1
ОСВІТНІ МОДУЛІ
Модуль 0. Пререквізити та вступ в інженерію даних
Цей модуль присвячено ознайомленню з ключовими поняттями інженерії даних та структуризації знань:
- інтро у дата-інженерію: чому це не просто бекенд
- Python: масиви, класи, функції
- SQL, реляційні СУБД (RDBMS), запити
- Docker: контейрени, образи, контроль версій
Модуль 1. Зберігання даних
У цьому модулі ви ознайомитеся з основними принципами зберігання даних:
- Види баз даних і ключові відмінності
- Реляційні БД (SQL)
- Нереляційні БД (NoSQL)
- Формати даних і зберігання в об'єктних сховищах
- Data Modeling
Модуль 2. Обробка даних
Цей модуль присвячено основним підходам та інструментам обробки даних:
- Потокова обробка (Stream)
- Пакетна обробка (Batch)
- Використання інструменту PySpark
- Spark SQL
Модуль 3. Отримання даних
На цьому модулі ви навчитеся збирати та організовувати дані з різних джерел:
- Організація даних на файлових системах та об'єктних сховищах
- Інструменти для збору даних пакетної обробки (PySpark, airbyte)
- Основи REST API
- Потік подій
Модуль 4. Координація та моніторинг
У цьому модулі ви дізнаєтеся, навіщо і як оркеструвати, координувати і моніторити дані за допомогою різних інструментів
- Робота з Airflow: скрипти DAG, вузли, параметри
- Інструмент для моніторингу Prometheus
- Інструмент візуалізації Grafana
Куратор та викладач
Дмитро Приймак
Інженер з більш ніж 10-річним професійним досвідом у проектуванні та створенні систем для розподіленої обробки даних. Протягом кар’єри Дмитро працював над численними проектами, що охоплюють сфери страхування, охорони здоров’я, обробки медичних даних, онлайн-медіа та розваг. В останні роки змістив свій фокус з виключно інжинірингу на керівництво командами та наставництво/коучинг.
Дмитро також є запрошеним викладачем в SET University, де викладає курс Big Data на магістерських програмах.
Максим Івашура
Досвідчений sr.DB/DWH інженер з більш ніж 30-річним досвідом роботи у сфері баз даних та складів даних. Працює в Intellias Spain, де виступає у ролях ментора та технічного інтерв’юера. Максим є автором системи обліку StoreOff і має великий досвід роботи з різними системами управління базами даних, включно з MS SQL Server (а також SSAS, SSIS), Azure DB, PostgreSQL, Redshift, Snowflake, а також менш традиційними системами, такими як Firebird/InterBase, MySQL, Oracle, SQLight, MS Access, DBase, DataEase, DuckDB, MongoDB та Redis. Базується у Харкові, Україна та Малазі, Іспанія.
Христина Коколюс
Досвідчена Data Engineer у SoftServe з більш ніж 4-річним досвідом у проєктуванні та створенні data-пайплайнів. У своїй роботі Христина спеціалізується на оптимізації SQL-запитів, удосконаленні процесів обробки даних і підвищенні продуктивності систем. Завдяки глибокій експертизі в побудові ефективних робочих середовищ, вона допомагає командам масштабуватися та впроваджувати кращі практики у сфері аналітики даних.
Sirojiddin Dushaev
Експерт з Data Engineering та BI з багаторічним досвідом у створенні масштабованих рішень для роботи з даними. Спеціалізується на архітектурі баз даних, побудові сховищ даних та розробці бізнес-аналітики. Володіє хмарними платформами AWS, GCP, Azure, а також технологіями обробки великих даних, зокрема Apache Spark та Kafka. Майстерно працює з SQL, Python та розгортанням моделей машинного навчання. Пристрасний прихильник data-driven підходів та оптимізації аналітичної інфраструктури. Полюбляє працювати в команді для підвищення ефективності обробки даних та бізнес-аналітики.
ПЕРЕВАГИ
Програма надає необхідні навички та знання для старту карʼєри в одному з найзатребуваніших напрямів в ІТ
гнучкий формат навчання, який можна поєднувати з full-time роботою
вас навчають експерти-практики, які нададуть релевантні фідбеки та якісну підтримку під час навчання
ДЛЯ КОГО
Розробники, які прагнуть розвиватися в напрямі інженерії даних
Data Scientists та Data Analysts, які прагнуть перейти на позицію Data Engineer
Junior Data Engineers, які хочуть систематизувати свої знання та ефективно використовувати інструменти по роботі з даними
Досвідчені технічні спеціалісти, яким потрібно зрозуміти/опанувати інженерію даних для ведення проєктів, створення архітектур та загального розширення компетенцій у цьому технологічному напрямку
Досвідчені технічні спеціалісти, яким потрібно розширити компетенції для ведення проєктів та створення архітектур
FAQ
Я вже працюю як дата-інженер, чи є сенс йти на ваш курс?
Якщо ви працюєте на цій позиції рік або менше — так, адже на цьому курсі ви зможете структурувати знання та заповнити пробіли у володінні певними інструментами.
Дізнайтесь детальніше про програму SET University
