Data Engineering 101
Комплексна програма з інженерії даних для розробників-світчерів та спеціалістів по роботі з даними
Data Engineering 101
Огляд програми
Сьогодні кожен бізнес — data driven. Попит на спеціалістів по роботі з даними лише зростає. Саме тому ми розробили цю програму — мікромагістратуру з фундаментальними знаннями про зберігання, обробку і отримання даних.
Протягом 3 місяців ви вчитиметеся роботі з даними — від запитів у SQL до координації та моніторингу. Після навчання зможете претендувати на позицію Junior Data Engineer (якщо ви світчер), або закріпитися у цій ролі (якщо ви вже in).
ЩО ВИ ВИВЧИТЕ
ВИМОГИ ДО УЧАСНИКІВ
базове розуміння Python
базове розуміння SQL
базове розуміння Docker
знання англійської не нижче B1
ОСВІТНІ МОДУЛІ
Модуль 0. Пререквізити та вступ в інженерію даних
Цей модуль присвячено ознайомленню з ключовими поняттями інженерії даних та структуризації знань:
- інтро у дата-інженерію: чому це не просто бекенд
- Python: масиви, класи, функції
- SQL, реляційні СУБД (RDBMS), запити
- Docker: контейрени, образи, контроль версій
Модуль 1. Зберігання даних
У цьому модулі ви ознайомитеся з основними принципами зберігання даних:
- Види баз даних і ключові відмінності
- Реляційні БД (SQL)
- Нереляційні БД (NoSQL)
- Формати даних і зберігання в об'єктних сховищах
- Data Modeling
Модуль 2. Обробка даних
Цей модуль присвячено основним підходам та інструментам обробки даних:
- Потокова обробка (Stream)
- Пакетна обробка (Batch)
- Використання інструменту PySpark
- Spark SQL
Модуль 3. Отримання даних
На цьому модулі ви навчитеся збирати та організовувати дані з різних джерел:
- Організація даних на файлових системах та об'єктних сховищах
- Інструменти для збору даних пакетної обробки (PySpark, airbyte)
- Основи REST API
- Потік подій
Модуль 4. Координація та моніторинг
У цьому модулі ви дізнаєтеся, навіщо і як оркеструвати, координувати і моніторити дані за допомогою різних інструментів
- Робота з Airflow: скрипти DAG, вузли, параметри
- Інструмент для моніторингу Prometheus
- Інструмент візуалізації Grafana
Куратор та викладач
Дмитро Приймак
Інженер з більш ніж 10-річним професійним досвідом у проектуванні та створенні систем для розподіленої обробки даних. Протягом кар’єри Дмитро працював над численними проектами, що охоплюють сфери страхування, охорони здоров’я, обробки медичних даних, онлайн-медіа та розваг. В останні роки змістив свій фокус з виключно інжинірингу на керівництво командами та наставництво/коучинг.
Дмитро також є запрошеним викладачем в SET University, де викладає курс Big Data на магістерських програмах.
Максим Івашура
Досвідчений sr.DB/DWH інженер з більш ніж 30-річним досвідом роботи у сфері баз даних та складів даних. Працює в Intellias Spain, де виступає у ролях ментора та технічного інтерв’юера. Максим є автором системи обліку StoreOff і має великий досвід роботи з різними системами управління базами даних, включно з MS SQL Server (а також SSAS, SSIS), Azure DB, PostgreSQL, Redshift, Snowflake, а також менш традиційними системами, такими як Firebird/InterBase, MySQL, Oracle, SQLight, MS Access, DBase, DataEase, DuckDB, MongoDB та Redis. Базується у Харкові, Україна та Малазі, Іспанія.
ПЕРЕВАГИ
Програма надає необхідні навички та знання для старту карʼєри в одному з найзатребуваніших напрямів в ІТ
гнучкий формат навчання, який можна поєднувати з full-time роботою
вас навчають експерти-практики, які нададуть релевантні фідбеки та якісну підтримку під час навчання
ДЛЯ КОГО
Розробники, які прагнуть розвиватися в напрямі інженерії даних
Data Scientists та Data Analysts, які прагнуть перейти на позицію Data Engineer
Junior Data Engineers, які хочуть систематизувати свої знання та ефективно використовувати інструменти по роботі з даними
FAQ
Я вже працюю як дата-інженер, чи є сенс йти на ваш курс?
Якщо ви працюєте на цій позиції рік або менше — так, адже на цьому курсі ви зможете структурувати знання та заповнити пробіли у володінні певними інструментами.
Дізнайтесь детальніше про програму SET University
