Data Engineer - курс 89 000 rub. от Otus, обучение 4 месеца, дата 30 ноември 2023 г.
разни / / December 03, 2023
Какво ще ви даде този курс?
- Разбиране на ключовите начини за интегриране, обработка и съхранение на големи данни
- Възможност за работа с компоненти на екосистемата Hadoop, разпределено съхранение и облачни решения
- Практически умения за разработване на услуги за данни, витрини и приложения
- Познаване на принципите на организиране на мониторинг, оркестрация, тестване
Курсът е адресиран разработчици, администратори на СУБД и всички, които се стремят да подобрят професионалното си ниво, да овладеят нови инструменти и да се занимават с интересни задачи в областта на работата с данни.
След като изучавате Data Engineering, вие ще станете търсен специалист, който:
- внедрява, настройва и оптимизира инструменти за обработка на данни
- адаптира набори от данни за по-нататъшна работа и анализи
- създава услуги, които използват резултатите от обработката на големи количества данни
- отговаря за архитектурата на данните в компанията
Реални казуси: примери за внедрявания, използване на инструменти, оптимизиране на производителността, проблеми, грешки и приложени резултати
Силно практична насоченост:
По време на курса ние постепенно ще създадем работещ продукт, решаващ приложни проблеми
Цялостна картина на предизвикателствата и задачите на съвременния бизнес и ролята на Data Engineer в решаването им
Търсене сред работодателите
40 работодатели вече са готови да извикат завършилите курсове на интервю
6
курсовеИнженер по данни в Wildberries, DE Младши лектор на курса. Повече от 7 години в ИТ
Завършил Воронежския държавен университет с отличие. В момента студент в магистърската програма на HSE "Системно и софтуерно инженерство". Професионален опит - 2 години работа като Data Analyst и Data Engineer. Сега работи с 5 популярни бази данни, развива се в Python и бързо развива уменията си. Готов съм да споделя опита си.
1
добреРазвива аналитика в компанията повече от 10 години. Сред постиженията: - Изграждане на собствена система за уеб анализ от край до край; - Изграждане на аналитичен склад, базиран на MPP Vertica; - Организация на обработка на данни, базирана на Spark, Kafka, HDFS; -...
Развива аналитика в компанията повече от 10 години. Сред постиженията: - Изграждане на нашата собствена система за уеб анализи от край до край; - Изграждане на аналитичен склад, базиран на MPP Vertica; - Организация на обработка на данни, базирана на Spark, Kafka, HDFS;- Изграждане на процеси за работа с данни, включително качество на данните;- Създаване на няколко вътрешни инструмента за работа и структуриране на метаданни (Каталог на данни);- Изграждане на корпоративна система за отчетност, включително в реално време; - Повече от 5 години повишава информационната грамотност в компанията, провежда различни обучения за работа с данни, инструменти, SQL; Той също така разработи няколко аналитични лидери, които сега работят в големи компании. Основният фокус е върху разбирането на бизнес проблемите при работа с данни и тяхното решаване.
1
добреРъководител на отдел, Сбербанк 8 години опит в индустриалното развитие, включително създаване и поддръжка на уеб приложения както в големи компании, така и в стартиращи компании. 3 години развитие на разпределени системи за големи държавни...
Ръководител на отдел, Сбербанк 8 години опит в индустриалното развитие, включително създаване и поддръжка на уеб приложения както в големи компании, така и в стартиращи компании. 3 години развитие на разпределени системи за големи държавни клиенти. Реализира три проекта от нулата, от прототип до готов за индустриална употреба. В момента се занимава с full-stack разработка за вътрешни клиенти на банката, решавайки проблеми, свързани с анализ на данни и инженеринг. Опит в програмирането на Java, Scala, Python, Javascript. Широк спектър от професионални интереси, вариращи от изграждане на разпределени системи до прогнозен анализ и анализ на намеренията. Образование: Бакалавърска степен от UrFU на името на. Б.Н. Елцин „Информационни технологии“.
Архитектура на данни
-Тема 1.Инженер на данни. Задачи, умения, инструменти, нужди на пазара
-Тема 2. Архитектура на аналитични приложения: основни компоненти и принципи
-Тема 3. Локални / облачни решения
-Тема 4. Автоматизация и оркестрация на тръбопроводи – 1
-Тема 5. Автоматизация и оркестрация на тръбопроводи – 2
Data Lake
-Тема 6. Разпределени файлови системи. HDFS/S3
-Тема 7.SQL достъп до Hadoop. Apache Hive/Presto
-Тема 8. Формати за съхранение на данни и техните характеристики
-Тема 9. Анализ на дистанционно управление за 1 случай
-Тема 10. Опашки от съобщения. Преглед на Кафка.
-Тема 11.Изтегляне на данни от външни системи
-Тема 12. Apache Spark – 1
-Тема 13.Apache Spark – 2
DWH
-Тема 14.Аналитична СУБД. MPP бази данни
-Тема 15. DWH моделиране – 1. dbt основи
-Тема 16. DWH моделиране – 2. Data Vault 2.0
-Тема 17. DevOps практики в аналитични приложения. CI+CD
-Тема 18. Анализ на дистанционно управление за случай 2
-Тема 19. Качество на данните. Управление на качеството на данните
-Тема 20. Внедряване на BI решение
-Тема 21. Мониторинг / Метаданни
NoSQL/NewSQL
-Тема 22.NoSQL съхранение. Широка колона и ключ-стойност
-Тема 23.NoSQL съхранение. Ориентиран към документи
-Тема 24.ELK
-Тема 25.ClickHouse
-Тема 26. Анализ на дистанционно управление за случай 3
MLOps
-Тема 27. Организация и пакетиране на код
-Тема 28. Docker и REST архитектура
-Тема 29.MLFlow + DVC
-Тема 30. Разгръщане на модели
-Тема 31. Анализ на дистанционно управление за случай 4
-Тема 32. Анализ на дистанционно управление за случай 5
Проект за дипломиране
-Тема 33. Избор на тема и организация на работата по проекта
-Тема 34.Консултация
-Тема 35.Защита