Data Engineer от нула до Junior - безплатен курс от Skillbox, обучение, Дата: 29 ноември 2023 г.
разни / / November 30, 2023
За начинаещи
Научете Python и SQL от нулата. Научете се да събирате, анализирате и обработвате данни. Решете проблеми въз основа на реални случаи и ги добавете към портфолиото си. Можете да започнете кариера в Data Engineering, докато учите.
За програмисти
Подобрете познанията си по SQL за работа с бази данни. Ще преминете през целия път на инженер по данни от събирането на необработени данни до внедряването на модела. Опитът в програмирането ще ви помогне бързо да разберете нова професия и да промените сферата си.
За начинаещи анализатори
Научете всички етапи на работа с данни. Научете се да събирате информация от различни източници, да изграждате архитектура за съхранението й и да визуализирате отчети. Вие ще можете самостоятелно да подготвите данни за последващ анализ.
Автор на курса за машинно обучение. Старши учен по данни, ръководител на екип в SberData, Sber. 5+ години в професията
Лектор на курса, R&D директор, UBIC Tech. Повече от 15 години опит в разработката
Учен по данни в Сбербанк, математик в Изчислителния център на Руската академия на науките. Блок „Основи на математиката за науката за данни“. Повече от 4 години опит в преподаването на висша математика
Първо ниво: основно обучение
Запознайте се с основните области на Data Science, обучете и внедрете първия си ML модел. Придобийте основни познания по математика, статистика и теория на вероятностите. Всичко това ще ви помогне да разберете основните принципи на работа с данни. Средният срок за завършване е 6 месеца.
Въведение в науката за данните
Ще преминете през всички етапи на работа с данни. Научете се да идентифицирате проблемите, събирайте бизнес изисквания. Ще изтеглите данни от различни източници, ще извършите проучвателен анализ и ще подготвите набора от данни за по-нататъшна употреба. Обучете и внедрите готов ML модел, опитайте се като продуктов и маркетинг анализатор. Научете как да формулирате и тествате хипотези. Овладейте основните инструменти за работа: Python, SQL, Excel, Power Bi, Airflow.
Основна математика за наука за данни
Придобийте основни познания по математика, за да работите с машинно обучение. Ще разберете какво е апроксимация, интерполация, функции, регресии, матрици и вектори. Научете се да работите с математически обекти в библиотеката SymPy Python.
Основи на статистиката и теория на вероятностите
Ще разберете принципите на работа със случайни променливи и събития. Запознайте се с някои видове разпределения и статистически тестове, които са полезни при конструиране на модели и тестване на хипотези.
Възможност за стаж
Основните знания и умения са достатъчни, за да получите стаж - можете да продължите да учите в курса и в компанията едновременно.
Второ ниво: Data Engineer Junior
Научете се да събирате сложни набори от данни, да подготвяте витрини и да изграждате конвейери за работа, да внедрявате DS проекти от нулата и да тествате код. Ще бъдете готови да работите като младши инженер по данни. Средният срок за завършване е 6 месеца.
Уводен блок
Разберете какво прави Data Engineer, каква роля играе в Data Science проект и какви са кариерните му пътища. Ще разберете как е структуриран курсът и какви теми ще изучавате.
SQL
Научете се да манипулирате данни в съществуващи таблици, да извършвате операции за вмъкване, изчистване и актуализиране. Можете да запазвате данни от базата данни в различни формати. Научете за функциите на прозореца и основите на подготовката на витрини с данни с помощта на SQL. Научете се да гарантирате правилното вмъкване на информация в режим на транзакция. Ще можете да четете и разбирате регистъра на транзакциите. Научете какво представляват индексите и архитектурата на индексите и къде се използват. Научете техники за ускоряване на заявките.
Python. LVL 2
Помислете за типовете данни, как могат да бъдат конвертирани и как Python и SQL работят заедно - получаване на данни от база данни, работа с данните и изпълнение на заявки. Научете основните концепции на JSON и XML схемите на данни. Ще можете да конфигурирате отстраняване на грешки в приложението, да пишете тестове, да анонимизирате и криптирате данни.
Библиотеки за Python
Ще научите какво представляват библиотеките за работа с графики, контролирано обучение, визуализация на метрики и източници на набори от данни. Научете се да използвате Python и библиотеки за работа с данни. Можете да продължите да учите панди.
Въздушно течение
Прегледайте ключови концепции и практики за работа с Airflow. Научете основите на архитектурата и оперативната съвместимост от UI до CLI. Изградете своя първи канал за данни.
Основи на Spark
Master Spark: научете с какви изчислителни ресурси работи, как съхранява данни и работи с памет и диск. Настройте първия си местен щанд. Научете основите на RDD: основни понятия, работа с източници, действия. Научете се да работите с API на Dataframe. Научете проблеми с производителността и оптимизацията при използване на Dataframe, източници и типове на данни, работа с валидни/невалидни данни, обработка на грешки, UDF, взаимодействие с Python и SQL.
Основи на алгоритмите за машинно обучение
Ще разберете основните типове модели за машинно обучение, ключови термини и дефиниции. Научете регресионни алгоритми и алгоритми за групиране.
Разгръщане
Научете основните етапи на подготовка на модел за внедряване, подходи за изграждане на API и начини за обработка на грешки и отстраняване на грешки в приложения. Ще можете да отстранявате проблеми с внедряването и да овладеете основните инструменти за размахване. Запознайте се с ключовите процеси на bash: писане на скриптове, работа с променливи и текстовите редактори sed и awk.
Финални проекти
След преминаване на първо ниво изгответе въвеждащ проект. В края на курса ще представите окончателната си работа.
Въведение в науката за данните
Затвърдете новите си знания върху индивидуален проект - ще преминете от зареждане на данни до внедряване на модел. Решете проблемите на инженер по данни, ML инженер и анализатор на данни, за да вземете решение за вашата специализация.
Инженер по данни
Финален проект на ниво Junior. Извършете кохортен анализ и изтеглете препратки към API. Изградете табла за управление въз основа на получените данни.
Бонус курсове
Кариера на програмист: заетост и развитие
Ще научите как да изберете подходящо свободно място, да се подготвите за интервю и да преговаряте с работодател. Ще можете бързо да получите позиция, която отговаря на вашите очаквания и умения.
Git система за контрол на версиите
Научете се да променяте кода на версията, да създавате и управлявате хранилища, клонове и да разрешавате конфликти на версии. Научете полезни правила за работа с Git.
Английски за IT специалисти
Придобийте езикови умения, които ще ви помогнат да преминете интервю с чуждестранна компания и да общувате удобно в смесени екипи.