MLOps - курс 80 000 rub. от Otus, обучение 5 месеца, дата 30 ноември 2023 г.
разни / / November 30, 2023
Ще овладеете всички необходими умения за машинно обучение за поточно предаване на данни и разпределени среди. Програмата включва необходимите знания от областта на Data Science и Data Engineering, които ще ви позволят да обработвате големи данни и да пишете разпределени алгоритми в Spark.
Ще практикувате всеки модул, като попълвате домашна работа. В края на обучението ще имате окончателен проект, който ще ви позволи да обобщите всички знания, които сте придобили, и да ги добавите към портфолиото си. Може да се направи като част от работни задачи на вашия набор от данни или да бъде проект за обучение, базиран на данни, предоставени от OTUS.
За кого е този курс?
За специалисти по машинно обучение или софтуерни инженери, които искат да се научат как да работят с големи данни. Обикновено такива задачи съществуват в големи ИТ компании с мащабен дигитален продукт.
За специалисти по данни, които искат да укрепят своя набор от умения с инженерни умения. Благодарение на курса ще можете да обработвате данни и самостоятелно да показвате резултатите от ML решенията в производството.
За да научите, ще ви трябват основни умения за наука за данни. Предлагаме ви да разгледате Картата на курсовете по Data Science в OTUS, за да разберете необходимото ниво на обучение.
Ще се научиш:
- Използвайте стандартни ML инструменти за конвейер в разпределена среда;
- Разработете свои собствени блокове за ML тръбопроводи;
- Адаптиране на ML алгоритми към разпределени среди и инструменти за големи данни;
- Използвайте Spark, SparkML, Spark Streaming;
- Разработване на алгоритми за подготовка на поточни данни за машинно обучение;
- Осигуряване на качествен контрол на всички етапи от пускането на ML решения в индустриална експлоатация.
Търсене на специалисти
Уменията, които ще овладеете, са максимално приложни и перспективни. На пазара се появяват все повече дигитални продукти, чието разработване изисква работа с големи данни и обработка на потоци. Още сега специалисти с такъв набор от умения и известен трудов стаж могат да се класират за заплата от 270 хиляди. рубли Друга тенденция - автоматизацията на процесите на обучение и валидиране, напротив, по някакъв начин обезценява работата на класически Data Scientist. Всичко се движи към момента, в който дори и неспециалист може да направи фит-прогноза. Следователно тези, които имат поне повърхностни инженерни умения, вече са на първо място.
Характеристики на курса
Много практика за работа с данни
Широка гама от умения от разпределена ML и обработка на поточни данни до продукция
Текущи инструменти и технологии: Scala, Spark, Python, Docker
Комуникация на живо с експерти чрез уебинари и чат в Slack
4
курсАнгажиран в разработването на екип за наука за данни, който предоставя функционалност, базирана на машинно обучение, за продуктите и услугите на компанията. Като Data Scientist той участва в разработването на Kaspersky MLAD и MDR AI Analyst. В...
Ангажиран в разработването на екип за наука за данни, който предоставя функционалност, базирана на машинно обучение, за продуктите и услугите на компанията. Като Data Scientist той участва в разработването на Kaspersky MLAD и MDR AI Analyst. Като C++ разработчик участва в създаването на MaxPatrol SIEM.От години преподава компютър. научни дисциплини в MSTU GA Автор на поредица от доклади за управление и разработка на проекти на ML, C++, DS екипи. Член на компютърната конференция C++ Русия. Програмен мениджър
8
курсове20+ години опит в проекти за разработка по поръчка в ИТ. Десетки успешни проекти, включително и по държавни поръчки. Опит в разработката и внедряването на ERP системи, решения с отворен код, поддръжка на високонатоварени приложения. Преподавател на курсове по...
20+ години опит в проекти за разработка по поръчка в ИТ. Десетки успешни проекти, включително и по държавни поръчки. Опит в разработката и внедряването на ERP системи, решения с отворен код, поддръжка на високонатоварени приложения. Преподавател на курсове по Linux, Kuber, MLOps, DataOps, SolutionArchitect, IaC, SRE, както и ментор на курса HighLoad
1
добреСпециалист по работа с големи данни и машинно обучение. В продължение на 8 години работи в Odnoklassniki.ru. Ръководи екипа на OK Data Lab (лаборатория за изследователи в областта на големи данни и машинни...
Специалист по работа с големи данни и машинно обучение. В продължение на 8 години работи в Odnoklassniki.ru. Ръководи екипа на OK Data Lab (лаборатория за изследователи в областта на големите данни и машинното обучение). Анализът на големи данни в Odnoklassniki се превърна в уникален шанс за комбиниране на теоретично обучение и научна основа с разработването на реални, търсени продукти. От 2019 г. работи в Сбербанк като управляващ директор. Действа като лидер на клъстера за разработване на платформа за препоръчителни системи в направление за масова персонализация. Завършва Държавния университет в Санкт Петербург през 2004 г., където през 2007 г. защитава докторска степен по формални логически методи. Работих в аутсорсинга почти 9 години, без да загубя връзка с университетската и научна среда.
Основно въведение в началото на курса
-Тема 1. Градиентно спускане и линейни модели
-Тема 2. Преглед на основните методи и показатели за машинно обучение
-Тема 3. Еволюция на подходите за работа с данни
-Тема 4. Основи на програмирането в Scala
Технологични основи на разпределената обработка на данни
-Тема 5. Разпределени файлови системи
-Тема 6. Мениджъри на ресурси в разпределени системи
-Тема 7. Еволюция на масивни паралелни и разпределени изчислителни рамки
-Тема 8. Основи на Apache Spark 1
-Тема 9. Основи на Apache Spark 2
Основи на разпределения ML
-Тема 10. Трансфер на ML алгоритми в разпределена среда
-Тема 11.ML в Apache Spark
-Тема 12. Разработване на ваши собствени блокове за SparkML
-Тема 13. Оптимизация на хиперпараметри и AutoML
Поточна обработка
-Тема 14. Поточна обработка на данни
-Тема 15. Библиотеки на трети страни за използване със Spark
-Тема 16. Spark Streaming
-Тема 17. Структуриран и непрекъснат стрийминг в Spark
-Тема 18. Алтернативни рамки за стрийминг
Поставяне на цели и анализ на резултатите
-Тема 19. Определяне на целта на ML проекта и предварителен анализ
-Тема 20. Дългосрочни ML цели, използвайки примера на задачата за намаляване на оттока
-Тема 21.A/B тестване
-Тема 22. Допълнителни теми
Извеждане на резултати от ML в производството
-Тема 23. Подходи за внедряване на ML решения в производство
-Тема 24. Версиониране, възпроизводимост и мониторинг
-Тема 25.Онлайн обслужване на модели
-Тема 26. Модели за асинхронен стрийминг ML и ETL
-Тема 27. Ако имате нужда от Python
ML в Python в производство
-Тема 28. Производствен код в Python. Код за организиране и опаковане
-Тема 29.REST архитектура: Flask API
-Тема 30.Docker: Структура, приложение, внедряване
-Тема 31. Kubernetes, оркестрация на контейнери
-Тема 32.MLOPS инструменти за Kubernetes: KubeFlow, Seldon Core. Характеристики на работата на хетерогенни системи в индустрията.
-Тема 33. Amazon Sagemaker
-Тема 34. AWS ML услуга
Теми за напреднали
-Тема 35. Невронни мрежи
-Тема 36. Разпределено обучение и извод на невронни мрежи
-Тема 37. Повишаване на градиента върху дървета
-Тема 38. Обучение за затвърждаване
Работа по проект
-Тема 39. Избор на тема и организация на работата по проекта
-Тема 40. Консултации по проекти и домашни работи
-Тема 41. Защита на проектантска работа