Обработка и анализ на големи данни - безплатен курс от Open Education, обучение 2 седмици, около 36 часа седмично, Дата 29 ноември 2023 г.
разни / / November 30, 2023
Доцент доктор. Позиция: Доцент, Факултет по системи за управление и роботика, Доцент, Висше училище за цифрова култура, Университет ITMO
Кандидат на физико-математическите науки Позиция: Доцент, Висше училище за цифрова култура, Университет ITMO
Доцент доктор. Позиция: Доцент, Висше училище по цифрова култура, Университет ITMO
Модул 1 Тема 1.1 Въведение в науката за данните Обсъжда типове и източници на данни, принципи разделяне и комбиниране на данни, видове скали, методи за почистване на данни и попълване на пропуски, контрол диапазони. Тема 1.2 Инструменти за обработка на данни Обсъжда основни инструменти за обработка на данни, като електронни таблици (електронни таблици на Google и Excel), обхваща въпросите за сортиране и филтриране на данни, средства за агрегиране и анализ на таблични данни (осеви таблици) Тема 1.3 Визуализация данни Задачите и методите за визуализация на данни в различни инструменти (Google електронни таблици и Excel), форми на представяне на количествени и качествени данни. Разглежда се визуализация на когнитивни данни. Тема 1.4 Анализ и трансформация на данни Разглеждат се методи за изглаждане и нормализиране на данни, въпроси на трансформацията на данни. Подробно са описани видовете описателни статистики и методите за тяхното изчисляване. Тема 1.5 Работа с динамични редове Разглеждат се принципите на работа с динамични редове и методите за техния анализ. Особено внимание е отделено на техниките за изглаждане на динамичните редове, определяне на тенденциите и сезонните компоненти на динамичните редове.
Модул 2 Съхранение на големи данни Тема 2.1. Системи за управление на бази данни Разглеждат се архитектурата на информационните системи и основните функции на системите за управление на бази данни. Тема 2.2. Проектиране на структурирани данни Разглеждат се основните понятия на релационния (табличен) модел данни, проектиране на данни в релационен модел, правила за създаване на таблици и дефиниране на ограничения за интегритет. Тема 2.3. SQL - заявки към данни и обекти на база данни Разглеждат се принципите на конструиране на заявки към данни на езика SQL, включително проекция, сортиране, задаване на условия за избор, свързване на множество таблици, теоретични операции, вложени заявки. В лекцията се разглеждат и обекти на бази данни – изгледи, процедури/функции, тригери. Дадена е концепцията за индекси, която може да подобри ефективността на изпълнение на редица заявки. Тема 2.4. NoSQL съхранение Разгледани са основните концепции и характеристики на NoSQL системите, различните типове и оценки на NoSQL системите: ключ-стойност, документ, колона и графика. Принципи на изграждане на заявки към данни в NoSQL хранилища. Тема 2.5. MongoDB - работа със съхранение на документи Обсъжда организирането на данни и изграждането на заявки в MongoDB. Предоставени са примери за изграждане на заявки в демонстрационната база данни MongoDB.