Анализ на данни в Python и бази данни (SQL) - безплатен курс от RANEPA, обучение, Дата: 6 март 2023 г.
разни / / December 04, 2023
Програмата Python Data Analysis and Database (SQL) ще предостави на студентите разбиране за основите на програмирането на ML (машинно обучение) алгоритми с помощта на езика Python. Освен това ще ви помогне да овладеете редица компетенции в областта на управлението на съвременни релационни бази данни и придобиване на практически умения за използване на езикови инструменти за СУБД (системи за управление на бази данни данни).
В бизнеса и правителството е необходимо постоянно да се анализират огромни количества данни получаване на информация за контрол на качеството на работа, представяне на свежи идеи и обосновка на приетите решения. Експертите, които разбират огромни количества данни, могат да очакват бърза кариера с впечатляващи заплати.
По правило SQL и Python се споменават най-често в обяви за работа, свързани с анализ на данни.
За курса могат да кандидатстват само студенти, които не се обучават в следните направления:
По време на усвояването на програмата студентите ще имат възможност да създават нови дигитални продукти (самостоятелно или в екип). Авторите на най-добрите решения ще получат подкрепата на Академията и възможността да си сътрудничат с Лабораторията за изкуствен интелект и Лабораторията за разработка на платформи на RANEPA.
Python
Как работи всичко? Функции на Python.
Защо всички използват Python? Сравнение с други езици за програмиране. Как се пишат програми? Плюсове на Python. Как да използвате Python в задачи: текстообработка, работа с изображения, писане на стокови роботи, стартиране на чат ботове. Вход и изход в Python. Имена в Python. Основни операции. Контрол на хода на изпълнение на програмата (условни конструкции). Примери за прости програми.
Цикли. линии. Стрингови методи.
Цикл с предварително условие. Изявления за прекъсване и продължаване. За цикъл Структура на линията и дължина на линията. Елементът на линията и как се изрязват линии. Получаване на подниз от низ. Обхождане на линията. Раздели.
Кортежи. Списъци. функционална карта. Генератор на списък със случайни стойности.
Защо са необходими кортежи? Работа със списък. Елементи на списък. Отпечатайте списъка. Коректно копиране на списъци. Характеристики на използването на функцията карта. Какво представляват генераторите на произволни стойности? Няколко. Операции с множества. Frozenset. Речници. get метод Обхождане на речника.
Функции. Приложение на математически функции. Обхват и изключване.
Как да пишем функции правилно. Прости алгоритми. Писане на първите функции. Как да добавя математика. Препоръки за писане на собствени функции. Как работят обхватите. Глобални променливи. Връщане на множество стойности от функция. Изключения.
Работа с файлове. Матрици. Видове сортиране
Какво можете да правите с файловете? Отваряне и затваряне на файлове. Четене и писане на текстови файлове. Матрици. Попълване на матрици. Въвеждане на матрици ред по ред. Четене и писане на матрици. Сортиране на мехурчета. Анализ на алгоритъма. Няколко версии на решението.
Преглед на библиотеката NumPy. Работа с функциите на NumPy. SciPY библиотека.
Python библиотеки и тяхното инсталиране. Основни типове данни NumPy. Числени функции. Работа с масиви. Операции с масиви. Двумерни масиви. Матрици. Основни характеристики на библиотеката SciPy.
Преглед на библиотеката на Pandas. Основен анализ.
Инсталиране на библиотеката. Създаване на серия обект. Индексиране на DataFrame. Маси. Четене и писане на файлове. Индексиране. Извадка от данни. Операции с редове и колони. Работа с NaN. Сортиране.
Визуализации на данни. Практически примери
Проучване на нови данни, предварителна обработка, визуализация на данни, търсене на връзки между функции, подготовка на данни за обучение и създаване на модели за прогнозиране на кредитния риск. Получаване на модел, който отговаря на въпроса: да се издаде или да не се издаде заем.
Автоматизиране на рутинни задачи. Практически примери
Анализ на практически примери за автоматизация на задачи, свързани с получаване на агрегирана информация от няколко източника (Excel файлове) или Интернет.
Преглед на методите за машинно обучение, използвани за анализ на данни. Практически примери
Практически пример за идентифициране на основни характеристики и тяхната интерпретация в проблем с контролирано обучение.
Междинна модулна оценка
Междинното сертифициране се извършва под формата на тест (компютърно тестване). Пример за типична тестова сграда:
Коя функция на Python можете да използвате, за да разберете типа на променлива?
- хвоами
- Тип
- тип
- е
Какъв диапазон от числа ще бъде създаден в следния код: диапазон (9, 3, -2)
- 9 8 7 6 5 4 4
- 9 7 5 3
- 9 7 5
- 11 9 8 7 6 5 4
Какво ви позволява да изпълните кодовият фрагмент в списъка?
- Кодов фрагмент: print(math.sqrt(2))
- показване на числото 2 от математическата библиотека
- свързване на математическата библиотека
- повдигане на квадрат на математическо число
- показване на корен квадратен от две
SQL
Съхранение и цялост на данните.
Съхранение на данни: файлове с данни, регистрационни файлове, RAID нива, Tempdb. Връзки в бази данни, едно към едно, едно към много, много към много. Цялост на данните: ПЪРВИЧЕН КЛЮЧ, ПРОВЕРКА, УНИКАЛЕН и ЧУЖД КЛЮЧ. Нормализация на таблици.
Създаване на база данни и таблици.
Архитектура на СУБД: логически (таблици и тип данни, ключове, индекси, изгледи, сборки, ограничения, правила, стойности по подразбиране) и физически нива (файлове и файлови групи, страници). Създаване на база данни. Типове данни на таблични полета: точни числа, символни низове в Unicode, приблизителни числа, двоични данни, дата и час, други типове данни, символни низове. Създаване на таблици. Къде да пиша молби?
Индекси. Диаграми.
Индекси: клъстериран, неклъстериран, уникална идентификация, филтриран, columnstore, хеш, неклъстериран, оптимизиран индекс за памет. ER диаграми: диаграми на база данни, възел на база данни. DML и най-често срещаните SQL оператори: SELECT, INSERT, UPDATE, DELETE. Значението на уникалните фактори.
Заявки. Външни връзки.
Заявки на една маса. Вземане на проби без повторения. Заявки за множество таблици. Външни съединения: ЛЯВО, ДЯСНО или ПЪЛНО.
Агрегатни функции. Подзапитвания.
Подзаявки: WHERE COUNT, SUM, AVG, MAX, MIN, IN, ALL, ANY. Данни за присъединяване: ИЗБЕРЕТЕ JOIN. Агрегирани функции: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDEV, STDEVP, STRING_AGG, SUM, VAR, VARP. Условия за агрегатни функции.
Полезни функции.
Още малко за операторите. Индустриална заявка. Полезни функции: SQRT, RAND, CONCAT, цифрови и низови функции. Предимство на операцията и преобразуване на типа: CAST, CONVERT.
Транзакции. Представителство.
Една заявка по четири начина. Транзакции: концепция за транзакции - атомарност, консистенция, изолация, издръжливост, управление на транзакциите - COMMIT, ROLLBACK, SAVEPOINT, SET TRANSACTION. Паралелен достъп до данни: проблеми с мръсно, неповтарящо се четене, фантоми. Изгледи: индексиран, разделен, системен.
Променливи и цикли.
Начало на програмирането. Променливи: DECLARE, SET, SELECT. Структура на кода. Оператори за описание на данни: CREATE, DROP, ALTER и др. Оператори за манипулиране на данни: INSERT, DELETE, SELECT, UPDATE и др. Оператори за задаване на права за достъп до базата данни: GRANT / REVOKE, LOCK / UNLOCK, SET LOCK MODE Оператори за защита, възстановяване на данни и др. Цикли: WHILE.
Съхранени процедури и функции.
Временни маси. Transact-SQL курсори, сървър, клиент. Видове курсори: еднопосочен, статичен, Keyset, динамичен. Съхранени процедури и функции: CREATE PROCEDURE, CREATE PROC.
Тригери. Изключения.
Конвейер HF. Задейства: AFTER, INSTEADOF. Изключения: ОСВЕН. Динамичен SQL с ключова дума и съхранена процедура: ИЗПЪЛНЕНИЕ НЕЗАБАВНО.
СУБД. NoSQL бази данни.
Транзакции в програмирането/СУБД/SQL. Как се изпълняват заявките. Как да подобрим производителността на заявките. NoSQL база данни и нейните предимства.
Междинна модулна оценка
Междинното сертифициране се извършва под формата на тест (компютърно тестване). Пример за типична тестова сграда:
Какъв тип полеви данни е типът NUMBER?
- низ
- числови
- двоичен
Коя SQL команда прави заявки за данни?
- АЛТЕР
- ИЗБЕРЕТЕ
- ОТ
Какво е транзакция?
- това е група от операции, изпълнявани от СУБД
- е група от операции, които имат ACID свойства
- това е операцията за изпълнение на SQL команда