Аналіз великих даних

Анотація навчальної дисципліни

Мета дисципліни:

забезпечення формування комплексу знань, умінь та розумінь, а також здобуття навичок з використання принципів організації й оперування великими даними із застосуванням сучасних інформаційних засобів і технологій для розв'язання  математичних, аналітичних та економічних задач.

Практичне значення та використання отриманих знань: ознайомлення з методами аналізу та зберіганням великих обсягів даних, етапами життєвого циклу обробки великих даних, мови, найбільш пристосованої  для обробки та аналітики великих даних, способів організації зберігання і доступу до великих даних;

вміння виконувати елементи аналізу великих даних і інтерпретувати результати, розрізняти характеристики SQL і NoSQL БД, формулювати алгоритми в парадигмі MapReduce, вибирати відповідний інструмент аналізу великих даних або відповідну технологію зберігання великих даних, використовуючи фундаментальні і міждисциплінарні знання для успішного вирішення поставлених завдань.

Основні результати навчання

ПРН01.Аналізувати, цілеспрямовано шукати і вибирати необхідні для вирішення професійних завдань інформаційно-довідкові ресурси і знання з урахуванням сучасних досягнень науки і техніки.
    ПРН07. Знати і застосовувати на практиці фундаментальні концепції, парадигми і основні принципи функціонування мовних, інструментальних і обчислювальних засобів інженерії програмного забезпечення.
ПРН13.Знати і застосовувати методи розробки алгоритмів, конструювання програмного забезпечення та структур даних і знань.
             ПРН15. Мотивовано обирати мови програмування та технології розробки для  розв’язання завдань створення і супроводження програмного забезпечення.
ПРН18. Знати та вміти застосовувати інформаційні технології обробки, зберігання та передачі даних.

Тематика та види навчальних занять

1    тиждень
Лекція 1. “Бізнес-аналіз великих даних. Подібності та відмінності бізнес-аналітики та аналізу великих даних. Складнощі створення системи для бізнес-аналітики та аналізу великих даних.”
Лекція 2. “Архітектура і шаблони великих даних: як дізнатися, яке рішення для роботи з великими даними підходить вашій організації.”
Лабораторне заняття 1.” Вибір теми дослідження. Огляд Hadoop-інструментів на основі Linux та Windows.”

2    тиждень
Лекція 3. “Архітектура і шаблони великих даних: розуміння архітектурних шарів рішення для роботи з великими даними”.
Лекція 4. “Платформа Hadoop. Екосистема платформи Hadoop. Програмна модель Мap / Reduce.”
Лабораторне заняття 2. “Розгортання кластеру Hadoop. Створення кластеру Hadoop.  Виконання запитів до кластеру.”

3    тиждень
Лекція 5. “Hadoop Distributed File System (HDFS) – розподілена файлова система. Структура HDFS. Основні концепції HDFS. Компоненти HDFS. Файлові операції і реплікація.”
Лекція 6. “Введення в Yet Another Resource Negotiator (YARN) – нове покоління обчислювальної платформи Hadoop. Обмеження класичного MapReduce. Рішення проблеми масштабованості.” 
Лабораторне заняття 3. “Розгортання кластеру Hadoop. Підключення до засобів бізнес-аналітики. Запуск прикладів. ”

4    тиждень
Лекція 7. “Hadoop в хмарних середовищах. Хмарні рішення на базі сервісів. Хмарні рішення на базі віртуальних машин.” 
Лекція 8. “Розширення і скорочення кластерів Hadoop. Використання еластичних кластерів Hadoop. Розширення кластера Hadoop.”
Лабораторне заняття 4. “Розгортання кластеру Hadoop. Запуск власного завдання. Видалення кластеру.”

5    тиждень
Лекція 9. “Планування в Hadoop. Алгоритми реалізації планувальників, що підключаються до Hadoop.”
Лекція 10. “Розподілене сховище Google BigTable. Модель даних BigТable.”
Лабораторне заняття 5. “Робота з базою даних HBase, встановлення та  налаштування.”

6    тиждень
Лекція 11. “Розподілене сховище Google BigTable. Модель даних BigТable.”
Лекція 12. “Розподілене NewSQL-сховище Spanner. Масштабованість системи і несуперечливість даних в одному рішенні. Настінний годинник і майстри Армагеддона для забезпечення суворої несуперечності.”
Лабораторне заняття 6. “Робота з NoSQL: види, особливості та застосування.”

7    тиждень
Лекція 13. “Введення в потокову обробку великих даних. Обробка великих даних реального часу за допомогою Storm. Основні атрибути Storm. Модель Storm. Інші рішення з відкритим вихідним кодом для обробки великих даних.”
Лекція 14. “Spark – альтернатива для швидкого аналізу даних. Кластерна обчислювальна архітектура Spark”
Лабораторне заняття 7. “Робота з системою обробки великих даних в режимі реального часу Storm.” 

8    тиждень
Лекція 15. “Технології BigSQL. Загальне уявлення про BigSQL. Робота з BigSQL. Створення таблиць і завантаження даних.”
Лекція 16. “Порівняльний огляд рішень для SQL-доступу до Hadoop. Потреби в SQL-доступі до Hadoop. Огляд BigSQL. Порівняння BigSQL з іншими системами SQL-on-Hadoop.”
Лабораторне заняття 8. “Робота з масштабованою платформою аналізу даних Spark. 
Частина 1.”
Модульна контрольна робота 1.

9    тиждень
Лекція 17. “Великі дані і розширення сховища даних. Традиційні сховища даних.” 
Лекція 18. “Великі дані і розширення сховища даних. Бізнес-вимоги, що сприяють зростанню попиту на платформе великих даних.”
Лабораторне заняття 9. “Робота з масштабованою платформою аналізу даних Spark. Частина 2.”

Самостійна робота

Самостійна робота складає 81 години. Розподіл самостійної роботи за видами навчальних робіт:
1)     підготовка до лекційних занять – 20 годин;
    підготовка до лабораторних занять та до виконання модульних контрольних завдань – разом 40 годин;
2)    підготовка до екзамену – 21 годин.

Оцінювання результатів навчання

Оцінювання результатів навчання з дисципліни здійснюється за накопичувальною системою, яка дає можливість здобувачеві протягом семестру отримати максимально 100 балів.

Модуль 1
Оцінка за виконання лабораторних робіт – максимально 20 балів за модуль.
Модульна контрольна робота – бездоганне виконання 30 балів (в кожному завданні модульної контрольної роботи наведено максимальну кількість балів за виконання завдання).

Модуль 2
Оцінка за виконання лабораторних робіт – максимально 20 балів за модуль.
Модульна контрольна робота – бездоганне виконання 30 балів (в кожному завданні модульної контрольної роботи наведено максимальну кількість балів за виконання завдання).

Підсумковим контролем з дисципліни є усний екзамен. Екзаменаційний білет з дисципліни складається з двох частин: перевірки теоретичних знань у способі опитування та виконання практичних завдань. Мінімальна кількість балів. що зараховується як позитивний результат, дорівнює 60 (за 100-бальною системою). 

Екзаменаційний білет містить 3 питання рівної складності. Кожне питання містить в собі теоретичну (60% оцінки) та практичну складові (40% оцінки). За бездоганну відповідь на перше питання студент отримує 30 балів, на друге питання – 40 балів, третє питання – 30 балів. При цьому відповідь теоретичної складової вважається бездоганною, якщо студент повністю розкрив суть питання, послідовно і логічно його доповів, навів приклади, проілюстрував відповідь необхідною і достатньою кількістю записів; зробив посилання на відповідні літературні джерела. Кожне завдання практичної складової іспиту вважається виконаним бездоганно, якщо при його розв’язанні послідовно і логічно викладено рішення, зроблені всі необхідні графіки, представлені всі архітектурні рішення, моделі, лістинги коду. 
За виконання кожного питання практичної частини бали можуть бути зняті:
–    100% балів – за повну відсутність виконання питання практичної частини;
–    75% балів – рішення не отримане або не вірне, але при цьому хід розв’язання та усі використані засади обрані вірно;
–    50% балів – наведене правильне рішення, але при цьому є помилки у розв’язанні;
–    35% балів – наведене правильне рішення, але при цьому не повністю виконані обов’язкові пояснення;
–    25% балів – за неправильне тлумачення вихідних даних, що не порушило загалом правильного ходу розв’язання задачі;
–    15% балів – за допущену помилку, що не вплинула на відповідь та загальний хід розв’язання питання;
–    10% балів – за нераціональне розв’язання завдання при наявності докладних пояснень та вірного кінцевого результату.
Якщо студент відмовився відповідати, то він отримує незадовільну оцінку. 
Іспит враховується не складеним, якщо студент отримав незадовільну оцінку. 
Максимальна оцінка за правильні відповіді на всі питання екзаменаційного білету становить 100 балів.

Документи (файли), що додаються: Робоча програма навчальної дисципліни.

Література
1.    Олещенко Л.М., Технології оброблення великих даних: навч. посіб. –  КПІ ім. Ігоря Сікорського. – К. : 2021. – 227 с.
2.    Zgurovsky M.Z., Zaychenko Y.P. Big Data: Conceptual Analysis and Applications. Springer, 2020. – 298 p.
3.    Feeney K. et al. Engineering Agile Big-Data Systems //Kevin Feeney, Jim Davies, James Welch, Sebastian Hellmann, Christian Dirschl, Andreas Koller, Pieter Francois, Arkadiusz Marciniak. — River Publishers, 2018. — 436 p.
4.    Raheem N. Big Data: A Tutorial-Based Approach. Taylor & Francis Group LLC, CRC Press, 2019. — 203 p

Методична література
1.    Тройніна, А.С. Конспект лекцій з дисципліни «Аналіз великих даних” для студентів  спеціальності 121 – «Інженерія програмного забезпечення» . – Одеса: ОНПУ, 2019. – 123 с. (КЛ11131)
2.    Тройніна, А.С. Методичні вказівки до лабораторних робіт з дисципліни «Аналіз великих даних» для студентів спеціальності 121 – Інженерія програмного забезпечення. – Одеса; ОНПУ, 2019. – 29 с. (МВ11132)

Додаткова література
1.    Hadoop [Електронний ресурс] − Режим доступа: www / URL: http://hadoop.apache.org – 01.01.2022 р. − Назва з екрану.
2.    Intern. Journal of Data Science and Analytics. Special issue on Data Science in Europe. 2018. Vol. 6, Issue 3. P. 163–269.
3.     IBM. Featured big data solutions [Електронний ресурс] − Режим доступа: www / URL: http://www-03.ibm.com/software/products/en/category/bigdata − 02.12.2022 р. − Назва з екрану.