Теорія інформації і кодування

Анотація навчальної дисципліни

Мета дисципліни:
формування комплексу знань в галузі теорії інформації, вмінь з теорії кодування інформації та аналізу інформаційних систем з визначенням їх інформаційних характеристик, а також здобуття навичок з вирішення практичних задач вимірювання та кодування інформації.
Завдання дисципліни:
ознайомитись з основними поняттями та визначеннями у галузі теорії інформації, основами інформаційних процесів;
оволодіти загальними принципами передачі, перетворення та зберігання інформації;
вивчити особливості методів структурного вимірювання інформації для вирішення практичних задач;
вивчити методи статистичного вимірювання інформації з урахуванням ентропії складових дискретного каналу зв'язку;
сформувати уявлення про способи  опису каналу зв'язку з використанням канальних матриць з боку джерела, приймача і матриць об'єднання;
ознайомитись зі способами представлення кодів та принципами оптимального кодування;
оволодіти алгоритмами кодування для створення ефективних та захищених кодів.
Основні результати навчання

Аналізувати, цілеспрямовано шукати і вибирати необхідні для вирішення професійних завдань інформаційно-довідникові ресурси і знання з урахуванням сучасних досягнень науки і техніки.
Знати і застосовувати методи розробки алгоритмів, конструювання програмного забезпечення та структур даних і знань.
Застосовувати на практиці інструментальні програмні засоби доменного аналізу, проектування, тестування, візуалізації, вимірювань та документування програмного забезпечення.
Знати, аналізувати, вибирати, кваліфіковано застосовувати засоби забезпечення інформаційної безпеки (в тому числі кібербезпеки) і цілісності даних відповідно до розв'язуваних прикладних завдань та створюваних програмних систем.
 

Форми організації освітнього процесу та види навчальних занять

Л – лекційні заняття; ЛЗ – лабораторні заняття; ПР – практичне заняття; СРС – самостійна робота здобувача вищої освіти; МКР – модульна контрольна робота; К – консультації.

Тематика та види навчальних занять

1    тиждень

Л1. Предмет та завдання теорії інформації і кодування. Основні терміни та визначення. Методологічна схема формування і матеріалізації інформації.
ПР1. Освоєння основних термінів та визначень та їх взаємні зв’язки. Фази обертання інформації. Види та структура інформації.
СРС. К.

2    тиждень

Л2. Види та загальні властивості інформації. Способи класифікації інформації за різними критеріями. Основи інформаційних процесів. Фази обертання інформації.
ЛЗ1. Створення програми для збирання та опрацювання інформації з використанням тестів.
СРС. К.

3    тиждень

Л3. Види та основні характеристики сигналів. Вимірювання інформації. Структурні міри інформації: геометрична та комбінаторна.
ПР2. Обчислення геометричної міри інформації. Визначення кількості інформації за комбінаторною мірою.
СРС. К.

4    тиждень

Л4. Адитивна міра інформації: визначення, загальні питання. Обчислення кількості інформації за мірою Хартлі. Приклади конструкцій систем з урахуванням довжини та глибини інформаційного повідомлення. Обчислення інформації при наявності декількох незалежних джерел.
ЛЗ2. Створення програми для визначення кількості інформації при рівноймовірних та нерівноймовірних подіях.
СРС. К.

5    тиждень

Л5. Ентропія як статистична міра інформації: визначення, обчислення, одиниці виміру. Властивості ентропії.
ПР3. Обчислення ентропії події у системі. Аналіз властивостей ентропії події на прикладах ймовірнісних характеристик медичних досліджень.
СРС. К.

6    тиждень

Л6. Ентропія ансамблю подій. Повна та часткова умовна ентропія: визначення, обчислення, практичні приклади. 
ЛЗ3. Створення програми для розрахунку ентропії відповідно до завдання.
СРС. К.

7    тиждень

Л7. Канальна матриця. Властивості канальних матриць. Інформаційні характеристики каналу зв'язку.
ПР4. Використання властивостей умовної ентропії для формування канальних матриць. Практичне використання канальних матриць для вирішення завдань.
СРС. К.

8    тиждень

Л8. Ентропія та інформація. Кількість інформації. Інформаційні властивості.
ЛЗ4. Створення програми для розрахунку умовної ентропії відповідно до завдання.
МКР1. СРС. К.

9    тиждень

Л9. Квантування інформації. Види сигналів. Вибір частоти відліків при дискретизації, теорема Котельникова. Квантування за рівнем. 
ПР5. Створення на основі аналогового сигналу дискретно-безперервного та дискретного сигналів. 
СРС. К.

10    тиждень

Л10. Коди, подання кодів, поняття про кодування. Оптимальне кодування. Способи представлення кодів. Префіксні коди. Основні теореми кодування каналу без шуму.
ЛЗ5. Створення програми для кодування інформації з використанням табличного подання, багаточлена та префіксного дерева відповідно до завдання.
СРС. К.

11    тиждень

Л11. Оптимальні нерівномірні коди: метод Шеннона-Фано. Алгоритм побудови коду. Визначення середньої довжини коду, створеного за методом Шеннона-Фано.
ПР6. Практичне освоєння методу Шеннона-Фано відповідно до завдання.
СРС. К.

12    тиждень

Л12. Оптимальні нерівномірні коди: метод Хаффмена. Алгоритм побудови коду. Визначення середньої довжини коду, створеного за методом Хаффмена.
ЛЗ6. Створення програми для побудови оптимальних нерівномірних кодів за методами Шеннона-Фано та Хаффмена.
СРС. К.

13    тиждень

Л13. Завадостійке кодування. Коригувальні коди. Лінійні групові коди. Код Хеммінга.
ПР7. Практичне освоєння створення коду Хеммінга відповідно до завдання.
СРС. К.

14    тиждень

Л14. Групові коди. Використання матриць при роботі із груповими кодами. Утворююча матриця, інформаційна і перевірочна матриці. Метод кодування за допомогою утворюючих матриць. Корекція помилок.
ЛЗ7. Створення програми для демонстрації побудови коду Хеммінга для інформаційної послідовності відповідно до завдання.
МКР2.СРС. К.

15    тиждень

Л15. Циклічні коди. Коди, що виправляють одиночну помилку. Методи побудови циклічних кодів. Виявлення і корекція помилок. 
ПР8. Практичне освоєння побудови циклічного коду, здатного виправляти одиночну помилку.
СРС. К.

Індивідуальна робота

Виконується РГР. Метою виконання розрахунково-графічної роботи є оволодіння методами квантування аналогових сигналів, заданих аналітично, і закріплення знань, отриманих за час вивчення дисципліни «Теорія інформації і кодування». Розрахунково-графічна робота передбачає створення трьох варіантів квантування аналогового сигналу: квантованого за рівнем, квантованого за часом та цифрового.

9 тиждень

Одержання й уточнення завдання.

10 тиждень

Створення сигналу, квантованого за рівнем.

11 тиждень

Створення сигналу, квантованого за часом.

12 тиждень

Створення цифрового сигналу.

13 тиждень

Оформлення пояснювальної записки та захист РГР.

Процедура оцінювання

Система оцінювання рівня навчальних досягнень ґрунтується на принципах ЄКТС та є накопичувальною. Здобувачі протягом семестру готуються до лекційних, практичних та лабораторних занять, виконують 2 модульні контрольні роботи. 
Для забезпечення оперативного контролю за успішністю та якістю рівня навчальних досягнень здобувачів вищої освіти дисципліна поділяється на два семестрові модулі. Розрахунково-графічна робота виконується в другому модулі.

Кожний модуль оцінюється у максимально можливі 50 балів.
Модульна робота складається з теоретичної частини  та практичної частини - задач. 

Максимальна оцінка за правильне виконання теоретичної частини модульної роботи №1 становить 10 балів, за виконання практичної частини – 20 балів. Максимальна оцінка за правильне виконання теоретичної частини модульної роботи №2 становить 10 балів, за виконання практичної частини – 20 балів.
Кількість питань теоретичної частини модульної роботи №1 – 5. Кожна правильна відповідь оцінюється в 2 бали. Кількість питань теоретичної частини модульної роботи №2 – 5. Кожна правильна відповідь оцінюється в 2 бали.
Кількість задач модульної роботи №1 – 2. Правильне розв’язання кожної задачі оцінюється в 10 балів. Задача вважається розв’язаною, якщо коректно обчислені інформаційні характеристики повідомлень та показано вірний хід рішення. Кількість задач модульної роботи №2 – 2. Правильне розв’язання кожної задачі оцінюється в 10 балів. Задача вважається розв’язаною, якщо при її розв’язанні коректно побудовані кодові комбінації та вірно виконано квантування сигналу.

Максимальна оцінка, яку може отримати здобувач за всі виконані види робіт – 100 балів. 

Підсумковим контролем з дисципліни є усний екзамен, білет до якого складається з теоретичної частини (2 запитання) та практичної частини (3 задачі). За бездоганну відповідь на кожне теоретичне питання студент отримує 20 балів. За бездоганне виконання кожного завдання практичної частини студент отримує 20 балів. 
Максимальна оцінка за правильні відповіді на всі питання екзаменаційного білету становить 100 балів.

Семестровий модуль № 1

ЛЗ1- ЛЗ3. Оцінка за виконання – 15 балів. Термін виконання – 1-8 тиждень. 
ПР1- ПР4. Оцінка за виконання – 5 балів. Термін виконання – 1-8 тиждень. 
МК1. Модульна контрольна робота – 30 балів (8 тиждень). Перескладання можливе протягом 9–11 тижнів за розкладом консультацій.

Семестровий модуль № 2

ЛЗ4- ЛЗ7. Оцінка за виконання – 8 балів. Термін виконання – 9-15 тиждень. 
ПР5- ПР8. Оцінка за виконання – 2 бали. Термін виконання – 9-15 тиждень. 
РГР. Оцінка за виконання – 10 балів. Термін виконання – 9-13 тиждень.
МК2. Модульна контрольна робота – 30 балів (14 тиждень).

Умови допуску до підсумкового контролю

До екзамену допускаються здобувачі вищої освіти, які виконали всі види навчальних елементів навчальної дисципліни на не менш, ніж на 60%.

Екзамен відбувається за всіма тематичними (змістовними) модулями дисципліни.

Політика освітнього процесу

Здобувач зобов’язаний своєчасно та якісно виконувати всі отримані завдання; за необхідністю з метою з’ясування всіх незрозумілих під час самостійної та індивідуальної роботи питань, відвідувати консультації викладача. Дотримуватись принципів академічної доброчесності.

Виконаний не свій варіант завдання здобувачем не оцінюється.

Робота, яка виконана після встановлених викладачем термінів, не приймається.

Відсутність здобувача на екзамені або на контрольній роботі відповідає оцінці «0». 
Складання/перескладання екзаменів – за встановленим деканатом розкладом.

Під час лекції здійснювати телефонні дзвінки забороняється.

Заборонено використання будь-яких підручників, посібників, конспектів лекцій, шпаргалок під час проходження модульних контролів та екзамену з дисципліни.

Документи (файли), що додаються: Робоча програма навчальної дисципліни.

Література
1.    Попов, И. Ю. Теория информации / И.Ю. Попов, И.В. Блинова. – ЭБС «Лань», 2021. – 160 с.
2.    Зубова Е. Д. Основы теории информации. – ЭБС «Лань», 2-е изд., 2021. – 48 с.
3.  Литвинская О.С. Основы теории передачи информации. Учебное пособие /  О.С. Литвинская, Н.И. Чернышёв. – М.: КноРус, 2017. – 168 с.
4.    Березкин Е.Ф. Основы теории информации и кодирования. – ЭБС «Лань», 2019. – 320 с.
5.    Крісілов В.А. Теорія інформації та кодування: навч. посібник / В.А. Крісілов, Н.О. Комлева, О.С. Пригожев; Одеський нац. політехнічний ун-т. – О., 2013. – 180 с.
6.    Кудряшов Б.Д. Теория информации: учебник для вузов. – Питер, 2018. – 320 с.
7.    Иваниш, П. Теория информации и кодирование – решенные задачи, 1-е изд. (перевод) / П. Иваниш, Д. Драич. – Springer International Publishing, 2017, VIII. – 517 с.
 
Методична література
1.       Конспект лекцій з дисципліни «Теорія інформації і кодування» для студентів спеціальності 121 – «Інженерія програмного забезпечення» / Укл.: Комлева Н.О. – Одеса: ОНПУ, 2019. – 59 с.
2.       Методичні вказівки до практичних занять з дисципліни «Теорія інформації і кодування» для студентів спеціальності 121 – «Інженерія програмного забезпечення» / Укл.: Н.О. Комлева, О.М. Паулін, Ю.М. Нестеров.  – Одеса: ОНПУ, 2019. – 36 с.
3.       Методичні вказівки до лабораторних робіт з дисципліни «Теорія інформації та кодування» для студентів спеціальності 6.050103 / Укл.: Н.О. Комлева, С.Л. Зіноватна. – Одеса: ОНПУ, 2011. – 26 с.
4.       Методичні вказівки до розрахунково-графічної роботи з дисципліни «Теорія інформації і кодування» для студентів напряму 6.050103 Програмна інженерія / Укл.: Н.О. Комлева. – Одеса: ОНПУ, 2017. – 17 с. 
 
 
Додаткова література
1.       Haslwanter, Thomas. Hands-on Signal Analysis with Python: An Introduction, 1st ed. Springer International Publishing, 2021, XII, 273. –139 p.
2.   N. Komleva, V. Liubchenko and S. Zinovatna. Evaluation of the Quality of Survey Data and its Visualization Using Dashboards, 2020 IEEE 15th International Conference on Computer Sciences and Information Technologies (CSIT), Zbarazh, Ukraine, 2020, pp. 234-237, doi: 10.1109/CSIT49958.2020.9321970. https://ieeexplore.ieee.org/document/9321970
3.       Krisilov, V. A., Komleva, N. O. Analysis and Evaluation of Competence of Information Sources in Problems of Intellectual Data Processing. Problemele Energeticii Regionale.  2019. Issue: 1-1. Special Issue: SI. Pp. 91-104.
4.   Крісілов В.А., Комлева Н.О., Бурдейний Є.І Програмна система аналізу якості джерел медичної статистичної інформації. –  Вчені записки ТНУ імені В.І. Вернадського. Серія: технічні науки. –  Київ, 2019. – Том 30 (69) № 5. – С. 109-115.
5.  Sundararajan, Dr. D. Digital Signal Processing: An Introduction, 1st ed. Springer International Publishing, 2021, XIII. – 399 p.
6.  Signal and Information Processing, Networking and Computers. Proceedings of the 6th International Conference on Signal and Information Processing, Networking and Computers (ICSINC). Wang, Yue (et al.) (Eds.), 1st ed. Springer Singapore, 2020, XVIII. – 923 p.
7.   Yang, Sung-Moon Michael. Modern Digital Radio Communication Signals and Systems, 2nd ed. Springer International Publishing, 2020, XIX. – 749 p.
8.   Малоземов, В. Н. Основы дискретного гармонического анализа, 1-е изд. (перевод) /  В. Н. Малоземов, С. М. Машарский. – Birkhäuser Basel, 2020, XV. – 247 с.
9.  Цымбал, В.П. Задачник по теории информации и кодированию: [для вузов] / В.П. Цымбал. – Киев: Вища шк., 1976. – 275 с. Open access: https://www.studmed.ru/view/cymbal-vp-zadachnik-po-teorii-informacii-i-k...
10.    Хэмминг, Р.В. Теория кодирования и теория информации / Р. В. Хэмминг – М.: Радио и связь, 1983. – 174 с.
11.  Шеннон, К.Э. Работы по теории информации и кибернетики: сборник статей / К.Э. Шеннон – М. : Изд. иностр. лит., 1963. – 829 с.