Порядок виконання роботи

1. Ознайомитися з теоретичними відомостями.

2. Виконати приклади, які використовуються в теоретичних відомостях.

3. Виконати наступні вправи.

1. Використовуючи модуль corpus прочитайте текст austin-persuasion.txt. Визначить скільки tokens (слів) і type (унікальних слів)містить ця книжка.

2. Напишіть, використовуючи модуль читання корпусу текстів Brown nltk.corpus.brown.words(), програму, яка дозволяє доступитися до фрагментів текстів у двох різних жанрах корпусу Brown, і назва яких відповідає першій літері прізвища і імені студента.

3. Прочитайте тексти з корпусу State of the Union addresses використовуючи state_union модуль читання. Визначити частоту вживання слів men, women, people в кожному з документів. Як змінилася частота вживання цих слів з часом?.

4. Використовуючи конкорданси поясніть відмінності у вживанні слова however на початку речення ("in whatever way", "to whatever extent", або "nevertheless”).

5. Виберіть пару текстів і дослідіть відмінності між ними (кількість оригінальних слів, багатство мови, жанр). Знайдіть слова, які мають різний зміст в цих текстах, подібно до слова monstrous в Moby Dick та у Sense and Sensibility.

6. Проаналізуйте таблицю частот модальних дієслів для різних жанрів. Спробуйте її пояснити. Знайдіть інші класи слів вживання яких також відрізняються в різних жанрах.

7. Напишіть програму для знаходження всіх слів в корпусі Brown, які зустрічаються не менш ніж три рази.

8. Напишіть програму генерації таблиці відношень кількість слів/кількість оригінальних слів для всіх жанрів корпуса Brown. Проаналізуйте отримані результати та поясніть їх.

9. Напишіть програму для знаходження 50 найчастотніших слів в тексті, за виключенням незначущих слів.

10. Напишіть програму яка виводить на екран 50 найчастотніших біграмів тексту, за виключенням біграмів до складу яких входять незначущі слова.

11. Напишіть програму для створення таблиці частот слів для різних жанрів. Знайдіть слова чия присутність або відсутність є характерною для певних жанрів (подібно до модальних дієслів).

12. Побудуйте колокації для текстів №1 та №9. Результати порівняйте.

13. Побудуйте колокації для текстів №2 та №4. Результати порівняйте.

4. Підготувати і оформити звіт.

Варіанти завдань

Варіант	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
Номери завдань	1	2	3	4	1	2	3	4	1	2	3	4	1	2	3
	5	6	5	6	5	6	5	6	5	6	5	6	5	5	6
	7	7	7	7	7	7	7	7	7	7	7	7	7	7	7
	8	8	8	8	8	8	8	8	8	8	8	8	8	8	8
	9	10	11	9	10	11	9	10	11	9	10	11	9	10	11
	12	13	12	13	12	13	12	13	12	13	12	13	12	12	13

Варіант	16	17	18	19	20	21	22	23	24	25	26	27	28	29	30
Номери завдань	1	2	3	4	1	2	3	4	1	2	3	1	2	3	4
	5	6	5	6	5	6	5	6	5	6	5	6	5	5	6
	7	7	7	7	7	7	7	7	7	7	7	7	7	7	7
	9	10	9	10	11	9	10	11	9	10	11	9	9	10	11
	13	12	13	12	13	12	13	12	13	12	13	12	13	12	13
	8	8	8	8	8	8	8	8	8	8	8	8	8	8	8

Зміст звіту

1. Титульний аркуш.

2. Мета роботи.

3. Короткі теоретичні відомості.

4. Тексти програм на мові Python.

5. Висновок.