- •Мета робота
- •Короткі теоретичні відомості
- •1. Складні випадки використання функцій
- •1.1 Функція, як аргумент
- •1.2 Функції накопичення
- •Функція використовує рекурсію – техніку яка буде розглядатися в подальшому. Перестановки слів у наборах слів корисно використовувати при створенні даних для тестування граматик.
- •1.3 Функції вищого рівня
- •1.4 Зазначені (поіменовані) аргументи.
- •2. Розробка програми
- •2.1 Структура модуля в Python
- •2.2 Багатомодульні програми
- •2.3 Помилки
- •2.4 Техніка налагодження (зневаджування) програм
- •3. Розробка алгоритму програми
- •3.1 Рекурсія
- •3.2 Динамічне програмування
- •4. Приклади бібліотек Python
- •4.5 Інші бібліотеки
- •Порядок виконання роботи
- •Інтернет посилання
- •Методичні вказівки
4.5 Інші бібліотеки
На сьогодні розроблено багато інших бібліотек Python, перелік яких можна знайти за адресою http://pypi.python.org/. Багато бібліотек забезпечують інтерфейс з іншим програмним забезпеченням, таким як реляційні бази даних (наприклад mysql-python) та великими колекціями документів (наприклад PyLucene). Інші бібліотеки забезпечують доступ до файлів у таких форматах як: PDF, MSWord, та XML (pypdf, pywin32, xml.etree), RSS (наприклад feedparser), та файлів електронної пошти (наприклад imaplib, email).
Порядок виконання роботи
Ознайомитися з теоретичними відомостями.
Виконати приклади, які використовуються в теоретичних відомостях.
Виконати наступні вправи.
Створити список слів і зберегти їх в змінній sent1. Здійснити операцію присвоювання sent2 = sent1. Змінити один з елементів в sent1 і перевірити чи змінився sent2. Результат письмово пояснити.
Створити список слів і зберегти їх в змінній sent1. Здійснити операцію присвоювання sent2 = sent1[:].Змінити один з елементів в sent1 і перевірити чи змінився sent2. Результат письмово пояснити.
Створити список списків слів [ [‘’,’’,’’… ], [[‘’,’’,’’… ], [[‘’,’’,’’…],…] (наприклад текст складається з речень, які складаються з стрічок). Здійснити операцію присвоювання text2 = text1[:], та здійснити операцію присвоювання нового значення одному зі слів (text1[1][1] = 'Monty'). Перевірити як ці операції вплинули на text2. Результат письмово пояснити.
Завантажити функцію Python deepcopy() ( from copy import deepcopy). Прочитати документацію про цю функцію. Перевірити яким чином ця функція створює нові копії об’єктів.
Створити список списків пустих стрічок використовуючи множення списків, наприклад word_table = [[''] * n] * m. Що станеться, якщо встановити одне зі значень такого списку, наприклад word_table[1][2] = "hello"? Пояснити письмово отримані результати. Створіть аналогічний список використовуючи функцію range() і продемонструйте що такий список позбавлений такого недоліку при присвоєнні значення одному з його елементів.
Написати програму для створення двовимірного масиву word_vowels елементами якого є набори. Прграма повинна обробити список слів і додати результати обробки до word_vowels[l][v] де l – довжина слова, v – кількість голосних у слові.
Написати функцію novel10(text), яка виводить на екран нові слова що вперше зустрілися в останніх 10% тексту.
Написати програму, яка обробляє речення представлене у вигляді стрічки, розділяє його на окремі слова і підраховує частоту вживання окремих слів. Програма повинна виводити на екран впорядковані за абеткою та в окремих рядках всі слова та їх частоти.
>>> letter_vals = {'a':1, 'b':2, 'c':3, 'd':4, 'e':5, 'f':80, 'g':3, 'h':8,'i':10, 'j':10, 'k':20, 'l':30, 'm':40, 'n':50, 'o':70, 'p':80, 'q':100, 'r':200, 's':300, 't':400, 'u':6, 'v':6, 'w':800, 'x':60, 'y':10, 'z':7}
Гематрія – метод виявлення прихованого змісту слів на основі порівняння чисел, які відповідають словам. Слова з однаковими числами мають однаковий зміст. Число слова визначається сумуванням чисел, як відповідають його літерам. Написати функцію gematria() для сумування числових значень літер в слові згідно наступних значень letter_vals:
Гематрія – метод виявлення прихованого змісту слів на основі порівняння чисел, які відповідають словам. Слова з однаковими числами мають однаковий зміст. Число слова визначається сумуванням чисел, як відповідають його літерам. Здійснити аналіз корпусу (наприклад nltk.corpus.state_union). Для кожного з текстів визначити скільки слів мають номер 555 та 777. (Використовувати letter_vals з попередньої задачі)
Гематрія – метод виявлення прихованого змісту слів на основі порівняння чисел, які відповідають словам. Слова з однаковими числами мають однаковий зміст. Число слова визначається сумуванням чисел, як відповідають його літерам. Написати функцію decode() для обробки тексту, яка випадковим чином замінює слова на їх Гематрія-еквіваленти. Чи вдалося виявити "прихований зміст" тексту? (Використовувати letter_vals з попередньої задачі)
Написати функцію shorten(text, n) обробки тексту , для вилучення n найбільш частотних слів в тексті. Яким чином змінилась читабельність тексту, після вилучення цих слів?
Написати list comprehension для сортування списку синсетів WordNet за близькістю до заданого синсету. Наприклад, дані синсети minke_whale.n.01, orca.n.01, novel.n.01, та tortoise.n.01, потрібно їх відсортувати згідно їх path_distance() від right_whale.n.01.
Написати функцію, яка обробляє список слів (з дублюванням слів) і повертає список слів (без дублювання) відсортований в порядку спадання їх частоти.
Написати функцію, яка приймає текст і словник , як аргументи і повертає набір слів, які є у тексті але відсутні у словнику. Аргументи повинні бути представлені, як списки стрічок. Чи може функція мати один рядок при використанні set.difference()?
Імпортувати функцію itemgetter() модуля operator зі стандартної бібліотеки Python ( from operator import itemgetter). Створити список words , який містить декілька слів. Спробувати виконати: sorted(words, key=itemgetter(1)), та sorted(words, key=itemgetter(-1)). Пояснити письмово роботу функції itemgetter().
В NLTK реалізовано алгоритм Левінштейна для порівняння стрічок. Спробуйте скористатись цим модулем nltk.edit_dist(). Яким чином в цьому модулі використовується динамічне програмування? Який підхід використовується знизу-вверх чи зверху-вниз? Пояснити письмово.
4. Підготувати і оформити звіт.
-
Варіант
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Номери завдань
1
2
3
1
2
3
1
2
3
1
2
3
1
2
3
4
5
6
7
8
4
5
6
7
8
4
5
6
7
8
9
10
11
9
10
11
9
10
11
9
10
11
9
10
11
12
13
14
12
13
14
12
13
14
12
13
14
12
13
14
15
16
15
16
15
16
15
16
15
16
15
16
15
16
15
17
17
17
17
17
17
17
17
17
17
17
17
17
17
17
-
Варіант
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
Номери завдань
1
2
3
1
2
3
1
2
3
1
2
3
1
2
3
4
5
6
7
8
4
5
6
7
8
4
5
6
7
8
9
10
11
9
10
11
9
10
11
9
10
11
9
10
11
12
13
14
12
13
14
12
13
14
12
13
14
12
13
14
15
16
15
16
15
16
15
16
15
16
15
16
15
16
16
17
17
17
17
17
17
17
17
17
17
17
17
17
17
17
ЗМІСТ ЗВІТУ
5.1 Титульний аркуш.
5.2 Мета роботи.
5.3 Короткі теоретичні відомості.
5.4 Тексти програм на мові Python.
5.5 Висновок.
ЛІТЕРАТУРА
Steven Bird, Ewan Klein, Edward Loper Introduction to Natural Language Processing. 2001-2007 University of Pennsylvania.
Г. Россум, Ф.Л.Дж. Дрейк, Д.С. Откидач, М. Задка, М. Левис, С.Монтаро, Э.С.Реймонд, А.М.Кучлинг, М.-А.Лембург, К.-П.Йи, Д.Ксиллаг, Х.ГПетрилли, Б.А.Варсав, Дж.К.Ахлстром, Дж.Рокинд, Н.Шеменон, С.Мулендер. Язык программирования Python./ 2001 – 452c.
Сузи Р. А. Язык программирования Python.- 206с.
David Mertz Text Processing in Python Addison WesleyBiber, 2003 - 544.