Тема 12. Оценивание параметров дискретных распределений. Расчёт и прогнозирование частотного спектра

Порядок установления типа выравнивающего распределения и нахождения оценок параметров.

Критерий степени неравномерности появления событий.

Ранжирование слов по степени семантической нагрузки.

Прогнозирование кривых роста новых лексических единиц и частотного спектра.

Расчёт достоверной части частотного словаря на выборке заданного объёма.

Практические занятия

По статистическим распределениям слов в подвыборках одинакового объёма установить тип выравнивающих дискретных распределений, найти оценки параметров и ранжировать слова по степени семантической нагрузки.

Установить по статистическому ранговому распределению тип выравнивающего дискретного распределения, найти оценки параметров.

Рассчитать достоверную часть частотного словаря при заданном объёме текста и заданной минимальной частоте слова в частотном словаре.

Раздел IV. Система кривых роста

Тема 13. Статистический анализ текста с помощью кривых роста

Кривые роста новых слов в выборке и связном тексте. Оценивание параметров.

Оценка степени аналитичности языка.

Оценка степени связности слов в лексически однородном тексте.

Оценка лексической близости двух связных текстов. Автоматическая классификация текстов.

Определение полноты словаря.

Практические занятия

По статистической зависимости объёма словаря от объёма выборки найти выравнивающую кривую роста новых слов и вычислить оценки её параметров.

По статистическим данным вычислить показатели: степени аналитичности языка; степени связности слов; полноты словаря.

Вопросы к зачёту

I. Кривая роста новых событий и её исследование

1. Понятие математического ожидания случайной функции, нового события и кривой роста новых событий.

2. Связь кривой роста с законами распределения вероятностей разных и новых событий.

3. Формула В.М.Калинина для расчёта статистической структуры выборки по кривой роста новых событий.

4. Формула В.М.Калинина для восстановления кривой роста новых событий по статистической структуре выборки.

5. Порядок построения системы кривых роста и непрерывных распределений новых событий.

II. Системы непрерывных распределений

6. Методы построения универсальных (обобщённых) непрерывных распределений.

7. Семейство кривых К.Пирсона.

8. Три системы непрерывных распределений В.Нешитого.

9. Распределения групп А и Б.

10. Классификация распределений.

11. Ранговые распределения. Закон Ципфа в семействе ранговых распределений.

12. Характерные точки кривых распределения и связь их с законами рассеяния публикаций.

13. Методы оценивания параметров: метод моментов, метод наибольшего правдоподобия, метод наименьших квадратов, общий устойчивый метод.

14. Применение системы непрерывных распределений в информатике и лингвистике.

15. Универсальные законы рассеяния и старения публикаций.

III. Система дискретных распределений

16. Методы построения системы дискретных распределений.

17. Классификация дискретных распределений.

18. Порядок установления типа выравнивающего дискретного распределения и нахождения оценок параметров.

19. Критерий степени неравномерности появления событий.

20. Прогнозирование кривой роста новых событий и частотного спектра.

21. Расчёт достоверной части частотного словаря.