20.(2)Визуализация данных. Диаграммы рассеяния
Диаграмма рассеяния (рассеивания) – диаграмма, составленная из точек на координатной плоскости. Диаграммы рассеяния применяют для изучения связей между двумя различными характеристиками, например, ростом и весом животного и т.д. При этом абсцисса и ордината каждой точки на диаграмме - значения этих характеристик.
Если
на плоскости мы видим "облако"
точек, вытянутое от левого нижнего угла
к правому верхнему, то можно говорить
о наличии положительной связи между
признаками, т.е. с ростом одного признака
другой в среднем растет. Если же это
"облако" точек вытянуто от левого
верхнего угла к правому нижнему, то
характер связи отрицательный, т.е.
с ростом одного признака другой признак
в среднем убывает. Если "облако"
точек вытянуто по горизонтали, по
вертикали или же точки более-менее
равномерно заполняют круг, то связь
между признаками, скорее всего,
отсутствует.
21.(2)Визуализация данных. Кривая обучения. Ошибка средняя, максимальная. Понятие переобучения модели.Кривая обучаемости — графическое представление изменения скорости обучения определённому знанию или виду деятельности. Как правило, способность сохранять в памяти новую информацию максимальна после первых попыток освоения данной деятельности, затем скорость обучения постепенно снижается, что означает необходимость большего числа повторений для усвоения материала[1].Кривая обучаемости также иллюстрирует изначальную сложность изучения чего-либо, а также то, насколько много предстоит освоить после начального ознакомления.
Переобучение, переподгонка (overtraining, overfitting) — нежелательное явление, возникающее при решении задачобучения по прецедентам, когда вероятность ошибки обученного алгоритма на объектах тестовой выборки оказывается существенно выше, чем средняя ошибка на обучающей выборке. Переобучение возникает при использовании избыточно сложных моделей
22.(2)Специализированые методы визуализации (в примерах).
Существует ряд задач, специфика которых требует применения специализированных визуализаторов, Например, карты Кохонена специально разработаны для визуализации результатов кластеризации, матрицы классификации используются в основном для проверки состоятельности классификационных моделей, а с помощью диаграмм рассеяния оценивается корректность работы регрессионных моделей. При изучении различных видов визуализации удобнее рассматривать их не поотдельности, а в контексте задач, для которых они наиболее часто применяются.В связи с этим выделяются следующие группы методов визуализации:
Ообщего назначения применяются для решения типовых задач анализа дaнных:визуальной оценки качества и характера данных, распределения значений признаков, статистических характеристик и т. д.;
оценка качества моделей позволяет оценивать различные характеристики моделей, такие как точность, эффективность, достоверность результатов, интерпретируемость, устойчивость и т. д.;
интерпретация результатов анализа служит для представления конечных результатов анализа в виде, наиболее удобном с точки зрения их интерпретации пользователем.
Подсистемы визуализации данных содержатся не только в специализированных аналитических платформах, но и практически во всех прогpаммных средствах, которые связаны с обработкой данных, от офисных приложений до систем компьютерной математики.