Готовые отчеты (2021) / Лабораторная работа 6
.pdf
Рисунок 52 — Wine. Сеть 1. Динамика изменения ошибки и точности
Рисунок 53 — Wine. Сеть 1. Обучающая выборка. Матрица неточностей
31
Рисунок 54 — Wine. Сеть 2. Динамика изменения ошибки и точности
Рисунок 55 — Wine. Сеть 2. Обучающая выборка. Матрица неточностей
32
Рисунок 56 — Wine. Сеть 3. Динамика изменения ошибки и точности
Рисунок 57 — Wine. Сеть 3. Обучающая выборка. Матрица неточностей
33
Эксперименты.
Эксперименты проводятся на наборе данных MNIST.
Эксперимент №1. Исследование влияния отклонения изображения от эталона (в разных точках изображения) на качество распознавания. В качестве исходного распознаваемого образа берется один из эталонов и подправляется таким образом, чтобы отсутствовал один, два и т. д. пикселей в изображении эталона (либо в процентном соотношении). Эксперимент проводится для нескольких случаев (отсутствие пикселей в разных участках изображения) для всех эталонов. При этом сравниваются различные нейронные сети.
Таблица 17 — Результаты эксперимента №1
Net |
Pixel Removal |
Accuracy |
|
Percentage |
|
1 |
0.2 |
Train Accuracy: 89.32% | Test Accuracy: 88.83% |
|
|
|
|
0.4 |
Train Accuracy: 78.50% | Test Accuracy: 77.79% |
|
|
|
|
0.5 |
Train Accuracy: 70.01% | Test Accuracy: 69.93% |
|
|
|
|
0.6 |
Train Accuracy: 59.41% | Test Accuracy: 59.20% |
|
|
|
|
0.8 |
Train Accuracy: 30.06% | Test Accuracy: 30.17% |
|
|
|
2 |
0.2 |
Train Accuracy: 98.91% | Test Accuracy: 97.29% |
|
|
|
|
0.4 |
Train Accuracy: 96.05% | Test Accuracy: 95.17% |
|
|
|
|
0.5 |
Train Accuracy: 93.20% | Test Accuracy: 92.22% |
|
|
|
|
0.6 |
Train Accuracy: 87.69% | Test Accuracy: 86.92% |
|
|
|
|
0.8 |
Train Accuracy: 58.23% | Test Accuracy: 58.00% |
|
|
|
3 |
0.2 |
Train Accuracy: 33.49% | Test Accuracy: 33.53% |
|
|
|
|
0.4 |
Train Accuracy: 26.48% | Test Accuracy: 26.85% |
|
|
|
|
0.5 |
Train Accuracy: 20.50% | Test Accuracy: 20.58% |
|
|
|
|
0.6 |
Train Accuracy: 13.98% | Test Accuracy: 14.07% |
|
|
|
|
0.8 |
Train Accuracy: 10.00% | Test Accuracy: 10.00% |
|
|
|
Рисунок 58 — Эксперимент №1. Исходное изображение и преобразования
34
Эксперимент №2. Исследование влияния отклонений в виде шума одного, двух, трех и т. д. пикселей в изображении на качество распознавания. В качестве исходного распознаваемого образа берется один из эталонов и добавляется один или несколько пикселей шума. Эксперимент проводится для различного расположения шума и для различных эталонов. В ходе эксперимента также сравниваются различные нейронные сети.
Таблица 18 — Результаты эксперимента №2
Net |
Pixel |
Noise |
Accuracy |
Percentage |
Factor |
||
|
|
|
|
1 |
0.2 |
0.6 |
Train Accuracy: 88.40% | Test Accuracy: 87.60% |
|
|
|
|
|
0.4 |
0.5 |
Train Accuracy: 80.88% | Test Accuracy: 79.95% |
|
|
|
|
|
0.5 |
0.4 |
Train Accuracy: 81.97% | Test Accuracy: 80.81% |
|
|
|
|
|
0.6 |
0.3 |
Train Accuracy: 80.81% | Test Accuracy: 84.57% |
|
|
|
|
|
0.8 |
0.2 |
Train Accuracy: 88.77% | Test Accuracy: 88.00% |
|
|
|
|
|
1.0 |
0.1 |
Train Accuracy: 92.99% | Test Accuracy: 91.86% |
|
|
|
|
2 |
0.2 |
0.6 |
Train Accuracy: 93.75% | Test Accuracy: 91.92% |
|
|
|
|
|
0.4 |
0.5 |
Train Accuracy: 82.58% | Test Accuracy: 81.69% |
|
|
|
|
|
0.5 |
0.4 |
Train Accuracy: 82.79% | Test Accuracy: 81.65% |
|
|
|
|
|
0.6 |
0.3 |
Train Accuracy: 85.38% | Test Accuracy: 83.77% |
|
|
|
|
|
0.8 |
0.2 |
Train Accuracy: 88.04% | Test Accuracy: 86.63% |
|
|
|
|
|
1.0 |
0.1 |
Train Accuracy: 96.77% | Test Accuracy: 94.65% |
|
|
|
|
3 |
0.2 |
0.6 |
Train Accuracy: 35.82% | Test Accuracy: 35.92% |
|
|
|
|
|
0.4 |
0.5 |
Train Accuracy: 35.48% | Test Accuracy: 35.77% |
|
|
|
|
|
0.5 |
0.4 |
Train Accuracy: 35.55% | Test Accuracy: 35.76% |
|
|
|
|
|
0.6 |
0.3 |
Train Accuracy: 35.69% | Test Accuracy: 35.70% |
|
|
|
|
|
0.8 |
0.2 |
Train Accuracy: 35.74% | Test Accuracy: 35.97% |
|
|
|
|
|
1.0 |
0.1 |
Train Accuracy: 35.91% | Test Accuracy: 36.08% |
|
|
|
|
Рисунок 59 — Эксперимент №2. Исходное изображение и преобразования
35
Эксперимент №3. Исследование влияния наличия шума и отклонений в виде одного, двух, трех и т. д. пикселей в изображении на качество распознавания. В качестве исходного распознаваемого образа берется один из эталонов. В изображение распознаваемого образа вносится шум в виде нескольких пикселей и удаляется несколько пикселей в изображении символа. Эксперимент повторяется для различного расположения шума и отклонений, и для разных эталонов на различных типах нейронных сетей. Данный эксперимент является комбинацией первых двух.
Таблица 19 — Результаты эксперимента №3
|
Pixel |
Pixel |
Noise |
|
|
Net |
Addition |
Removal |
Accuracy |
||
Factor |
|||||
|
Percentage |
Percentage |
|
|
|
1 |
0.2 |
0.2 |
0.6 |
Train Accuracy: 79% | Test Accuracy: 77% |
|
|
|
|
|
|
|
|
0.4 |
0.4 |
0.5 |
Train Accuracy: 52% | Test Accuracy: 51% |
|
|
|
|
|
|
|
|
0.5 |
0.5 |
0.4 |
Train Accuracy: 42% | Test Accuracy: 42% |
|
|
|
|
|
|
|
|
0.6 |
0.6 |
0.3 |
Train Accuracy: 36% | Test Accuracy: 36% |
|
|
|
|
|
|
|
|
0.8 |
0.8 |
0.2 |
Train Accuracy: 16% | Test Accuracy: 16% |
|
|
|
|
|
|
|
2 |
0.2 |
0.2 |
0.6 |
Train Accuracy: 88% | Test Accuracy: 86% |
|
|
|
|
|
|
|
|
0.4 |
0.4 |
0.5 |
Train Accuracy: 62% | Test Accuracy: 62% |
|
|
|
|
|
|
|
|
0.5 |
0.5 |
0.4 |
Train Accuracy: 53% | Test Accuracy: 53% |
|
|
|
|
|
|
|
|
0.6 |
0.6 |
0.3 |
Train Accuracy: 46% | Test Accuracy: 46% |
|
|
|
|
|
|
|
|
0.8 |
0.8 |
0.2 |
Train Accuracy: 20% | Test Accuracy: 20% |
|
|
|
|
|
|
|
3 |
0.2 |
0.2 |
0.6 |
Train Accuracy: 33% | Test Accuracy: 33% |
|
|
|
|
|
|
|
|
0.4 |
0.4 |
0.5 |
Train Accuracy: 26% | Test Accuracy: 27% |
|
|
|
|
|
|
|
|
0.5 |
0.5 |
0.4 |
Train Accuracy: 20% | Test Accuracy: 21% |
|
|
|
|
|
|
|
|
0.6 |
0.6 |
0.3 |
Train Accuracy: 14% | Test Accuracy: 14% |
|
|
|
|
|
|
|
|
0.8 |
0.8 |
0.2 |
Train Accuracy: 10% | Test Accuracy: 10% |
|
|
|
|
|
|
Рисунок 60 — Эксперимент №3. Исходное изображение и преобразования
36
Эксперимент №4. Исследование влияния наличия черной строки или столбца в изображении (как помеха в образе) на качество распознавания. В качестве исходного распознаваемого образа берется один из эталонов. В изображение вносится черная строка или столбец. Эксперимент повторяется для различного положения строки или столбца в изображении и для различных эталонов. В ходе эксперимента сравниваются различные нейронные сети.
Примечание. Вместо черной строки или столбца берется столбец или строка цвета образа.
Таблица 20 — Результаты эксперимента №4
Net |
Row |
Col |
Accuracy |
|
|
|
|
1 |
18 |
— |
Train Accuracy: 77.13% | Test Accuracy: 76.59% |
|
|
|
|
|
— |
18 |
Train Accuracy: 91.08% | Test Accuracy: 90.35% |
|
|
|
|
|
18 |
18 |
Train Accuracy: 72.17% | Test Accuracy: 71.33% |
|
|
|
|
|
10 |
— |
Train Accuracy: 70.67% | Test Accuracy: 70.02% |
|
|
|
|
|
— |
10 |
Train Accuracy: 82.22% | Test Accuracy: 81.91% |
|
|
|
|
|
10 |
10 |
Train Accuracy: 64.43% | Test Accuracy: 63.97% |
|
|
|
|
2 |
18 |
— |
Train Accuracy: 87.96% | Test Accuracy: 86.79% |
|
|
|
|
|
— |
18 |
Train Accuracy: 96.72% | Test Accuracy: 95.25% |
|
|
|
|
|
18 |
18 |
Train Accuracy: 79.02% | Test Accuracy: 77.95% |
|
|
|
|
|
10 |
— |
Train Accuracy: 88.66% | Test Accuracy: 87.59% |
|
|
|
|
|
— |
10 |
Train Accuracy: 91.92% | Test Accuracy: 90.70% |
|
|
|
|
|
10 |
10 |
Train Accuracy: 75.78% | Test Accuracy: 74.94% |
|
|
|
|
3 |
18 |
— |
Train Accuracy: 35.39% | Test Accuracy: 10.42% |
|
|
|
|
|
— |
18 |
Train Accuracy: 35.08% | Test Accuracy: 13.69% |
|
|
|
|
|
18 |
18 |
Train Accuracy: 34.11% | Test Accuracy: 07.18% |
|
|
|
|
|
10 |
— |
Train Accuracy: 35.63% | Test Accuracy: 10.09% |
|
|
|
|
|
— |
10 |
Train Accuracy: 35.69% | Test Accuracy: 07.56% |
|
|
|
|
|
10 |
10 |
Train Accuracy: 34.72% | Test Accuracy: 10.20% |
|
|
|
|
Рисунок 61 — Эксперимент №4. Исходное изображение и преобразования
37
Эксперимент №5. Исследование влияния наличия белой строки или столбца в изображении (как помеха в образе) на качество распознавания. В качестве исходного распознаваемого образа берется один из эталонов. В изображение вносится белая строка или столбец. Эксперимент повторяется для различного положения строки или столбца в изображении и для различных эталонов на различных нейронных сетях.
Примечание. Вместо белой строки или столбца берется строка или столбец фонового цвета.
Таблица 21 — Результаты эксперимента №5
Net |
Row |
Col |
Accuracy |
|
|
|
|
1 |
18 |
— |
Train Accuracy: 91.03% | Test Accuracy: 90.13% |
|
|
|
|
|
— |
18 |
Train Accuracy: 92.99% | Test Accuracy: 92.17% |
|
|
|
|
|
18 |
18 |
Train Accuracy: 90.85% | Test Accuracy: 90.00% |
|
|
|
|
|
10 |
— |
Train Accuracy: 91.69% | Test Accuracy: 90.71% |
|
|
|
|
|
— |
10 |
Train Accuracy: 92.79% | Test Accuracy: 91.98% |
|
|
|
|
|
10 |
10 |
Train Accuracy: 90.25% | Test Accuracy: 89.17% |
|
|
|
|
2 |
18 |
— |
Train Accuracy: 99.20% | Test Accuracy: 97.54% |
|
|
|
|
|
— |
18 |
Train Accuracy: 99.17% | Test Accuracy: 97.54% |
|
|
|
|
|
18 |
18 |
Train Accuracy: 98.46% | Test Accuracy: 96.94% |
|
|
|
|
|
10 |
— |
Train Accuracy: 98.92% | Test Accuracy: 97.03% |
|
|
|
|
|
— |
10 |
Train Accuracy: 99.28% | Test Accuracy: 97.54% |
|
|
|
|
|
10 |
10 |
Train Accuracy: 97.90% | Test Accuracy: 96.41% |
|
|
|
|
3 |
18 |
— |
Train Accuracy: 35.84% | Test Accuracy: 35.78% |
|
|
|
|
|
— |
18 |
Train Accuracy: 36.21% | Test Accuracy: 36.39% |
|
|
|
|
|
18 |
18 |
Train Accuracy: 35.74% | Test Accuracy: 35.96% |
|
|
|
|
|
10 |
— |
Train Accuracy: 35.59% | Test Accuracy: 35.64% |
|
|
|
|
|
— |
10 |
Train Accuracy: 35.20% | Test Accuracy: 35.30% |
|
|
|
|
|
10 |
10 |
Train Accuracy: 34.79% | Test Accuracy: 34.96% |
|
|
|
|
Рисунок 62 — Эксперимент №5. Исходное изображение и преобразования
38
Эксперимент №6. Исследование влияния количества нейронов в слоях на качество распознавания. Количество нейронов в слое варьируется от двух до некоторого достаточного числа. Эксперимент повторяется на различных нейронных сетях.
Число итераций (эпох) — 10. Таблица 22 — Результаты эксперимента №6
Net |
|
Neuron count |
Accuracy |
|
|
|
|
1 |
|
10 |
Train Accuracy: 93.07% | Test Accuracy: 92.80% |
|
|
(output layer) |
|
|
|
|
|
|
|
|
|
2 |
|
60 |
Train Accuracy: 98.40% | Test Accuracy: 97.06% |
|
|
|
|
|
|
80 |
Train Accuracy: 98.81% | Test Accuracy: 97.83% |
|
|
|
|
|
|
100 |
Train Accuracy: 99.05% | Test Accuracy: 97.67% |
|
|
|
|
|
|
150 |
Train Accuracy: 99.31% | Test Accuracy: 98.11% |
|
|
|
|
|
|
200 |
Train Accuracy: 99.42% | Test Accuracy: 98.32% |
|
|
|
|
3 |
|
60 |
Train Accuracy: 26.55% | Test Accuracy: 26.24% |
|
|
|
|
|
|
80 |
Train Accuracy: 31.18% | Test Accuracy: 30.88% |
|
|
|
|
|
|
100 |
Train Accuracy: 32.52% | Test Accuracy: 32.38% |
|
|
|
|
|
|
150 |
Train Accuracy: 41.62% | Test Accuracy: 41.43% |
|
|
|
|
|
|
200 |
Train Accuracy: 47.70% | Test Accuracy: 47.38% |
|
|
|
|
|
Ключевые выводы: |
|
|
1.Персептрону достаточно выходного слоя с 10 нейронами для точности >90% на MNIST. Т. е. персептрон — достаточно гибкая нейронная сеть.
2.Точность нейронной сети встречного распространения зависит напрямую от числа тренировочных образцов и числа нейронов в слое Кохонена. Лучший результат достигается тогда, когда число нейронов равняется числу образцов — на первой же эпохе будет 100% (при включенной оптимизации). Однако если число образцов (и нейронов) велико (например, 10000 образцов и 10000 нейронов в слое Кохонена), то обучение и процесс предсказания будут слишком медленными; такая сеть будет считаться непрактичной (неудивительно, что в Интернете о персептроне написано больше, чем о нейронной сети встречного распространения).
39
Эксперимент №7. Исследование влияния количества нейронов в слоях и количества эталонов на скорость обучения сети. В ходе проведения эксперимента количество нейронов в слое варьируется от двух до некоторого достаточного числа, также варьируется количество эталонов. В каждом случае фиксируется число итераций (эпох) и время обучения. Эксперимент повторяется на различных нейронных сетях.
Таблица 23 — Результаты эксперимента №7
Net |
Neuron count |
Train images |
Epochs |
Time |
|
|
|
|
|
1 |
|
10000 |
|
11.532 s. |
|
|
|
|
|
|
10 |
20000 |
|
23.151 s. |
|
(output layer) |
30000 |
|
34.990 s. |
|
|
|
|
|
|
|
40000 |
|
46.752 s. |
|
|
|
|
|
2 |
80 |
10000 |
|
102.529 s. |
|
|
|
|
|
|
80 |
20000 |
|
204.834 s. |
|
|
|
|
|
|
80 |
30000 |
|
309.747 s. |
|
|
|
|
|
|
80 |
40000 |
|
406.078 s. |
|
|
|
|
|
|
100 |
10000 |
|
118.084 s. |
|
|
|
|
|
|
100 |
20000 |
10 |
237.135 s. |
|
|
|
|
|
|
100 |
30000 |
358.507 s. |
|
|
|
|||
|
|
|
|
|
|
100 |
40000 |
|
465.587 s. |
|
|
|
|
|
3 |
80 |
10000 |
|
35.069 s. |
|
|
|
|
|
|
80 |
20000 |
|
72.728 s. |
|
|
|
|
|
|
80 |
30000 |
|
114.387 s. |
|
|
|
|
|
|
80 |
40000 |
|
147.197 s. |
|
|
|
|
|
|
100 |
10000 |
|
41.443 s. |
|
|
|
|
|
|
100 |
20000 |
|
75.894 s. |
|
|
|
|
|
|
100 |
30000 |
|
117.989 s. |
|
|
|
|
|
|
100 |
40000 |
|
152.478 s. |
|
|
|
|
|
40