Анализ опозданий

Опозданий в основной серии оказалось сравнительно немного (см. лист «14. Общая стат»):

Названия строк	время, мс	кол-во верных	кол-во опозд	кол-во ошиб.	кол-во сумм.	% опозд	% ошиб.
связанные слова	611,41	368	2	5	375	0,53%	1,33%
несвяз. слова	638,99	344	7	26	377	1,86%	6,90%
слово - не слово	698,48	688	14	52	754	1,86%	6,90%
Общий итог	660,97	1400	23	83	1506

Какой-то основательный анализ по опозданиям я не проводил, т.к. их абсолютное количество очень мало. Тем не менее, отмечу, что доля опозданий для случая пары связанных слов составила 0.5%, что почти в 4 раза меньше, чем доля опозданий для случая пары несвязанных слов (1.9%). С другой стороны, доля опозданий для случая пары несвязанных слов, которая составила 1.9%, оказалась равной доле опозданий для случая пары слово-не слово.

Лидером по количеству опозданий является пара «дерево ворост» (3 опоздания из 29). Статистика по другим парам приведена ниже (см. также лист «21. Опоздания по словам»):

Остается открытым вопрос, нужно ли отбрасывать эти опоздания, то есть случаи, когда ответ на вопрос не был дан до истечения 1 секунды. Хотя таких опозданий и немного (2/7/14), они обладают большим весом из-за своих значений, которые сильно отличаются от средних в большую сторону. Таким образом, такое отбрасывание может быть не совсем корректным. Но включать их я тоже не хотел, так как неизвестно время ответа на вопрос, а также, была ли бы в случае ответа ошибка или ответ был бы дан верный (ведь ответа как такового не было).

Можно было бы попробовать экстраполировать данные по времени ответа и процент ошибок на эти опоздания, но здесь мы упремся в то, что нам неизвестно распределение вероятностей, то есть получается замкнутый круг. Также важным является и то, что, возможно, некоторая часть этих опозданий связана с какими-то внешними факторами. То есть участника мог просто кто-то или что-то отвлечь на секунду. И количество таких случаев нам тоже неизвестно.

Тем не менее, учитывая, что процент опозданий для случая пары несвязанных слов и пары слово-не слово (1.9%) оказался в несколько раз выше процента опозданий для случая пары зависимых слов (0.5%), можно предположить, что опоздания связаны в первую очередь с уровнем сложности самих заданий, а не с внешними факторами.

В целом, я отбрасывал опоздания для целей анализа верных ответов.

Но чтобы результаты моего исследования были более объективными, в нескольких важных случаях я проводил параллельно два анализа, один только по верным ответам, другой – с добавлением к верным ответам также опозданий (считая их верными ответами с временем ответа 1000 мс). Во всех этих случаях анализ верных результатов с добавлениями опозданий подтверждал выводы анализа, полученного только на основе верных данных.

Возможно, если этот эксперимент повторять заново, имеет смысл немного повысить порог для опоздания, скажем, с 1000 мс до 1200-1500 мс, чтобы доля опозданий стала бы еще меньше.