Applied regression analysis / Лекции / Лекция 3. Байесовский подход и Акинатор
.pdf
Байесовский подход и Акинатор
Введение
Ликбез
Выбор персонажа по заданным ответам на вопросы
Стратегия
выбора
вопросов
Итоги
Байесовский подход и Акинатор
Спецкурс “Прикладной регрессионный анализ”
Что такое (кто такой) Акинатор?
Байесовский подход и Акинатор
Введение
Ликбез
Выбор персонажа по заданным ответам на вопросы
Стратегия
выбора
вопросов
Итоги
Можно найти по адресу http://akinator.com;
Расширенный вариант игры “20 вопросов”;
Специализируется на персонажах;
Как правило, угадывает, и очень быстро;
По всей видимости, обучается на ответах пользователей.
Что мы хотим сделать?
Байесовский подход и Акинатор
Мы хотим сделать своего Акинатора;
Введение
Ликбез
Можно поддерживать дерево, в котором внутренние узлы вопросы, а листья ответы. Однако:
Выбор |
|
Дерево нужно перебалансировать; |
заданным |
||
персонажа по |
|
|
ответам на |
|
Существуют вопросы, на которые нет |
вопросы |
|
однозначного ответа; |
|
|
|
Стратегия |
|
Если не нашли соответствия в базе, нельзя |
выбора |
||
вопросов |
|
попробовать “ткнуть пальцем в небо”, выбрав |
Итоги |
|
самого похожего персонажа. |
Вместо этого мы воспользуемся байесовским подходом!
Байесовский подход и Акинатор
Введение
Ликбез
Выбор персонажа по заданным ответам на вопросы
Стратегия
выбора
вопросов
Итоги
Собственная информация
Пусть X дискретная случайная величина, P(X = xi) = pi. Собственной информацией значения xi называется величина
I(xi) = log 1 = log pi; pi
В зависимости от основания логарифма измеряется в битах, натах, хартли;
Смысл: много ли мы узнали, когда нам сказали, что случайная величина X приняла значение xi;
Свойства:
Собственная информация случайная величина;
Неотрицательность: I(xi) 0;
Монотонность: I(x1) > I(x2) при p1 < p2.
Байесовский подход и Акинатор
Введение
Ликбез
Выбор персонажа по заданным ответам на вопросы
Стратегия
выбора
вопросов
Итоги
Энтропия
Энтропией дискретной случайной величины X называется математическое ожидание собственной
информации:
X X
H(p1; p2; : : : ; pn; : : :) = piI(xi) = pi log pi;
i i
Является своего рода мерой “неопределенности” случайной величины;
Смысл: много ли мы (в среднем) узнаем, когда нам говорят, что случайная величина X приняла какое-то значение.
Как и собственная информация, измеряется в битах, натах, хартли;
Для непрерывной случайной величины существует понятие дифференциальной энтропии.
Примеры
Байесовский подход и Акинатор
Введение
Ликбез
Выбор персонажа по заданным ответам на вопросы
Стратегия
выбора
вопросов
0.7 |
|
|
|
|
|
0.6 |
|
|
|
|
|
0.5 |
|
|
|
|
|
0.4 |
|
|
|
|
|
0.3 |
|
|
|
|
|
0.2 |
|
|
|
|
|
0.1 |
|
|
|
|
|
0 |
2 |
3 |
4 |
5 |
6 |
1 |
0.7
0.6
0.5
0.4
0.3
0.2 |
|
|
|
|
|
0.1 |
|
|
|
|
|
0 |
2 |
3 |
4 |
5 |
6 |
1 |
Итоги
На левом рисунке H = 1:7356, на правом H = 2:5789.
Байесовский подход и Акинатор
Введение
Ликбез
Выбор персонажа по заданным ответам на вопросы
Стратегия
выбора
вопросов
Итоги
Некоторые свойства энтропии
Непрерывность по pi;
Нет зависимости от порядка значений:
H(p1; p2; : : :) = H(p2; p1; : : :);
Максимум достигается на равномерном распределении:
Hn(p1; : : : ; pn) Hn |
n; : : : ; |
n |
= log n; |
||
|
1 |
|
1 |
|
|
Для равномерного распределения энтропия растет с ростом числа исходов:
Hn |
n; : : : ; |
n |
< Hn+1 |
n + 1; : : : ; |
n + 1 |
; |
|||
|
1 |
|
1 |
|
1 |
|
1 |
|
|
Байесовский подход и Акинатор
Введение
Ликбез
Выбор персонажа по заданным ответам на вопросы
Стратегия
выбора
вопросов
Итоги
Условная энтропия
Обозначим через H(X j Y = yi) энтропию распределения P(X j Y = yi);
Энтропией X при условии Y называется величина
X
H(X j Y) = H(X j Y = yi)P(Y = yi);
i
Смысл: какова (в среднем) неопределенность X, если мы знаем Y.
Легко убедиться, что если X и Y независимы, то
H(X j Y) = H(X).
Байесовский подход и Акинатор
Введение
Ликбез
Выбор персонажа по заданным ответам на вопросы
Стратегия
выбора
вопросов
Итоги
Байесовский подход для выбора персонажа
Давайте пока считать, что мы уже задали какое-то число вопросов, получили ответы и теперь хотим узнать, кто из персонажей мог быть загадан;
Пусть C обозначает загаданного персонажа, а выражение hQ; Ai означает “был задан вопрос Q и на него был получен ответ A”;
Фактически, нам нужно найти
P(C j hQ1; A1i; : : : ; hQn; Ani);
Применим теорему Байеса:
P(C j hQ1; A1i; : : : ; hQn; Ani) =
P(hQ1; A1i; : : : ; hQn; Ani j C)P(C)
= PC0 P(hQ1; A1i; : : : ; hQn; Ani j C0)P(C0):
Байесовский подход и Акинатор
Введение
Ликбез
Выбор персонажа по заданным ответам на вопросы
Стратегия
выбора
вопросов
Итоги
Предыдущие игры и априорное распределение
Давайте также считать, что мы уже играли в эту игру много раз и знаем, кто кого загадывал и как
на какие вопросы отвечал;
Тогда P(C), априорная вероятность того, что загадали какого-то персонажа, может быть вычислена как доля игр, в которых был загадан этот персонаж, среди всех игр;
Простая интерпретация: при прочих равных нужно называть более популярного персонажа, т.к. больше шансов, что мы отгадаем;
А что делать с P(hQ1; A1i; : : : ; hQn; Ani j C)?