Статистические решающие функции - определение и вычисление с примерами решения

Статистические решающие функции:

Пусть X – случайная величина, тип закона распределения которой

Пусть –– результаты n наблюдений случайной величины X.

Удобно рассматривать выборку как точку в выборочном пространстве W. Напомним, что W – совокупность всех возможных выборок данного объема из значений случайной величины.

По результатам наблюдений необходимо принять решение о значении параметра .

Если D – множество возможных решений (в нашем случае D совпадает с ), то с формальной точки зрения необходимо найти отображение выборочного пространства W на пространство решений D (см. рис. 3.8.1).

Такое отображение называют статистическим решающим правилом или стратегией.

При каждом мы можем принять любое решение Принятие решения d, когда истинное значение параметра равно , приводит к потере . Величина может быть и отрицательной – тогда это выигрыш. Для того чтобы выбрать оптимальное решающее правило, нужен критерий, по которому можно их сравнивать. Для этой цели вводится в рассмотрение так называемая функция риска, которая определяется как среднее значение функции потерь при значении параметра :

 Функция риска дает возможность сравнивать стратегии между собой. В частности, стратегия предпочтительнее стратегии если 

Иногда можно говорить о равномерно лучшей решающей функции. Такой, например, является решающая функция d₂ на рис. 3.8.2.

В случае если правила в названном смысле несравнимы (рис. 3.8.3), возможны разные подходы:

• 1) можно сравнивать площади под кривыми изображающими риски;
• 2) можно сравнивать наибольшие значения рисков и т.д.

Для каждой решающей функции существует наибольшее значение функции риска

Можно выбрать стратегию, при которой достигается 

Такую стратегию называют минимаксной. Идея такой стратегии проста: выбирается стратегия, при которой наибольший из возможных рисков минимален. Такая стратегия страхует от слишком больших потерь. В других отношениях это решающее правило может оказаться плохим. Например, стратегия d₁ (см. рис. 3.8.3) по этому принципу лучше стратегии d₂, хотя при подавляющем большинстве значений стратегия d₁ приводит к большему ущербу, чем d₂.

Для простоты рассмотрим случай, когда состоит из k элементов:

Пусть на основе накопленного опыта значения имеют вероятности (априорное распределение). Тогда функцию риска можно определить как математическое ожидание функции потерь по отношению к этому априорному распределению:

Стратегия, обращающая в минимум такую функцию риска, называется байесовской стратегией, отвечающей данному априорному распределению.

Различают два типа стратегий.

1. Чистая или нерандомизованная стратегия. При такой стратегии каждому результату наблюдений ставится в соответствие четко определенное решение.

Это означает, что выборочное пространство W разбивается на k взаимно непересекающихся областей и если результаты наблюдений то принимается решение

2. Рандомизованная стратегия (от английского слова random – случайный). Для каждого устанавливается набор вероятностей такой, что . Тогда при получении результатов наблюдений производится случайный эксперимент, в котором реализуется случайная величина, принимающая значения с вероятностями соответственно  Если выпадает значение то принимается решение

Выявим особенности минимаксной и байесовской стратегий. Ради наглядности изложения рассмотрим случай

Тогда роль функции риска будет играть вектор риска

Каждой чистой стратегии d_i соответствует на плоскости точка с координатами

Если рассмотреть рандомизованную стратегию с набором вероятностей

то каждой такой стратегии соответствует вектор риска с координатами

Геометрически это координаты центра тяжести масс в сумме равных единице и расположенных в точках, соответствующих чистым решениям. Каждой чистой стратегии соответствует масса равная единице, расположенная в соответствующей этой стратегии точке (остальные массы равны нулю). Если перебрать все возможные наборы то получим выпуклую оболочку точек, соответствующих чистым стратегиям. На плоскости такая оболочка выглядит как многоугольник (см. рис. 3.8.4), в общем случае – как многомерный многогранник.

Рассмотрим минимаксную стратегию. Нам необходимо для каждого вектора риска выбрать максимальную координату, а затем среди них выбрать наименьшую, т. е.

Заметим, что функция имеет график, изображенный на рис. 3.8.4 пунктирной линией.

Необходимо выбрать наименьшее c, при котором график этой функции имеет общую точку с линейной оболочкой (см. рис. 3.8.4). Из этого рисунка видно, что минимаксная стратегия почти наверное будет рандомизованной.

Из тех же геометрических соображений выявим характер байесовской стратегии. Опять обратимся к случаю двух значений Пусть Тогда функция риска имеет вид

По структуре это уравнение – уравнение прямой линии, а коэффициенты определяют ее наклон. В многомерном случае это будет уравнение плоскости (гиперплоскости). Нам необходима стратегия, при которой левая часть выражения (3.8.1) минимальна. Будем увеличивать c, пока прямая не коснется линейной оболочки (см. рис. 3.8.5).

В любом случае (и при касании в вершине, и при касании по стороне многоугольника) среди точек касания будет хотя бы одна вершина выпуклой оболочки, а вершина соответствует чистой стратегии. Тем самым мы проиллюстрировали утверждение о том, что при конечном числе исходных стратегий всегда существует чистая байесовская стратегия.

Минимаксная и байесовская стратегии связаны между собой: минимаксная стратегия является байесовской по отношению к наименее благоприятному априорному распределению. Наименее благоприятным оказывается распределение, при котором максимально возможный коэффициент в выражении соответствует наибольшей координате (другой коэффициент тогда равен нулю). В этом случае получаются линии или (см. рис. 3.8.6).

Замечание. Введенные понятия можно связать с теорией игр. Окружающий нас мир (природу) можно считать одним из игроков, а исследователя другим игроком (только в этом случае природа, в качестве участника игры, не злонамеренна по отношению к исследователю). Природа использует один из возможных ходов а исследователь в ответ на ход природы принимает решение Величина указывает потерю исследователя, выбравшего по результатам наблюдений стратегию когда природа выбрала Величина характеризует средние потери исследователя, использующего стратегию d.

Пример:

Наблюдается работа некоторого устройства в течение времени T. Положим , если устройство не вышло из строя за это время, и в противном случае. Пусть

т.е.

В отношении есть два предположения:  Иначе говоря, возможны два решения

Функция потерь определяется таблицей.

Требуется найти минимаксную стратегию и байесовскую стратегию по отношению к априорному распределению

Решение. В этой ситуации возможны следующие чистые решающие правила:

Решающие правила d₁ и d₄ соответствуют «предвзятому мнению».

Определим вектор риска для каждого решающего правила.

На рис. 3.8.7 жирными точками отмечены концы векторов риска, выделена закраской линейная оболочка векторов. Из этого рисунка видно, что оптимальной байесовской стратегией является стратегия d₁. Для минимаксной стратегии точка касания линейной оболочки примерно в три раза ближе к точке d₂, чем к точке d₄. Поэтому следует взять обратно пропорциональным расстояниям до названных точек, т.е. равным  а 

Ответ. Оптимальной байесовской стратегией является стратегия d₁. Оптимальная минимаксная стратегия реализуется при наборе вероятностей

Пример:

В двух внешне одинаковых урнах находятся шары. В первой урне пять белых и пять черных шаров, а во второй три белых и шесть черных. Урну выбирают наугад, и из нее производится повторная выборка четырех шаров. По результатам выбора необходимо принять решение относительно содержания урны, из которой производился выбор шаров, т.е. пространство решений состоит из двух решений:

• – решение a₁ – шары выбирались из первой урны (вероятность выбора белого шара равна );
• – решение a₂ – шары выбирались из второй урны (вероятность выбора белого шара равна ).

Необходимо найти минимаксную и байесовскую стратегии принятия решений, если функция потерь определяется таблицей: 

Решение. В условиях задачи возможны следующие чистые стратегии:

• – d₁ – принимается решение a₁, если все четыре раза выбирались белые шары, и принимается решение a₂, если белых шаров было выбрано три, два, один или ноль;
• – d₂ – принимается решение a₁, если из урны было выбрано три или четыре белых шара, и принимается решение a₂, если белых шаров было два, один или ноль;
• – d₃ – принимается решение a₁, если из урны было выбрано два, три или четыре белых шара, и принимается решение a₂, если белых шаров было один или ноль;
• – d₄ – принимается решение a₁, если в выборке один, два, три или четыре белых шара, и принимается решение a₂, если белых шаров в выборке нет.

Случаи «предвзятого мнения», когда при любой выборке принимается всегда одно из решений a₁ или a₂, исключим из рассмотрения.

Вероятности выбора того или иного числа белых шаров можно вычислить по формуле Бернулли (2.6.1). При  они равны  При  эти вероятности равны  

Учитывая эти вероятности, определим векторы риска для каждой стратегии:

– для d₁ имеем вектор с координатами 

– для d₂ имеем вектор с координатами

– для d₃ имеем вектор с координатами

– для d₄ имеем вектор с координатами

На рис. 3.8.8 жирными точками отмечены концы векторов риска, а закраской выделена линейная оболочка векторов.

Так как с равными шансами могла быть выбрана любая урна, то имеем априорное распределение: Байесовский риск в соответствии с соотношением (3.8.1) принимает вид 

Из рис. 3.8.8 видно, что оптимальной байесовской стратегией является стратегия d₃ .

Максимальные координаты векторов риска равны соответственно 4,69, 3,44, 1,56 и 3,01. Минимальная из них координата 1,56 у решающего правила d₃. Поэтому из названных чистых стратегий минимальный наибольший риск обеспечивает стратегия d₃. Найдем координаты точки A, которая соответствует минимаксной стратегии. Координаты этой точки x и y равны (она лежит на прямой ). Как известно, уравнение прямой, проходящей через две точки и имеет вид:

Поэтому прямая, проходящая через точки d₃ и d₄, имеет уравнение

Полученное уравнение вместе с равенством дает возможность определить координаты точки A:

Расстояние от точки d₃ до точки A равно

а расстояние от точки до точки A равно 

Первое расстояние примерно в пять раз меньше второго. Это означает, что решению d₃ следует приписать вероятность решение d₄ использовать с вероятностью а взять равными нулю. Далее следует поступать следующим образом. Подбрасываем игральный кубик. Если на нем выпадает заданная грань (например, цифра один), то используем стратегию d₄. Если же заданная грань не выпадает, то принимаем решение в соответствии с правилом d₃.

Ответ. Оптимальной байесовской стратегией является стратегия d₃. Оптимальная минимаксная стратегия реализуется при наборе вероятностей