8  A/B тестирование с пакетом bayesAB

У нас есть два диалектолога, которые поехали в экспедицию. Оба записали интервью с одним и тем же носителем, тестируя, с какой вероятностью носитель выдаст диалектную форму (1) или литературную форму (0).

Результаты исследователя A: c(0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0)

Результаты исследователя B: c(0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0)

У нас есть подозрение, что на результаты исследователя А повлиял прайминг, который он не контролировал. Проверьте гипотезу, если мы, в общем, не ожидаем увидеть эту диалектную черту в данной местности (Beta(1, 10)).

library(bayesAB)

A <- c(0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0)
B <- c(0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0)

AB <- bayesTest(A,
                B,
                priors = c('alpha' = 1, 'beta' = 10),
                distribution = 'bernoulli')

summary(AB)

Quantiles of posteriors for A and B:

$Probability
$Probability$A
         0%         25%         50%         75%        100% 
0.007674542 0.084978078 0.115807833 0.152304490 0.406139572 

$Probability$B
         0%         25%         50%         75%        100% 
0.001518891 0.043386036 0.066348680 0.095744545 0.335683331 


--------------------------------------------

P(A > B) by (0)%: 

$Probability
[1] 0.7839

--------------------------------------------

Credible Interval on (A - B) / B for interval length(s) (0.9) : 

$Probability
       5%       95% 
-0.451066  5.411422 

--------------------------------------------

Posterior Expected Loss for choosing A over B:

$Probability
[1] 0.1294347

plot(AB)