Statistiques bayésiennes vs fréquentistes : pas si important ?

Note : Ceci est une traduction française d'un article de blog initialement publié en anglais, que vous pouvez trouver ici : https://statsig.com/blog/bayesian-vs-frequentist-statistics

La confusion centrale : Que signifie vraiment « 90% de probabilité » ?

Imaginez que vous essayez de déterminer la taille moyenne des adultes dans votre ville. Vous collectez des données et calculez une plage de valeurs possibles.

• Fréquentiste : Un fréquentiste pourrait dire : « Nous avons calculé un intervalle de confiance à 90% de 1,68 m à 1,75 m. » Cela semble indiquer qu'il y a 90% de chances que la vraie taille moyenne se situe dans cette plage, n'est-ce pas ? Pas tout à fait.

• Bayésien : Un bayésien pourrait dire : « Nous avons calculé un intervalle de crédibilité à 90% de 1,68 m à 1,75 m. » Cela signifie effectivement qu'il y a 90% de chances que la vraie taille moyenne se trouve dans cette plage, selon leur modèle.

Alors, qui a raison ? La réponse est étonnamment simple : les deux, dans leurs cadres respectifs. La différence provient de la façon dont ils traitent l'idée d'une taille moyenne « inconnue » et de ce que représente la « probabilité ».

Penser comme un fréquentiste : Tout est question de procédure

Les fréquentistes voient le monde en termes d'expériences répétées. Pensez-y ainsi :

• L'inconnue est fixe : La vraie taille moyenne des adultes dans votre ville ne change pas pendant que vous analysez vos données. C'est un nombre fixe, bien qu'inconnu.

• L'aléatoire est dans les données : L'aléatoire provient des personnes que vous échantillonnez. Si vous répétiez votre enquête plusieurs fois, vous obtiendriez des résultats légèrement différents à chaque fois.

• Les intervalles de confiance concernent la répétition : Un intervalle de confiance à 90% signifie que si vous répétiez tout ce processus (collecter des données et calculer l'intervalle) de nombreuses fois, 90% de ces intervalles contiendraient la vraie taille moyenne.

Penser comme un bayésien : Tout est question de croyances

Les bayésiens adoptent une approche différente. Ils traitent la taille moyenne inconnue comme quelque chose qui peut avoir une distribution de probabilité.

• L'inconnue est incertaine : Avant de voir des données, vous pourriez avoir une croyance initiale (un « prior ») sur la taille moyenne. Peut-être pensez-vous qu'elle est probablement autour de 1,70 m, mais vous n'êtes pas sûr.

• Les données mettent à jour les croyances : Les données que vous collectez mettent à jour cette croyance initiale, conduisant à une distribution « postérieure ». Cette postérieure représente votre compréhension actualisée de la taille moyenne.

• Les intervalles de crédibilité concernent la probabilité : Un intervalle de crédibilité à 90% signifie qu'il y a 90% de probabilité (basée sur votre modèle et les données) que la vraie taille moyenne se situe dans cette plage.

Pourquoi les philosophies peuvent sembler s'opposer

La différence fondamentale est la suivante :

• Fréquentistes : Se concentrent sur la fréquence à long terme des événements. La probabilité concerne la fréquence à laquelle quelque chose se produirait si vous répétiez l'expérience de nombreuses fois.

• Bayésiens : Se concentrent sur le degré de croyance ou de certitude concernant une inconnue. La probabilité est une mesure de la vraisemblance de quelque chose, étant donné vos connaissances actuelles.

Ces différences ont-elles vraiment de l'importance en pratique ?

Voici la partie surprenante : souvent, pas autant qu'on pourrait le penser !

• Grands échantillons : Lorsque vous avez beaucoup de données, les approches bayésienne et fréquentiste tendent à donner des résultats très similaires. Les données l'emportent sur toute croyance préalable dans l'approche bayésienne.

• Priors non informatifs : Si un bayésien utilise un prior « plat » ou « non informatif » (ce qui signifie qu'il n'a pas de croyances initiales fortes), les résultats s'alignent souvent étroitement avec les méthodes fréquentistes.

• Décisions du monde réel : Imaginez que vous testez deux versions d'un site web (test A/B).

  • Un fréquentiste pourrait vérifier si un intervalle de confiance à 95% pour la différence des taux de conversion exclut zéro.

  • Un bayésien pourrait vérifier si un intervalle de crédibilité à 95% pour la différence se situe entièrement au-dessus de zéro.

  • Dans la plupart des cas, ils arriveront à la même conclusion sur la version qui est meilleure.

Une note sur le bayésien avec des priors informatifs

Les méthodes bayésiennes avec des priors informatifs sont l'un des rares domaines où différentes approches peuvent conduire à des décisions et des résultats commerciaux différents. En théorie, elles offrent plusieurs avantages :

1. Une prise de décision plus rapide et plus précise

2. La capacité d'exploiter les informations passées

3. Une façon structurée de débattre des hypothèses sous-jacentes

En raison de ces avantages, certains préconisent leur adoption, notamment des data scientists dans des entreprises comme Amazon et Netflix.

Cependant, en pratique, les méthodes bayésiennes avec des priors informatifs peuvent être risquées. En raison de problèmes principal-agent et d'un biais général vers des résultats positifs, elles peuvent être mal utilisées pour manipuler les résultats d'expériences tout en maintenant l'apparence de rigueur scientifique. Un data scientist qualifié équipé de cette méthode peut presque faire apparaître n'importe quel résultat.

L'essentiel : Il s'agit davantage d'« interprétation »

• Intervalles de confiance fréquentistes : Vous renseignent sur la performance à long terme de votre méthode. Ils ne font pas de déclarations de probabilité sur un intervalle spécifique.

• Intervalles de crédibilité bayésiens : Vous permettent de faire des déclarations de probabilité directes sur le paramètre inconnu, basées sur votre modèle et les données.

Les deux approches sont valides et utiles. Le choix dépend souvent de :

• Votre niveau de confort avec les priors : Êtes-vous à l'aise pour incorporer des croyances préalables dans votre analyse ?

• Comment vous voulez communiquer : Préférez-vous parler de fréquences à long terme ou de probabilités directes ?

• Les conventions de votre domaine : Certains domaines ont de fortes traditions favorisant une approche plutôt qu'une autre.

• Tolérance au risque : Le bayésien est bon si le coût de déploiement est faible, ou si le risque de déployer quelque chose de mauvais est faible, car vous évoluerez plus rapidement dans la bonne direction que si vous ne déployez qu'avec p<0,05

En fin de compte, le débat bayésien vs fréquentiste est largement philosophique. Bien que les interprétations diffèrent, les implications pratiques sont souvent minimes.

Le bayésien n'introduit aucune nouvelle information. Les deux méthodes observent des moyennes et des écarts-types de différents groupes de test. Concentrez-vous sur la compréhension des hypothèses de chaque approche et choisissez celle qui convient le mieux à votre situation spécifique et à vos objectifs de communication. Si vous n'êtes pas sûr, j'ai deux conseils spécifiques :

1. Utilisez les fréquentistes par souci de simplicité pour réduire les frais de communication.

2. Dans les deux approches, pensez à votre décision comme un pari – Les dirigeants doivent souvent opérer dans l'incertitude. Le travail des data scientists est d'estimer les risques et les probabilités, puis de faire une recommandation. C'est la qualité de la décision qui compte.

Ne vous enlisez pas dans la « guerre ». Comprenez le débat théorique, mais concentrez-vous sur le résultat commercial.