Échantillonnage stratifié dans les tests A/B

Note : Ceci est une traduction française d'un article de blog initialement publié en anglais, que vous pouvez trouver ici : https://statsig.com/blog/stratified-sampling-in-ab-tests

Introduction à l'échantillonnage stratifié dans les tests A/B

L'échantillonnage stratifié est une technique utilisée pour diviser une population en sous-groupes ou strates plus petits et distincts avant l'échantillonnage. Cette méthode est cruciale dans les tests A/B car elle garantit que chaque sous-groupe est adéquatement représenté, fournissant ainsi un échantillon plus précis et non biaisé qui reflète la diversité de l'ensemble de la population. Pour le praticien, cela signifie que les faux positifs aléatoires causés par de petits groupes d'utilisateurs à forte utilisation sont moins probables.

La raison pour laquelle l'échantillonnage stratifié est si précieux dans les tests A/B se résume à son impact sur la précision et la fiabilité. L'échantillonnage stratifié réduit le taux de faux positifs en appliquant l'élément « identique » de l'hypothèse i.i.d. dans l'expérimentation.

En intégrant l'échantillonnage stratifié dans votre cadre de tests A/B, parallèlement aux analyses détaillées comme celles proposées sur la plupart des plateformes d'expérimentation, vous ne faites pas que des expériences ; vous obtiendrez également une compréhension précise de la façon dont différents segments de votre base d'utilisateurs réagissent aux changements, permettant des optimisations plus ciblées et efficaces.

Conception d'échantillons stratifiés pour les tests A/B

Lors de la configuration de vos tests A/B, choisir les bonnes strates est la première étape. Réfléchissez aux facteurs qui pourraient affecter le résultat : l'âge, la localisation, la fréquence d'utilisation ? Ce sont vos strates.

Voici comment déterminer ces éléments cruciaux :

• Identifiez les covariables clés : Examinez les données passées pour voir quelles données démographiques ou comportements sont étroitement liés aux changements que vous testez.

• Catégorisez vos utilisateurs : Regroupez-les selon ces covariables identifiées. Cela garantit que chaque catégorie est testée.

Il y aura des compromis dans l'équilibrage. En général, les groupes avec un petit nombre d'unités expérimentales, mais une grande contribution métrique sont les plus importants à équilibrer.

Si vous avez deux groupes qui contribuent chacun à 50 % de votre valeur globale, et que l'un compte 100 000 utilisateurs tandis que l'autre en compte 10, il est beaucoup plus probable que le groupe de 10 se retrouve réparti de manière inégale entre vos groupes d'expérience. Si 8 d'entre eux sont dans le test et 2 dans le contrôle, même sans effet de traitement, vous rapporteriez une augmentation de 85 % ! L'échantillonnage stratifié empêche que cela se produise.

En suivant ces étapes, vous établissez votre test A/B sur une base conçue pour des résultats perspicaces et exploitables.

Mise en œuvre de l'échantillonnage stratifié dans les tests A/B

Il existe trois méthodes courantes de stratification :

1. Au sein de votre solution d'attribution. Cela est souvent mis en œuvre en conservant des compteurs, par strate, des attributions effectuées jusqu'à présent et en ajustant les taux d'allocation pour les maintenir sous contrôle au fur et à mesure que l'expérience progresse. Cela fonctionne pour les petites expériences ou les expériences hors ligne, mais peut être difficile dans une plateforme en temps réel à grande échelle en raison du coût et de la latence de la recherche de ces indices et des attributions existantes d'un utilisateur. La plupart des plateformes utilisent un algorithme de hachage pour attribuer de manière déterministe un utilisateur au même groupe sans avoir à effectuer une recherche dans la base de données pour les visites ultérieures.

2. Échantillonnage post-hoc ou outils comme CUPED. Il est possible de filtrer les « utilisateurs supplémentaires » dans un segment après coup ; dans l'exemple ci-dessus, nous pourrions filtrer aléatoirement 6 utilisateurs principaux de l'analyse pour équilibrer une comparaison 2-2. Le coût est la perte de certains points de données critiques.

   CUPED, s'il est parfaitement mis en œuvre, peut également stratifier fonctionnellement vos données par une covariable. Cela nécessite que vous configuriez correctement la régression de sorte que vous ayez une couverture parfaite de la covariable de stratification, et que votre algorithme gère la régression catégorielle sans problème. Par exemple, dans l'encodage one-hot, il est courant d'éliminer les groupes à faible fréquence -- qui pourraient être justement ceux qui vous intéressent !

3. Échantillonnage pré-expérience. Il s'agit d'une technique utilisée par des entreprises comme Statsig pour identifier les « sels » à utiliser dans un algorithme de hachage qui fournit des résultats équilibrés. En simulant différents sels et en utilisant une technique du chi carré modifiée, vous pouvez identifier une randomisation équilibrée qui produit des populations stratifiées.

Il est recommandé d'utiliser CUPED en conjonction avec l'une des autres solutions pour garantir une répartition équitable. En utilisant correctement l'une de ces méthodes, vous pouvez vous assurer que vos tests A/B sont à la fois efficaces et efficients, fournissant des informations fiables sur le comportement et les préférences des utilisateurs.