Introduction

L’objectif d’une méta-analyse est de synthétiser, de manière exhaustive, rigoureuse, reproductible et quantifiée, les résultats provenant de différentes études.

Ce type d’analyse est particulièrement utile dans deux cas de figure :
lorsque de nombreuses études ont été publiées concernant une même problématique mais que, faute d’effectifs suffisants, peu d’entre elles font apparaître un résultat statistiquement significatif ;
lorsque des études concernant une même problématique montrent des résultats apparemment contradictoires.

En effet, une méta-analyse permet d’augmenter la puissance statistique car le nombre de sujets considérés est plus important, mais aussi d’expliquer la variabilité des résultats entre les différentes études en détaillant les biais des essais et, éventuellement, en réalisant des analyses en sous-groupes afin de caractériser l’effet recherché (l’effet d’un traitement par exemple) en fonction du profil des patients si celui diffère selon les études incluses dans la méta-analyse.

Une méta-analyse se réalise en plusieurs étapes :
définir l’objectif (pathologie, traitement, critères de jugement)
établir les critères d’inclusion et de non inclusion des études dans la méta-analyse
extraire de la littérature, les publications concernant a priori la méta-analyse
éliminer les publications dont les résultats sont visiblement biaisés
faire le tri des publications en utilisant les critères d’inclusion
faire l’analyse statistique pour estimer l’effet recherché
tester la robustesse des résultats (analyse de sensibilité)
rechercher l’hétérogénéité

Principaux biais :
biais d’estimation : toutes les études réalisées ne sont pas publiées, en particulier
biais de publication : lorsque les résultats ne sont pas statistiquement significatifs, ils ont tendance à ne pas être publiés
biais de détection : la recherche des études peut ne pas être exhaustive
biais de sélection : les critères de sélection peuvent ne pas être adaptés (langue de publication par exemple)

Nous nous intéressons ici aux méthodes statistiques. Nous présentons d’abord le modèle à effets fixes et le modèle à effets aléatoires.

 

Modèles à effets fixes

1) Combinaison de proportions
On note qi l’effet recherché dans l’étude i (i=1,…,K), et  les estimations correspondantes. Dans un modèle à effets fixes, on suppose qu’il existe un effet recherché commun à l’ensemble des études et que les estimateurs de l’effet recherché suivent une loi normale qui est centrée sur cet effet commun. Autrement dit, ce type de modèles tient compte de la variabilité intra-étude mais pas de variabilité inter-étude.

Une estimation de l’effet recherché commun est donnée par :

où wi, i=1,…,K est la variance de l’estimateur de l’effet dans l’étude i. L’estimateur  est la moyenne des estimateurs de chaque étude pondérée par l’inverse de la variance de ces estimateurs. Ceci permet de donner plus d’importance aux études comportant un grand nombre de patients car ces études là ont (ou devraient avoir) une faible variance, alors qu’une étude avec peu de patients aura au contraire une forte variance. A partir de la variance de q, on déduit l’intervalle de confiance à 95% autour de q :

et :

où ta/2 est le quantile d’ordre a/2 de la loi normale standard. Selon la question étudiée, qi peut mesurer différentes quantités :
lorsque qi est la proportion de succès ou de décès dans l’étude i. En notant pi cette proportion, la variance de qi est égale à pi (1- pi)/Ni , où Ni est le nombre d’individus dans l’étude i.
lorsque qi est la différence entre la proportion de succès de deux traitements différents. En notant p1i et p12 les proportions dans l’étude i de succès des traitements 1 et 2 respectivement, la variance de qi est : p1i (1- p1i)/N1i+ p2i (1- p2i)/N2i, où N1i (resp. N2i) est l’effectif des sujets de l’étude i soumis au traitement 1 (resp. 2).

qi peut aussi être le ratio de deux proportions comme dans le cas du risque relatif : RRi=pci/pti , où pci (resp. pti) représente la proportion d’événements chez les cas (resp. chez les témoins). On considèrera plutôt la variable log(RRi) qui suit approximativement une loi normale (Miettinen, 1976). On se place sous l’hypothèse que le risque relatif est égal à 1 puisque c’est l’hypothèse que l’on veut tester.

où :

Dans cette dernière équation, les effectifs sont exprimés comme dans le cas des études sur l’exposition (en personne-années par exemple).

2) Combinaison d’odds ratios

Cette méthode permet de combiner les résultats d’études qui comparent la survenue d’un événement dans 2 groupes d’individus (par exemple, on peut s’intéresser aux décès chez des groupes de sujets qui suivent 2 traitements différents). On considère, dans chaque étude i, les effectifs suivants :

L’odds ratio ajusté sur les études de Mantel-Haenszel est donné par :

Il s’écrit également comme une moyenne pondérée des odds ratios de chaque étude :

avec :

L’intervalle de confiance de ORMH sous l’hypothèse H0 : OR=1 est :

où :

3) Recherche du rapport typique de chance (Yusuf, 1995)

Nous nous plaçons dans le cas où les variables observées sont dichotomiques (par exemple : décès, réussite du traitement,…) et mesurées sur 2 groupes. Alors, les données de chaque étude sont sous forme d’un tableau 2*2 :

Les 2 groupes et l’événement sont définis afin que l’effectif Oi soit l’effectif le plus intéressant : par exemple, si on teste un nouveau traitement, le groupe 1 sera traité avec ce traitement et l’événement sera la réussite. Le nombre d’événements intéressants attendu est :

Soit H0 l’hypothèse que le traitement n’influe pas sur le nombre de réussites. Alors, sous H0, Oi-Ei est une variable d’espérance nulle et de variance :

Le log OR est estimé par :

L’hypothèse d’homogénéité peut être testée en utilisant la statistique suivante qui suit une loi du Chi deux :

où K est le nombre d’études avec un variance non nulle. Le rapport typique des chances (RTC), qui est le RR au travers de toutes les études, est estimé par :

En supposant que :

l’intervalle de confiance du RTC est estimé par :

4) Méthode de Hedges (non aléatoire)

Dans le cas de variables quantitatives, on appelle taille d’effet la quantité suivante mesurée sur l’échantillon (Cohen, 1969) :

où  (respectivement ) est la moyenne de la variable résultat dans le groupe 1 (respectivement le groupe 2), et s² est la variance sur les groupes poolés. Bien que dCohen soit un estimateur naturel de la taille d’effet de la population (qui sera notée d  par la suite), il est biaisé. Hedges (Hedges, 1985) a proposé un estimateur sans biais de d  en corrigeant le d de Cohen :

Hedges a montré que la variance asymptotique de d est égale à :

où n1 (resp. n2) est le nombre de sujets dans le groupe 1 (resp. groupe 2).

La taille de l’effet combiné sur les études est la moyenne pondérée des tailles d’effets :

où wi est l’inverse de la variance. On se retrouve dans le cadre décrit au début de l’article.

 

Hétérogénéité

On représente sur un graphe la taille de l’effet (valeur de la variable étudiée avec l’intervalle de confiance à 95%) de chaque étude en abscisse et le numéro de l’étude en ordonnée, les études étant classées par ordre croissant de grandeur d’échantillon. Le résultat combiné est fourni au dessous de toutes les études, avec l’intervalle de confiance à 95% de la valeur combinée. Cette représentation graphique permet de visualiser l’homogénéité des résultats. En effet, si les résultats sont homogènes, le graphe a l’allure suivante :

 

En effet, quand les résultats des études proviennent d’une même population cible, plus les échantillons sont grands, plus l’ampleur de l’effet sera situé près de la valeur réelle. Il y a donc un seul mode et les résultats des grandes études se concentrent vers une seule valeur de l’effet. On peut donc ainsi détecter un biais de publication en mettant en évidence les essais situés hors du champ (par exemple, si le graphique fait apparaître deux modes).

L’estimateur  est un résumé acceptable des estimateurs  si l’effet recherché ne varie pas trop dans les différentes études. Il est donc nécessaire de tester l’hypothèse d’homogénéité H0 : q1 = q2 =…= qN. ou de manière équivalente H0 : s = 0 (s  représente la variabilité de l’effet parmi les études) avec la statistique de test de Cochran (Cochran, 1954) :

Cette statistique suit une loi du Chi-deux à N-1 degrés de liberté. Ce test statistique étant peu puissant, certains auteurs conseillent de choisir un risque a de 10 ou 15%.
Si l’hypothèse H0 est rejetée, alors Der Simonian et Laird (Der Simonian, 1986) ont proposé de corriger les poids wi afin de tenir compte de l’hétérogénéité, en les remplaçant par des poids wi^* nécessairement plus petits que les wi :

où  est une estimation de s :

Les wi^* sont toujours positifs et plus petits que les wi, cela traduit le fait que les poids des études sont pénalisés par l’hétérogénéité. L’intervalle de confiance de  est plus large que dans le cas homogène car on montre que :

.

 

Modèles à effets aléatoires

Le modèle à effets aléatoires permet d’introduire une variabilité inter-étude en plus de la variabilité intra-étude. On suppose dans un premier temps que l’estimateur  de l’effet recherché dans chaque étude est distribué selon une loi normale centrée sur la « vraie valeur » de l’effet qi (variabilité intra-étude) :

Puis, la variabilité inter-étude est prise en compte en supposant que les qi sont distribués normalement selon une loi normale de mêmes paramètres :

où q représente la valeur commune de l’effet recherché.

La méthode de Der Simonian est considérée comme aléatoire, mais la méthode aléatoire exacte est celle de Hedges (Hedges, 1985). Dans le cas de variables résultats quantitatives, Hedges estime la taille de l’effet moyen par :

où wi tient compte de la variabilité inter-études  et de la variabilité intra-étude  :

(Si est l’écart type poolé de la population de l’étude i). On montre que :

où ni¹, n1² sont les effectifs dans les groupes 1 et 2 de l’étude i, Ni=ni¹+ni², k est le nombre d’études, et :

 

Discussion, conclusion, remarques, pratique

Les méta-analyses de données de la littérature sont un outil utile quand des études de bonne qualité n’ont pu montré une différence significative par manque de puissance et/ou parce que les effets trouvés étaient contradictoires.

Cependant, il faut insister sur les points pratiques suivants :
le fait qu’il y ait toujours un biais de recrutement d’études lié à la non publication d’études non significatives doit conduire à la prudence dans l’interprétation des résultats. Quand le résultat final est significatif, il est souhaitable d’estimer le nombre d’études non significatives, au seuil de 5%, et de taille moyenne qu’il faudrait ajouter à celles de la méta-analyse pour que le résultat devienne non significatif (Einarson et Orwin). Quand ce nombre est très faible par rapport au nombres d’études incluses (< 10%), il faut rester très prudent, sinon on peut prendre une décision avec sérénité.

une méta-analyse a pour base, ce qui les différencie des « overview », une analyse critique et argumentée de la méthodologie de chaque étude, ceci afin de justifier les inclusions et les non inclusions d’études. L’étude est à la méta-analyse ce que l’individu est à l’essai. Donc la méta-analyse sur données de la littérature n’est pas un mélange fourre-tout d’analyses de la littérature. Cependant, l’inclusion d’études dans une méta-analyse ne peut pas être aussi stricte que celle des individus dans les essais car il est rare de trouver deux essais dont les critères d’inclusion et de non inclusion et le traitement sont identiques (ceci est pire pour les cohortes et les études cas témoins). Donc une expertise médicale est indispensable pour justifier les inclusions d’essais, ce qui change la question posée. Par exemple, la question sur un produit bien défini devient : est-ce que l’utilisation de ce produit améliore la survie des malades par rapport à des protocoles qui ne l’incluraient pas.

l’hétérogénéité doit toujours être prise en compte, même quand elle n’est pas significative car elle dénote des différences importantes entre études. Donc s’il y a hétérogénéité, il faut réanalyser ces études avec des experts pour détecter les causes d’hétérogénéité et savoir si on conserve toutes les études dans la méta-analyse. Cette expertise peut permettre de mettre en évidence des spécificités méthodologiques, thérapeutiques ou d’inclusion, ce qui est important dans la décision. De toute façon, la méthode aléatoire est celle qui doit être retenue car elle permet de tenir compte de l’hétérogénéité dans l’estimation de la variable résultat (taille de l’effet par exemple) et dans l’estimation de la variance. Donc on peut facilement concevoir qu’un effet significatif en mode fixe ne le soit plus en mode aléatoire.

l’analyse des sous-groupes peut être faite puisque la puissance est augmentée. Cependant elle n’est justifiée, comme toute analyse de sous-groupes, que s’il y a interaction significative avec le bras de l’essai ; là encore, et plus particulièrement dans les méta-analyses, il faut faire une hypothèse d’emblée et ne pas aller à la « pêche » laquelle, par effet puissance, trouvera toujours quelque chose surtout si on ne corrige pas par la répétition des tests.

le dernier point est celui de la puissance. Une méta-analyse plus que toute autre étude va agir surtout par effet puissance. Mais le p obtenu n’a qu’une valeur informative, participant à la décision avec d’autres variables. Par exemple, déterminer le nombre de sujets à traiter pour obtenir un gain supplémentaire, ou un gain supplémentaire sans effet secondaire, ou connaître le ratio entre le nombre de sujets à traiter pour obtenir un effet secondaire supplémentaire sont des informations essentielles pour prendre une décision. Si en plus on connaît les utilités des états des patients et les coûts, on peut obtenir le seuil de sujets à inclure au-delà duquel il ne sera plus possible d’aller, car au-delà de ce seuil le risque l’emporterait sur le bénéfice.

Pour les méta-analyses sur données individuelles, l’hétérogénéité des critères d’inclusion fait que des réunions des chefs d’équipes sont indispensables pour éliminer si nécessaire des enregistrements, et corriger certaines valeurs. Les traitements incluent l’effet centre mais ne sont pas réellement spécifiques.

En conclusion, on pourrait dire des méta-analyses : « à utiliser avec compétence et modération » et ne pas croire que l’accumulation de données, qui par nature va très souvent conduire à une significativité, résout le problème de l’intérêt clinique de la significativité et de la décision dans l’incertitude. Il faudrait donc systématiquement accompagner les méta-analyses d’études complémentaires montrant l’intérêt clinique des significativités obtenues.

Réf : Cochran WG.. The combination of estimates from experiments.Biometrics, 1954;10:101-29 Cohen J. Statistical Power Analysis for Behavioral Sciences. 1969 New York: Academic Press Der Simonian R, Laird N. Meta-analysis in clinical trials. Control Clin Trials,1986;7:177-88 Einarson TR, McGhan WF, Bootman JL and Sabers DL. Meta-analysis: quantitative integration of independent research results. Am J Hosp Pharm, 1985;42:1957-64 Hedges LV et Olkin I. Statistical methods for meta-analysis, 1985, London, Academic Press Mietinnen OS. Estimability and estimation in case referent studies. American Journal of Epidemiology, 1976;103:226-35 Nony P, Boissel JP, Lièvre M, Cucherat M, Haugh MC, Dayoub G. Introduction à la méthodologie méta-analytique. Rev Méd Interne 1995;16,536-46 Orwin RG. A fail-safe N for effect size in meta-analysis. J Educ Stat, 81983;:157-9 Yusuf S, Peto R, Lewis J, Collins R et Sleight P. Beta blockade during and after myocardial infarction: an overview of the randomized trials. Prog Cardiovasc Dis, 1985;27:21-56