Methodological approaches to the design and analysis of nonrandomized intervention studies for the prevention of child and adolescent obesity

Can J Public Health. 2020 Jun;111(3):358-370. doi: 10.17269/s41997-020-00358-7. Epub 2020 Jul 7.

Abstract

Objectives: Interventions for child obesity prevention are needed and it is unclear whether evidence from nonrandomized intervention studies is adequate. The objective of this research was to review the methods for the design, analysis and reporting of nonrandomized intervention studies for child obesity prevention and to assess potential for bias.

Methods: We conducted a review of nonrandomized intervention studies, including population health interventions, quasi-experimental studies and natural experiments, published from 2013 to 2017 that were identified in a recent systematic review. Data on study design, intervention and control groups, outcome measures, and statistical analyses, were extracted. Risk of bias was evaluated using the Risk of Bias in Non-Randomized Studies of Interventions (ROBINS-I) tool.

Results: All identified studies (n = 23) included a school or community-based intervention and had a concurrent control group. Participants were 3-18 years and sample sizes were 100 to > 1 million. Study designs were described inconsistently, and interventions ranged from 14 weeks to 5 years. Obesity was compared between control and intervention groups using logistic or linear regression, analysis of variance and mixed effects regression. Only 48% of studies accounted for clustering, and methods to control for confounding and repeated measures varied substantially. Overall risk of bias was moderate to serious for all studies.

Conclusion: There are substantial opportunities to improve the methods for nonrandomized intervention studies and reduce bias. Future studies should use advanced statistical and causal epidemiology methods, including better control for confounding and clustering, to generate higher quality evidence and certainty regarding which obesity prevention interventions are effective.

Objectifs: Des interventions pour prévenir l’obésité pédiatrique sont nécessaires, et on ne sait pas très bien si les données probantes d’études d’intervention non randomisées suffisent à la tâche. Nous avons donc examiné les méthodes de conception, d’analyse et de communication d’informations d’études d’intervention non randomisées sur la prévention de l’obésité pédiatrique et nous en avons évalué le risque de biais.

Méthode: Nous avons examiné des études d’intervention non randomisées, dont des interventions en santé des populations, des études quasi expérimentales et des expériences dans les conditions naturelles, publiées entre 2013 et 2017 et répertoriées dans une récente revue systématique. Nous en avons extrait les données sur les protocoles d’étude, les groupes d’intervention et les groupes témoins, les indicateurs de résultats et les analyses statistiques. Le risque de biais a été évalué à l’aide de l’outil ROBINS-I (Risk of Bias in Non-Randomized Studies–of Interventions).

Résultats: Toutes les études répertoriées (n = 23) comportaient une intervention en milieu scolaire ou associatif et un groupe témoin parallèle. Les participants étaient âgés de 3 à 18 ans, et les échantillons étaient de 100 à > 1 million de personnes. Les descriptions des protocoles d’étude étaient inégales, et la durée des interventions variait de 14 semaines à 5 ans. L’obésité était comparée entre les groupes témoins et les groupes d’intervention par régression logistique ou linéaire, par analyse de la variance et par régression à effets mixtes. Seules 48 % des études tenaient compte de l’agrégation, et les méthodes de prise en compte des facteurs de confusion et des mesures répétées variaient considérablement. Dans l’ensemble, le risque de biais était de moyen à grave pour toutes les études.

Conclusion: Il y aurait tout lieu d’améliorer les méthodes des études d’intervention non randomisées et d’en réduire le biais. Les futures études devraient employer des méthodes statistiques et causales avancées utilisées en épidémiologie, notamment en tenant mieux compte des facteurs de confusion et de l’agrégation, pour produire des données de meilleure qualité et une plus grande certitude quant aux interventions de prévention de l’obésité qui sont efficaces.

Keywords: Child obesity; Intervention; Methodology; Nonrandomized; Reporting standards.

Publication types

  • Research Support, Non-U.S. Gov't
  • Review

MeSH terms

  • Adolescent
  • Bias
  • Child
  • Humans
  • Non-Randomized Controlled Trials as Topic / methods*
  • Pediatric Obesity / prevention & control*
  • Research Design*

Grants and funding