[Are studies of claims databases reproducible? The hypothesis of an instituted ethical misconduct in public health]

Med Sci (Paris). 2019 Aug-Sep;35(8-9):689-692. doi: 10.1051/medsci/2019134. Epub 2019 Sep 18.
[Article in French]

Abstract

Methodological reproducibility refers to the ability to reproduce exactly the same results by reproducing the same study protocol on the same data. The aim of this study was to assess the methodological reproducibility of studies published in the Revue d'Epidémiologie et de Santé Publique between 2008 and 2017 and using data from the national health data system. Our results suggest that only 49% of the studies could be replicated without the help of the authors. The results may reveal a lack of concern about the purpose of public health research. It is difficult to attribute responsibility for this default of reproducibility solely to researchers, so we hypothesize an instituted ethical misconduct.

Title: Les études portant sur les bases de données médico-administratives sont-elles reproductibles ? - L’hypothèse d’une inconduite éthique en santé publique.

Abstract: La reproductibilité méthodologique fait référence à la capacité à obtenir exactement les mêmes résultats, en reproduisant le même protocole d’étude sur les mêmes données. Nous avons voulu évaluer la reproductibilité méthodologique des études publiées entre 2008 et 2017 dans la Revue d’épidémiologie et de santé publique, qui font appel à des données issues du système national des données de santé. Nos résultats suggèrent que seules 49 % des études portant sur ce système national pourraient être reproduites sans le recours aux auteurs initiaux. L’absence de partage systématique des programmes peut révéler un manque de préoccupation quant à la finalité de la recherche en santé publique. Il est difficile d’attribuer la responsabilité de ce manque de reproductibilité aux seuls chercheurs, et nous faisons donc l’hypothèse d’une inconduite éthique instituée.

MeSH terms

  • Academies and Institutes / ethics
  • Academies and Institutes / standards
  • Academies and Institutes / statistics & numerical data
  • Administrative Claims, Healthcare / statistics & numerical data*
  • Data Management / ethics
  • Data Management / organization & administration
  • Data Management / standards
  • Databases as Topic* / standards
  • Databases as Topic* / statistics & numerical data
  • Epidemiologic Research Design*
  • Humans
  • Information Dissemination / ethics
  • Information Dissemination / methods
  • Medical Records Systems, Computerized / standards*
  • Medical Records Systems, Computerized / statistics & numerical data*
  • Morals
  • Public Health / standards
  • Public Health / statistics & numerical data
  • Reproducibility of Results
  • Scientific Misconduct / statistics & numerical data