Accounting for model uncertainty in estimating global burden of disease

Bull World Health Organ. 2011 Feb 1;89(2):112-20. doi: 10.2471/BLT.09.073577.

Abstract

Objective: To illustrate the effects of failing to account for model uncertainty when modelling is used to estimate the global burden of disease, with specific application to childhood deaths from rotavirus infection.

Methods: To estimate the global burden of rotavirus infection, different random-effects meta-analysis and meta-regression models were constructed by varying the stratification criteria and including different combinations of covariates. Bayesian model averaging was used to combine the results across models and to provide a measure of uncertainty that reflects the choice of model and the sampling variability.

Findings: In the models examined, the estimated number of child deaths from rotavirus infection varied between 492,000 and 664,000. While averaging over the different models' estimates resulted in a modest increase in the estimated number of deaths (541,000 as compared with the World Health Organization's estimate of 527,000), the width of the 95% confidence interval increased from 105,000 to 198,000 deaths when model uncertainty was taken into account.

Conclusion: Sampling variability explains only a portion of the overall uncertainty in a modelled estimate. The uncertainty owing to both the sampling variability and the choice of model(s) should be given when disease burden results are presented. Failure to properly account for uncertainty in disease burden estimates may lead to inappropriate uses of the estimates and inaccurate prioritization of global health needs.

Objectif: Illustrer les effets de l'absence de prise en compte de l'incertitude des modèles quand la modélisation est utilisée pour estimer les effets globaux induits par la maladie, avec une application spécifique à la mortalité infantile liée à l'infection par rotavirus.

Méthodes: Pour estimer la charge globale de l'infection par rotavirus, différents modèles de méta-analyse d'effet aléatoire et de méta-régression ont été élaborés en faisant varier les critères de stratification et en incluant différentes associations de covariantes. Un modèle bayésien de calcul de moyenne a été utilisé pour combiner les résultats entre les modèles et fournir une mesure de l'incertitude qui reflète la variabilité du choix du modèle et de l'échantillonnage.

Résultats: Dans les modèles examinés, le nombre estimé d'enfants morts par infection de rotavirus variait entre 492 000 et 664 000. Tandis que le calcul de la moyenne des estimations des différents modèles donnait une légère augmentation du nombre estimé de morts (541 000, par comparaison aux 527 000 estimés par l'Organisation mondiale de la Santé), l’ampleur de l'intervalle de confiance de 95% passait de 105 000 à 198 000 morts lorsque l'incertitude du modèle était prise en compte.

Conclusion: La variabilité de l'échantillonnage n’explique qu’une partie de l'incertitude globale dans une estimation par modèle. L'incertitude liée à la fois à la variabilité de l'échantillonnage et au choix de modèle(s) doit être indiquée dans la présentation de résultats concernant les effets induits par la maladie. Ne pas prendre en compte l'incertitude comme il se doit dans les estimations des effets de la maladie peut conduire à un usage inapproprié des estimations et à une affectation erronée des priorités dans les besoins globaux de santé.

Objetivo: Ilustrar las consecuencias que acarrea no contemplar la incertidumbre del modelo cuando dicho modelo se emplea para calcular la carga de enfermedad global, especialmente en el caso de las muertes infantiles por una infección por rotavirus.

Métodos: Con el fin de calcular la carga global de la infección por rotavirus, se desarrollaron diversos modelos de metaanálisis y metarregresión de efectos aleatorios modificando los criterios de estratificación e incluyendo diversas combinaciones de covariables. Se empleó el método bayesiano de estimación de la media para combinar los resultados entre los modelos y ofrecer una medida de incertidumbre que reflejara la elección de modelo y la variabilidad del muestreo.

Resultados: En los modelos examinados, la cantidad estimada de muertes infantiles provocadas por una infección por rotavirus osciló entre 492 000 y 664 000. Si bien la media de las estimaciones de los diversos modelos dio como resultado un aumento moderado en la cantidad estimada de muertes (541 000 en comparación con la estimación de la Organización Mundial de la Salud, de 527 000); la amplitud del intervalo de confianza del 95% provocó un aumento de 105 000 a 198 000 muertes cuando se tomó en consideración la incertidumbre de los modelos.

Conclusión: La variabilidad del muestreo explica únicamente una parte de la incertidumbre global de una estimación extraída empleando un modelo. La incertidumbre atribuible tanto a la variabilidad del muestreo como a la elección de uno o varios modelos debe indicarse cuando se presenten los resultados de carga de enfermedad. No contemplar debidamente la incertidumbre de las estimaciones en la carga de enfermedad, podría acarrear un uso inadecuado de las estimaciones y una priorización inexacta de las necesidades sanitarias globales.

الغرض: توضيح الآثار المترتبة على فشل حساب نموذج اللايقين عند استخدام صَوْغ النماذج في تقدير العبء العالمي للمرض، مع تطبيق خاص لوفيات الأطفال الناجمة عن العدوى بالفيروسة العجليّة.

الطريقة: تقدير العبء العالمي للعدوى بالفيروسة العجلية، وقد صُمِمَت نماذج تحليل تلوي وتحوّف تلوي للآثار العشوائية المختلفة عن طريق تغيير معايير التصنيف وإدراج تواليف مختلفة للمتغيرات المساعدة. واستخدم نموذج بايز Bayesian model في حساب الوسطي لدمج النتائج عبر النماذج وتقديم قياس لايقين يعكس اختيار النموذج واختلاف أخذ العينة.

النتائج: في النماذج التي جرى فحصها، ترواح العدد التقديري لوفيات الأطفال الناجمة عن الفيروسة العجليّة بين 492000 إلى 664000. في حين أن حساب الوسطي عبر تقديرات النماذج المختلفة نتج عنه زيادة متواضعة في العدد التقديري للوفيات (541000 مقارنة بتقدير منظمة الصحة العالمية البالغ 527000)، وزاد اتساع فاصلة الثقة 95% من 105000 وفاة إلى 198000 وفاة بعد أخذ نموذج اللايقين في الحسبان.

الاستنتاج: اختلاف أخذ العينة يشرح فقط جزءاً من اللايقين الإجمالي في التقدير الناتج عن النموذج. ويجب تحديد اللايقين الناجم عن كل من اختلاف أخذ العينة واختيار النموذج أو النماذج عند تقديم نتائج العبء المرضي. والإخفاق في الحساب الصحيح للايقين في تقديرات العبء المرضي قد يؤدي إلى استخدام غير مناسب للتقديرات وتحديد غير دقيق لأولويات الاحتياجات الصحية العالمية.

Цель: Проиллюстрировать на примере детской смертности от ротавирусной инфекции воздействие ошибочного расчета неопределенности модели в случае, когда модель используется для оценки глобального бремени болезней.

Методы: Для оценки глобального бремени ротавирусной инфекции были разработаны различные модели мета-анализа и мета-регрессии случайных эффектов путем варьирования критериев стратификации с использованием различных комбинаций ковариат. Для сочетания результатов по моделям и получения меры неопределенности, отражающей выбор модели и изменчивость выборки, было использовано усреднение байесовских моделей.

Результаты: В рассмотренных моделях оценочное количество случаев смерти детей от ротавирусной инфекции колебалось от 492 000 до 664 000. Усреднение по оценкам различных моделей привело к незначительному повышению оценочного количества случаев смерти (541 000 , по сравнению с оценкой Всемирной организации здравоохранения, составлявшей 527 000), но когда была учтена неопределенность модели, то ширина 95%-ного доверительного интервала возросла с 105 000 до 198 000 случаев смерти.

Вывод: Изменчивость выборки только частично объясняет общую изменчивость смоделированной оценки. При представлении результатов бремени болезни должна быть задана неопределенность, обусловленная как изменчивостью выборки, так и выбором модели (моделей). Неправильный учет неопределенности в оценках бремени болезней может привести к неправильному использованию оценок и неточному установлению приоритетов глобальных потребностей в области здравоохранения.

目的: 当使用建模来估测全球疾病负担并具体应用到轮状病毒感染导致的儿童死亡时,说明不能解释模型不确定性原因的影响因素。

方法: 为了估测轮状病毒感染的全球负担,我们通过变更分层标准和包含协变量的不同组合建立了不同的随机效应meta分析和meta回归模型。贝叶斯模型平均法用来综合各模型的结果并提供一种反映模型选择和抽样变异性的不确定性度量。

结果: 在所检验的模型中,所估测的轮状病毒感染引起的儿童死亡人数在492,000和664,000之间。尽管对不同模型估测进行平均会引起所估测的死亡人数的略微增加(541,000,而世界卫生组织的估测为527,000),但如果考虑模型的不确定性,则死亡人数的95%置信区间的宽度将从105,000增加至198,000。

结论: 抽样变异性仅仅解释了模型估测中整个不确定性的一部分。由于抽样变异性和模型选择所引起的不确定性应在展示疾病负担结果的时候予以说明。未能适当地解释疾病负担估测中的不确定性可能导致估测的使用不当和不准确的全球健康优先需求。

Publication types

  • Meta-Analysis
  • Research Support, U.S. Gov't, Non-P.H.S.

MeSH terms

  • Confidence Intervals
  • Epidemiologic Methods
  • Global Health*
  • Humans
  • Internationality
  • Models, Statistical
  • Multivariate Analysis
  • Population Surveillance
  • Regression Analysis
  • Rotavirus Infections / epidemiology
  • Rotavirus Infections / mortality*
  • Uncertainty*