Test-retest reliability of an infectious disease questionnaire and evaluation of self-assessed vulnerability to infections : findings of Pretest 2 of the German National Cohort

Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz. 2014 Nov;57(11):1300-7. doi: 10.1007/s00103-014-2045-x.

Abstract

Introduction/objectives: Large scale population-based studies focusing on infectious diseases are scarce. This may be explained by methodological obstacles concerning ascertainment of data on infectious diseases requiring, e.g. collection of data on relatively short-termed symptoms and/or collection of biosamples for pathogen identification during a narrow time window. In the German National Cohort (GNC), a novel self-administered questionnaire will be used in addition to biosampling to collect data on selected infectious diseases and symptoms. The aim of this study was to evaluate in Pretest 2 of the GNC newly added items on self-assessed vulnerability to several infectious diseases and to assess test-retest reliability of the questionnaire.

Methods: The study was conducted in two study centres (Hamburg and Hanover) during Pretest 2 of the GNC. A self-administered paper questionnaire was applied. In Hamburg, participants were asked to fill in the questionnaire during their regular visit at the study centre. For test-retest reliability, participants in Hanover filled in the same questionnaire at home twice. To evaluate agreement, item-related percentage agreement and kappa (κ) were calculated. In addition, we computed Bennet's S and Krippendorf's alpha (α). Items on self-assessed vulnerability to infections were evaluated by comparing them with the corresponding self-reported frequency of infections. An explanatory factor analysis was applied to construct the scores of self-reported infection frequency and self-assessed vulnerability to infections.

Results: The evaluation of the internal consistency of the five-item instrument of self-assessed vulnerability to infections resulted in a Cronbach's α of 0.78. The factor analysis yielded evidence of one factor. The factor was divided into three groups (lowest quintile classified as "less prone to infections" compared to peers; second, middle and fourth quintiles classified as "similarly prone to infections" and highest quintile classified as "more prone to infections"). Participants classified as "less prone to infections" reported fewer infections than participants classified as "more prone to infections". Spearman's correlation of the two scores (self-reported infection frequency and self-assessed vulnerability to infection) was 0.50 (p < 0.0001). For quantifying reliability, 88 participants with a median time of 8 days between filling in both questionnaires could be included in the analysis; for items sensitive to disease occurrence between both questionnaires only participants with no relevant disease in this time interval were included (n = 75). The weighted κ ranged between 0.65 and 0.87 for the items on infectious disease frequency in the last 12 months, for items on symptom frequency in the past 12 months between 0.77 and 0.90, and for items on vulnerability compared to peers between 0.68 and 0.76.

Conclusion: A five-item instrument on self-assessed vulnerability to infections seems to be promising, but requires further evaluation. Overall, the questionnaire on self-reported infectious diseases used in Pretest 2 of the GNC is a moderately reliable instrument and, thus, can be applied in future studies on infectious diseases.

Einführung/Ziele: Groß angelegte populationsbasierte Studien, die Infektionskrankheiten zum Thema haben, sind selten. Dies könnte sich daraus erklären, dass die Erhebung von Daten zu Infektionskrankheiten methodisch schwierig ist. So ist es in diesem Zusammenhang z. B. erforderlich, Informationen zu nur relativ kurzzeitig auftretenden Symptomen zu erheben und/oder Bioproben zur Pathogenbestimmung zu gewinnen. In der Nationalen Kohorte (NAKO) wird zusätzlich zur Bioprobengewinnung ein neuer Fragebogen angewandt werden, um Daten zu ausgewählten Infektionskrankheiten und ihren Symptomen zu erfassen. Ziel der vorliegenden Studie war es, für den Pretest 2 der NAKO neu ergänzte Fragenbogenitems zur selbst eingeschätzten Anfälligkeit gegenüber verschiedenen Infektionskrankheiten zu evaluieren und die Test-Retest-Reliabilität des Fragebogens zu prüfen.

Methoden: Die Studie wurde im Rahmen des Pretests 2 der NAKO in 2 Studienzentren durchgeführt (Hamburg und Hannover). Die Teilnehmer wurden gebeten, einen Papierfragebogen eigenständig auszufüllen. Die Teilnehmer in Hamburg füllten den Fragebogen im Rahmen der Untersuchung im Studienzentrum aus. Die Test-Retest-Reliabilität wurde bei Probanden in Hannover überprüft, indem sie den gleichen Fragebogen 2-mal zu Hause ausfüllten. Zur Bestimmung der Konkordanz wurden die itembezogene prozentuale Übereinstimmung und Kappa (κ) berechnet. Ergänzend berechneten wir Bennets S und Krippendorfs α. Die Items der selbst eingeschätzten Infektionsanfälligkeit wurden evaluiert, indem sie mit den korrespondierenden Items zu selbst berichteten Infektionshäufigkeiten verglichen wurden. Um Scores für selbst berichtete Infektionshäufigkeit und selbst eingeschätzte Infektanfälligkeit zu entwickeln, wurde eine explorative Faktorenanalyse angewendet.

Ergebnisse: Die Evaluierung der internen Konsistenz des aus 5 Items bestehenden Instrumentes zur selbst eingeschätzten Infektanfälligkeit ergab ein Cronbachs α von 0,78. Durch die Faktorenanalyse wurde ein Faktor ermittelt. Der ermittelte Faktor wurde in 3 Gruppen unterteilt. Das unterste Quintil wurde als „weniger infektanfällig“, das zweite, dritte und vierte Quintil als „ähnlich infektanfällig“ und das oberste Quintil als „infektanfälliger“ im Vergleich zu Gleichaltrigen definiert. Probanden in der Gruppe „weniger infektanfällig“ berichteten weniger Infektionen als Teilnehmer, die als „infektanfälliger“ klassifiziert wurde. Die Korrelation (Spearman) der beiden Scores (selbst berichtete Infektionshäufigkeit und selbst eingeschätzte Infektionsanfälligkeit) ergab einen Wert von 0,50 (p < 0,0001). Um die Reliabilität zu quantifizieren, konnten 88 Teilnehmer mit einem medianen Zeitraum von 8 Tagen zwischen beiden Fragebögen für die Berechnungen berücksichtigt werden; Items, die vom Auftreten von Krankheiten zwischen dem Ausfüllen beider Fragebögen beeinflusst werden könnten, wurden nur unter Berücksichtigung von Teilnehmern ohne relevante Erkrankungen in diesem Zeitraum analysiert (n = 75). Das gewichtete κ bewegte sich zwischen 0,65 und 0,87 für Items zur Häufigkeit von Infektionskrankheiten in den vergangenen 12 Monaten, zwischen 0,77 und 0,90 für Items zur Symptomhäufigkeit in den vergangenen 12 Monaten und zwischen 0,68 und 0,76 für Items zur Infektanfälligkeit verglichen mit Gleichaltrigen.

Schlussfolgerung: Das aus 5 Items bestehende Instrument zur selbst eingeschätzten Infektionsanfälligkeit scheint vielversprechend zu sein. Allerdings sollte es noch weitergehend validiert werden. Grundsätzlich ist der Fragebogen zu selbst berichteten Infektionskrankheiten, wie er im Pretest 2 der NAKO verwendet wurde, ein relativ reliables Instrument und kann daher in weiteren Studien zu Infektionskrankheiten angewendet werden.

Publication types

  • Evaluation Study
  • Research Support, Non-U.S. Gov't

MeSH terms

  • Adult
  • Aged
  • Cohort Studies
  • Communicable Diseases / diagnosis*
  • Communicable Diseases / epidemiology*
  • Diagnostic Self Evaluation*
  • Disease Susceptibility / diagnosis
  • Disease Susceptibility / epidemiology
  • Female
  • Germany / epidemiology
  • Humans
  • Male
  • Middle Aged
  • Population Surveillance / methods*
  • Reproducibility of Results
  • Risk Assessment / methods
  • Sensitivity and Specificity
  • Surveys and Questionnaires*