Das Bundesinstitut für Berufsbildung beabsichtigt im Rahmen eines offenen Verfahrens den Auftrag: Durchführung einer Personenbefragung im Rahmen des Forschungsprojektes zu vergeben
Das BIBB-Forschungsvorhaben „Berufliche Weiterbildung – Aufwand und Nutzen der Individuen“ (Projektnr. 2.3.306) hat zum Ziel, aktuelle und umfassende Informationen zum individuellen Aufwand für berufliche Weiterbildung sowie zum erwarteten und tatsächlichen Nutzen beruflicher Weiterbildung zu gewinnen und auszuwerten. Es läuft von I/2015 bis IV/2017. Zu diesem Zweck ist eine einmalige Personenbefragung geplant.
Der zu vergebende Auftrag umfasst die Feldarbeiten im Zusammenhang mit dieser Erhebung. Die Entwurfsfassung des Erhebungsinstruments ist Teil dieser Ausschreibung.
Es sind – voraussichtlich ab Februar 2016 – 3 000 Interviews mit Personen zu führen, die im Kalen-derjahr 2015 an beruflicher Weiterbildung teilgenommen haben (Teilnehmer/-innen). Diese sind zufällig aus der Grundgesamtheit der 18-64-jährigen Bevölkerung in Deutschland auszuwählen. Zusätzlich sind die in die Stichprobe fallenden Personen, die im selben Zeitraum nicht an beruflicher Weiterbildung teilgenommen haben, zu befragen (Nichtteilnehmer/-innen); sie erhalten allerdings ein stark reduziertes Interview, das im Wesentlichen Fragen zu den (theoretischen) Nutzenerwartungen sowie sozio-demografischen Aspekten enthält. Veranschlagt werden 1.500 Interviews mit Nichtteilnehmer/-innen an beruflicher Weiterbildung, die genaue Zahl ist jedoch vorab unbekannt; sie hängt von der Weiterbildungsbeteiligung ab. Es sollen daher in der Angebotskalkulation Interviewpreise für die „Teilnehmer-Interviews“ und die „Nichtteilnehmer-Interviews“ angegeben werden, die eine Abrechnung auf Basis der tatsächlich geleisteten Interviews ermöglichen.
Des Weiteren sollen die Bieter jeweils Angebotskalkulationen für ein computergestütztes telefoni-sches Interview (Variante „CATI“) und – nach Möglichkeit – für ein computergestütztes persönliches Interview („CAPI“) erstellen. Die durchschnittliche Dauer der Interviews mit den Weiterbildungs-Teilnehmer/-innen in der Variante „CATI“ soll 40 Minuten nicht überschreiten. Ggf. wird das Erhebungsinstrument durch Streichungen und/oder geeignete Filter noch entsprechend gekürzt. Für die Variante „CAPI“ ist die Durchschnittsdauer des Interviews auf Basis des bereitgestellten Fragebogenentwurfs zu schätzen. Zu schätzen ist auch die Durchschnittsdauer der Nichtteilnehmer-Interviews, jeweils für die Varianten „CATI“ und „CAPI“.
Neben den Feldarbeiten umfasst der Auftrag außerdem die folgenden Arbeiten:
— Weiterentwicklung bzw. Optimierung und Programmierung des Erhebungsinstruments;
— (Mit-)Entwicklung und Durchführung eines Pretests mit kognitiven Elementen und Erstellung eines Pretestberichtes;
— Schulung der eingesetzten Interviewer mit Blick auf das Erhebungsinstrument;
— Berechnung diverser Design- und Anpassungsgewichte;
— Datenaufbereitung und –plausibilitätsprüfung, Vergabe geeigneter Variablen – und Wertelabels und Erstellung eines STATA-Datensatzes unter Berücksichtigung der Vercodungsvorgaben;
— Erstellung einer umfassenden Abschlussdokumentation unter Berücksichtigung der Vorgaben des Auftraggebers.
Alle Arbeiten müssen in enger Abstimmung mit dem Auftraggeber (AG) geplant und durchgeführt werden. Es ist jedoch ausdrücklich eine aktive Rolle für den Auftragnehmer (AN) vorgesehen; (Verbesserungsvorschläge zur (geplanten) Vorgehensweise bei der Vorbereitung und Durchführung der Datenerhebung sind nach Auftragsvergabe in jeder Phase des Projektes erwünscht.
Der Bieter hat – auch nach Beendigung des Vergabeverfahrens – über die ihm bekannt gewordenen Angelegenheiten der ausschreibendenden Stelle Verschwiegenheit zu wahren. Er hat hierzu auch die an der Erstellung des Angebots beteiligten Mitarbeiter zu verpflichten.
2. Beschreibung der zu erbringenden Leistung
2.1 Programmierung/Optimierung des Erhebungsinstruments
Der AN prüft das Erhebungsinstrument auf seine computertechnische Umsetzbarkeit und auf seine Effizienz im Hinblick auf die gewählte Erhebungsform. Er unterbreitet dem AG einen Vorschlag zur Weiterentwicklung und Optimierung des Instruments.
Das Erhebungsinstrument ist vom AN unter Berücksichtigung der vorgegebenen Filterführung in ein Computerprogramm umzusetzen.
Die Dauer des Interviews hängt einerseits von den Antwortquoten bei vorgesehenen Filterfragen ab, und andererseits von der gewählten Erhebungsform. Die Vorgaben und Hinweise zur Filterführung in diesem Abschnitt und zur Erhebungsform in den Abschnitten 2.2 und 5 sind zu beachten. Als Referenz dient die vorgegebene Durchschnittsdauer für das Interview mit den Weiterbildungs-Teilnehmer/-innen in der Variante „CATI“: diese soll 40 Minuten nicht überschreiten. Ggf. muss das Erhebungsinstrument durch Streichungen und/oder geeignete Filter noch entsprechend gekürzt werden. Das Interview mit den Nichtteilnehmer/-innen an beruflicher Weiterbildung fällt deutlich kürzer aus.
Etwaige Änderungen am Instrument, z.B. hinsichtlich Frageformulierung, Skalen, Filterführung, Variablenbenennung oder Vercodung müssen in jedem Fall mit dem AG abgestimmt werden. Das Programm ist durch den AN vollständig auf korrekte Funktionalität zu testen, insbesondere hinsichtlich der Filter- und Plausibilitätsfunktionen. Auch für den AG ist ein Zugang zum elektronischen Fragebogen zu schaffen (idealerweise durch Fernzugriff über das Internet o.ä.), der es ermöglicht, das Instrument zu testen. Dieser Zugang muss über einen Zeitraum von jeweils mindestens zwei Wochen vor Beginn des Pretests und vor Beginn der Feldphase zur Verfügung stehen.
Informationen zum Fragebogenaufbau
Das Interview beginnt mit dem Kontaktinterview (Fragenblock 01). Es umfasst einen Einleitungstext (der vorgeschlagene Text kann ggf. noch geändert werden, falls der AN dies für ratsam hält), Fragen bzw. Informationen zur Steigerung der Teilnahmebereitschaft sowie die Auswahl der Zielperson im Haushalt. Im Falle eines Telefoninterviews werden außerdem einige Fragen zur telefonischen Erreichbarkeit gestellt, die für die Designgewichtung benötigt werden. Es folgt ein erster Block mit Fragen zu sozio-demografischen Merkmalen (Fragenblock 02), in erster Linie solchen, die für Filterzwecke oder Gewichtungszwecke benötigt werden.
Der inhaltliche Teil des Interviews beginnt mit Fragen zu den beruflichen Zielen der Befragten und zum erwarteten Weiterbildungsnutzen, die allen Befragten gestellt werden (Fragenblock 03). Erst dann folgt die eigentliche Abfrage der Weiterbildungsteilnahme (Fragenblock 04). Dabei wird nacheinander erfasst, ob die Befragten im Kalenderjahr 2015 in einem der folgenden Lernformate weiterbildungsaktiv waren – und wenn ja, wie viele Aktivitäten je Format genau im Jahr 2015 stattgefunden haben:
1. Formales Lernen (i. Wes. allgemeinbildende und berufsbildende Bildungsgänge im formalen Bildungswesen, ohne Aufstiegsfortbildung);
2. Aufstiegsfortbildung;
3. Non-formales Lernen (diverse Kurse, Seminare, Lehrgänge, Schulungen, die nicht zu einem anerkannten Abschluss führen);
4. Arbeitsnahe Qualifizierung (z. B. geplante Einarbeitungsmaßnahmen, Traineeprogramme, Job-Rotation, Qualitäts-/Werkstattzirkel);
5. Teilnahme an Tagungen, Kongressen, Fachmessen;
6. Selbst-organisiertes Lernen.
Bei Format 1 wird per Zusatzfrage entschieden, ob es sich dabei eher um Weiterbildung oder um eine Erstausbildung handelte. Bei den Formaten 4 und 5 werden per Zusatzfrage Aktivitäten identifiziert, die vornehmlich dem Lernen und weniger dem Arbeiten/der Arbeitsorganisation dienten.
Aus allen erfassten Lernaktivitäten, die nicht vornehmlich dem Arbeiten dienten und nicht zur Erstausbildung gehörten, werden schließlich (maximal) 2 Maßnahmen je Person ausgewählt. Für jede der gewählten Maßnahmen wird ein Detailinterview zu einigen allgemeinen Aspekten (z.B. Dauer, Inhalt, und Qualität der Maßnahme, Fragenblock 05), zum eingetretenen Nutzen (Fragenblock 06), zum Zeitaufwand (Fragenblock 07) sowie zu den Ausgaben für die Aktivität (Fragenblock 08) geführt.
Für Personen, die im Beobachtungszeitraum nicht zu Weiterbildungszwecken in einer der genannten Lernformen aktiv waren, werden die Fragenblöcke 05 bis 08 durch den Fragenblock 09 ersetzt, in dem es darum geht, inwieweit sie ihre eingangs erfassten beruflichen Ziele durch Weiterbildung erreichen könnten.
Den Abschluss des Interviews bildet ein weiterer Block mit Fragen zu soziodemografischen Merkmalen (Fragenblock 10). Er richtet sich sowohl an die Teilnehmer/-innen als auch die Nichtteilnehmer/-innen an beruflicher Weiterbildung.
Zufallsauswahl der Weiterbildungsaktivitäten
Die Auswahl der Weiterbildungsaktivitäten für das Detailinterview aus den von einer Befragungsperson insgesamt durchgeführten Weiterbildungsaktivitäten erfolgt zufällig. Allerdings werden voraussichtlich die Ziehungswahrscheinlichkeiten für bestimmte Lernformate erhöht oder reduziert, sodass beispielsweise selten auftretende Maßnahmen ebenfalls in ausreichender Fallzahl in die Maßnahmenstichprobe gelangen.
Die Ziehungsvorschriften für diese Auswahl werden nach Auftragsvergabe durch den AG festgelegt. Sie müssen so gewählt werden, dass die Fallzahl in der Maßnahmenstichprobe aussagekräftige Auswertungen zu Kosten-Nutzen-Aspekten für alle genannten Lernformate ermöglicht. Daneben soll die Auswahl gewährleisten, dass eine ausreichend genaue Schätzung der durchschnittlichen individuellen Ausgaben je Format ermöglicht wird; denn diese Durchschnitte dienen zur Imputation der Kosteninformationen bei den nicht im Detail erfassten, aber von den Individuen dennoch durchgeführten Weiterbildungsaktivitäten. Zu diesem Zwecke müssen bei der Bestimmung der Auswahlwahrscheinlichkeiten auch Informationen über die zu erwartende Varianz der individuellen Ausgaben (differenziert nach den verschiedenen Lernformen) berücksichtigt werden.
Eine Beratung durch den AN hinsichtlich der Auswahlvorschriften, auch hinsichtlich der praktischen Umsetzbarkeit im Computerprogramm, ist ausdrücklich erforderlich. In jedem Fall muss die exakte Auswahlwahrscheinlichkeit für jede Weiterbildungsaktivität zu Gewichtungszwecken vom AN berechnet und in den Abschlussdatensatz integriert werden (vgl. auch Abschnitt 2.6).
Der AG behält sich vor, die Zahl der auszuwählenden WB-Aktivitäten für die Detailbefragung auf 3 Aktivitäten zu erhöhen, sofern entsprechender Spielraum hinsichtlich der maximalen durchschnittlichen Interviewdauer besteht und sofern kein deutlich höheres Abbruchrisiko bei den entsprechend verlängerten Interviews zu befürchten ist.
Filterführung/Interviewvarianten
Das Erhebungsinstrument zeichnet sich durch eine relativ komplexe Filterführung aus. Sie dient im Wesentlichen der Reduktion der Interviewdauer, aber auch der Vermeidung von Irritationen bei ggf. irrelevanten Fragen und den evtl. resultierenden Interviewabbrüchen.
Der wichtigste Filter betrifft die Weiterbildungsteilnahme: Nichtteilnehmer/-innen an beruflicher Weiterbildung erhalten ein stark reduziertes Interview. Eine verlässliche Teilnahmequote lässt sich aber vorab kaum bestimmen, da der Weiterbildungsbegriff zu stark von anderen Erhebungen ab-weicht. Als Anhaltspunkt kann eine ähnlich gelagerte BIBB-Erhebung aus dem Jahr 2003 dienen; dort lag die Teilnahmequote bei 68 %. Der Weiterbildungsbegriff wurde gegenüber dieser Erhebung zwar einerseits ausgeweitet, weil mehr Lernformate berücksichtigt werden, andererseits aber auch deutlich eingeschränkt, weil etwa betriebliche Lernaktivitäten nur noch dann als Weiterbildung gezählt werden, wenn sie nicht vornehmlich dem Arbeiten bzw. der Arbeitsorganisation dienten. Einen weiteren Anhaltspunkt bildet die aktuelle AES-Erhebung. Sie liefert für Deutschland eine Teilnahmequote von 51 %, wobei in dieser Quote noch keine formalen Bildungsaktivitäten (wozu im AES auch Aufstiegsfortbildungen zählen) berücksichtigt sind. Es steht zu vermuten, dass die in der geplanten Erhebung zu erwartende Teilnahmequote zwischen den beiden genannten Quoten liegen wird.
Für die beiden Interviewvarianten „Teilnehmer-Interview“ und „Nichtteilnehmer-Interview“ ist jeweils die voraussichtliche durchschnittliche Interviewdauer zu ermitteln (unter Berücksichtigung der Erhebungsform, siehe dazu Abschnitt 2.2). Sie dient als Kalkulationsgrundlage (siehe hierzu auch die Abschnitte 2.2 und 5). Bei der Schätzung der Interviewdauer ist die Filterführung zu berücksichtigen. Eine Auflistung wichtiger Filterfragen (Aufzählung nicht vollständig) befindet sich im Fragebogen-Anhang.
2.2 Erhebungsform:
Die Form der durchzuführenden Erhebung ist derzeit noch offen. Es kommen ein persönliches computergestütztes Interview (CAPI) sowie ein telefonisches computergestütztes Interview (CATI) in Betracht. Das Erhebungsinstrument ist in seiner derzeitigen Fassung für ein Telefoninterview optimiert. Die Bieter sollen – soweit möglich – mit dem Angebot eine Kalkulation für beide Alternativen erstellen. Sie sollen darüber hinaus im Angebot die qualitative Leistungsfähigkeit (Vor- und Nachteile) beider Ansätze unter Berücksichtigung der vorgesehenen Erhebungsinhalte mit Blick auf folgende Aspekte nachvollziehbar darlegen:
— Erwartete Stichprobenverzerrung (insbesondere Bildungs-Bias);
— Qualität/Validität der erfassten Daten;
— Interviewverlauf/Abbruchrisiko.
Bei der Kalkulation der beiden Varianten sind des Weiteren folgende Einzelheiten zu berücksichtigen:
Variante „CATI“
Zur Kalkulation der Interviewpreise in der Variante „CATI“ ist eine durchschnittliche Dauer von 40 Minuten für ein Teilnehmer-Interview zu Grunde zu legen, wobei das Erhebungsinstrument ggf. noch entsprechend gekürzt werden muss. Die Abstimmung über entsprechende Kürzungen erfolgt nach Auftragsvergabe.
Die durchschnittliche Dauer eines Nichtteilnehmer-Interviews ist auf Grundlage des bereitgestellten Fragebogenentwurfs unter Berücksichtigung der vorgesehenen Filterführung vom bietenden Unternehmen zu schätzen. Hierzu sind Annahmen über die voraussichtliche Antwortverteilung bei wichtigen Filterfragen zu treffen.
Es ist ferner zu berücksichtigen, dass bei der Variante „CATI“ eine zufällige Telefonstichprobe (kombiniert, d. h. mit Festnetzanschlüssen und Mobilfunkanschlüssen) mit ausreichender Bruttofallzahl vom AG zur Verfügung gestellt würde. Diese würde entweder in Tranchen oder vollständig übergeben, wobei sie dann in jedem Fall tranchenweise abzuarbeiten wäre. Im Angebot soll auf Basis der Erfahrungen des bietenden Unternehmens mit ähnlichen Erhebungen dargelegt werden, welche Ausschöpfung zu erwarten ist und welchen Umfang die Bruttostichprobe dementsprechend haben muss.
Das telefonische Screening der jeweiligen Zielperson ist vom AN durchzuführen. Die notwendigen Fragen für das Screening der jeweiligen Zielpersonen im Haushalt sind vom AN nach Auftragsvergabe vorzuschlagen und nach Abstimmung mit dem AG in die Programmierung des Fragebogens zu integrieren. Es ist die Last-Birthday-Methode anzuwenden. Ggf. müssen Termine mit der Zielperson oder ein weiterer Anruf zu einem späteren Zeitpunkt vereinbart werden. Wurde beim Erstkontakt bereits eine Zielperson ermittelt, ist bei Terminvereinbarungen oder Anrufen zu einem unbestimmten späteren Zeitpunkt sicherzustellen, dass das Interview auch tatsächlich mit der ermittelten Zielperson geführt wird.
Es ist bei der Auswahl der Zielperson auch zu beachten, dass die Kontaktaufnahme teilweise über einen Festnetzanschluss und teilweise über einen Mobilfunkanschluss erfolgt. Eine Auswahl von Zielpersonen ist nur bei Festnetzanschlüssen notwendig. Allerdings muss unter bestimmten Umständen auch bei Mobilfunkanschlüssen die Zahl der erhebungsrelevanten Personen im Haushalt ermittelt werden.
Es sind Maßnahmen zur Steigerung der Teilnahmebereitschaft am Telefoninterview zu treffen und in den Fragebogen einzuarbeiten (siehe Hinweise im Fragebogenentwurf). Beispielsweise können ein Informationsschreiben oder eine E-Mail mit Informationen angeboten und/oder ein späterer Anruf/Telefontermin vereinbart werden. Es ist im Angebot darzulegen, welche Maßnahmen geplant sind. Die notwendigen Fragen sind nach Auftragsvergabe vom AN vorzuschlagen und nach Abstimmung mit dem AG in die Programmierung des Fragebogens zu integrieren.
Die Designgewichte für die Personenstichprobe werden bei dieser Variante vom AG ermittelt. Es müssen zu diesem Zweck einige Fragen zur telefonischen Erreichbarkeit gestellt werden, die dringend zur Designgewichtung im Falle eines Telefoninterviews benötigt werden. Sie sind in der gegenwärtigen Fassung des Erhebungsinstruments bereits berücksichtigt.
Variante „CAPI“
Bei dieser Variante ist zunächst zu berücksichtigen, dass das Erhebungsinstrument ggf. noch im Hinblick auf die Erhebungsform optimiert werden muss (z.B. können Antwortmöglichkeiten und Skalen als Listen vorlegt und insofern ggf. noch optimiert werden). Der AG erarbeitet hierzu einen Vorschlag, der AN berät den AG basierend auf den Erfahrungen des Instituts mit dieser Interviewform.
Für die Variante „CAPI“ ist die durchschnittliche Dauer von Teilnehmer- und Nichtteilnehmer-Interviews auf Grundlage des bereitgestellten Fragebogenentwurfs unter Berücksichtigung der vorgesehenen Filterführung vom bietenden Unternehmen zu schätzen.
Dabei kann zur Vereinfachung die vorgegebene Höchstdauer von 40 Minuten bei der Variante „CATI“ als Referenz für die Schätzung des Teilnehmer-Interviews herangezogen werden. Der AG geht davon aus, dass das CATI u. a. aufgrund folgender Aspekte länger ausfallen wird:
— Antworten werden in der persönlichen Befragungssituation durch die Befragungsperson (BP) genauer durchdacht als am Telefon und erfordern mehr Zeit;
— Die Hemmschwelle für Rückfragen durch die BP ist in der persönlichen Befragungssituation geringer;
— Einige Fragen können durch Listen unterstützt und dadurch präziser abgefragt werden (wobei dies nicht zwingend länger dauern muss, da z. B. sich häufig wiederholende Skalen nicht jedes Mal neu vorgelesen werden müssen).
Die Bieter sollen ihre Erfahrungswerte zugrunde legen, um abzuschätzen, wie stark sich das Interview bei einem CAPI voraussichtlich verlängert.
Die Ziehung einer Zufallsstichprobe in der Variante „CAPI“ obliegt bei dieser Variante dem AN. Es ist für die Zwecke der Erhebung eine eigenständige Stichprobe zu ziehen. Es darf nicht auf anderweitig bestehende und/oder für andere Befragungen entwickelte oder verwendete Stichproben zurückgegriffen werden.
Das vorgeschlagene Vorgehen (z. B. zur Auswahl von Befragungsregionen, zur Auswahl der Haushalte, zur Auswahl der Ziel-/Befragungspersonen) ist bereits im Angebot von den Bietern nachvollziehbar darzulegen. Dabei ist unter anderem darzulegen, wie ggf. Klumpungseffekte minimiert werden können und welcher Auswahlrahmen ggf. zur Anwendung kommen soll (z. B. Register der Meldeämter).
Im Angebot soll außerdem auf Basis der Erfahrungen des bietenden Unternehmens mit ähnlichen Erhebungen dargelegt werden, wie Stichprobenverzerrungen vermieden werden, wie das Prinzip der Zufallsauswahl gewahrt bleibt (z. B. durch Interviewerkontrolle, Regelungen zur Kontakthäufigkeit/Terminvereinbarung u. a.), welche Ausschöpfung zu erwarten ist und welcher Umfang der Bruttostichprobe (Zahl der aufzusuchenden Haushalte) dementsprechend erforderlich ist.
Es sind vom AN Maßnahmen zur Steigerung der Teilnahmebereitschaft am persönlichen Interview zu treffen und in den Fragebogen einzuarbeiten (s. Hinweise im Fragebogenentwurf). Beispielsweise können weitere Informationen zur Studie ausgehändigt oder ein späterer Interviewtermin vereinbart werden. Bereits im Angebot ist darzulegen, welche Maßnahmen geplant sind. Die notwendigen Fragen sind nach Auftragsvergabe vom AN vorzuschlagen und nach Abstimmung mit dem AG in die Programmierung des Fragebogens zu integrieren.
2.3 Pretest:
Es ist ein Pretest mit mindestens 30 vollständigen Interviews durchzuführen, der auch kognitive Elemente enthält. Bei der Pretest-Stichprobe muss es sich nicht zwingend um eine Zufallsauswahl handeln. Die Stichprobe muss aber eine Mindestheterogenität hinsichtlich bestimmter personenbezogener Merkmale aufweisen. Nach den Kriterien Weiterbildungsteilnahme und Erwerbsstatus müssen mindestens folgende Interviewzahlen realisiert werden:
Teilnehmer/-innen an WB Nichtteilnehmer/-innen an WB
Erwerbstätige (regelmäßig oder unregelmäßig)
(vgl. Frage 208ff zur Def. der Erwerbstätigkeit)
17 5
Nicht-Erwerbstätige
(vgl. Frage 208 ff zur Def. der Erwerbstätigkeit)
5 3
Zusätzlich muss darauf geachtet werden, dass die Pretest-Stichprobe hinsichtlich der Merkmale Alter, Geschlecht und höchster Bildungsabschluss durchmischt ist. Entscheidend ist, dass nicht eine Stichprobe gezogen wird, die eine sehr einseitige Verteilung dieser Merkmale aufweist (z. B. eine Gruppe von Studenten).
Der Pretest ist erstens unter der Fragestellung durchzuführen, ob aufgrund der gewonnenen Angaben davon ausgegangen werden kann, dass mit dem eingesetzten Erhebungsinstrumentarium die Daten zuverlässig erfasst werden können. Der Pretest soll zweitens dazu dienen, die computertechnische Umsetzung des Erhebungsinstrumentariums auf ihre Funktionalität hin zu testen. Die Interviewform richtet sich nach der gewählten Erhebungsform für die Haupterhebung.
Die kognitiven Techniken und die entsprechenden Zusatzfragen werden bei einem Arbeitstreffen zwischen AG und AN abgestimmt. Dem AG muss auf Wunsch die Möglichkeit zur Teilnahme an einigen Pretest-Interviews gegeben werden.
Nach Abschluss des Pretests ist vom AN ein Bericht vorzulegen, der die Pretestergebnisse darlegt und die Aspekte Antwortbereitschaft der Personen, Verständnis der Fragestellungen, erforderliche Interviewzeit, Plausibilität der Angaben und Anteil fehlender Angaben beurteilend darlegt. Auf eventuell aufgetretene Probleme bei den Befragungen ist hinzuweisen und es sind Vorschläge zur Optimierung des Erhebungsinstrumentariums zu entwickeln.
2.4 Schulung der Interviewer/-innen
Die Interviewer/-innen sind der wichtigste Schlüssel zu einer erfolgreichen Erhebung. Besonders in der geplanten, sehr komplexen, Befragung, kommt der Erfahrung der Interviewer höchste Bedeutung für die valide Datenerfassung zu. Es sind daher unbedingt besonders erfahrene und qualifizierte Interviewer/-innen mit der Befragung zu betrauen. Die Zahl, die einschlägige Erfahrung und die einschlägige Qualifikationen der im Projekt einzusetzenden Interviewer/-innen sind im Angebot darzulegen. Alle eingesetzten Interviewer müssen über mindestens 2 Jahre Erfahrung (ausschlaggebend ist die Dauer der Unternehmenszugehörigkeit oder der freiberuflichen Tätigkeit für das bietende Unternehmen) sowie mindestens über eine abgeschlossene Berufsausbildung oder Abitur/Fachhochschulreife verfügen.
Der AN sorgt für eine adäquate Schulung aller Interviewer/-innen. Bereits im Angebot ist darzulegen, wie die Schulung voraussichtlich organisiert wird, welchen Umfang sie hat, welche Materialien ggf. vorgesehen sind und wie viele Schulungstermine es geben wird. Die Schulung muss persönlich erfolgen (nicht ausschließlich online oder schriftlich). Die Schulung hat in Abstimmung mit dem AG statt zu finden. Dem AG wird außerdem die Möglichkeit eingeräumt, persönlich an den Schulungen teilzunehmen.
2.5 Feldarbeiten:
Die Feldarbeiten sind voraussichtlich im Februar 2016 zu beginnen. Es wird eine kurze Dauer der Gesamtfeldphase angestrebt. Die Daten müssen spätestens am 30. Juni übergeben werden.
Dem AG ist in der Anfangsphase die Möglichkeit zur Teilnahme an einigen Interviews einzuräumen. Bei dringendem Bedarf nimmt der AN auf Wunsch des AG noch während der Feldphase kleinere Korrekturen an der Fragebogen-Programmierung vor (z. B. geringfügige Umformulierungen, Änderungen von Filter oder Plausibilitätsfunktionen).
Bereits im Angebot ist von den Bietern darzulegen, mit Hilfe welcher Maßnahmen die Qualität der Datenerhebung überwacht wird (z. B. Maßnahmen zur Interviewerkontrolle). Ein wesentlicher Qualitätsaspekt ist die Gewährleistung einer Zufallsauswahl bei der Variante „CAPI“. Es ist darzulegen, wie sichergestellt ist, dass die Interviewer/-innen das Prinzip der Zufallsauswahl nicht verletzen.
Durch den AN ist eine Belehrung der Befragten zum Datenschutz vorzunehmen und ihre Einwilligung zur anonymisierten Nutzung für Forschungszwecke einzuholen. Ein entsprechendes Konzept bzw. das übliche Vorgehen ist für die Varianten „CATI“ und „CAPI“ im Angebot auszuführen.
2.6 Gewichtung:
Vom AN sind die folgenden Gewichte zu berechnen und in den Personendatensatz zu integrieren:
1. Designgewichte für die Personenstichprobe (nicht nötig bei Variante „CATI“);
2. Anpassungsgewichte für die Personenstichprobe;
3. Designgewichte für die Zufallsauswahl der Weiterbildungsaktivitäten.
Die Designgewichtung der Personenstichprobe ergibt sich aus den Inklusionswahrscheinlichkeiten. Letztere sind mit Rücksicht auf das mit der Erhebungsform zusammenhängende Verfahren der Stichprobenziehung zu bestimmen.
Die Anpassungsgewichte dienen der Anpassung von Stichprobenverzerrungen mit Blick auf bestimmte personenbezogene Merkmale an die Verteilung dieser Merkmale in der Grundgesamtheit. Als Anpassungsvariablen sind Alter, Geschlecht und höchster Bildungsabschluss sowie ggf. ein regionales Merkmal vorgesehen. Die Merkmale sind in geeigneter Weise zu differenzieren. Zur Berechnung der Anpassungsgewichte ist von der bereits designgewichteten Personen-Stichprobe auszugehen.
Schließlich sind Gewichte für jede Weiterbildungsaktivität in der Zufallsauswahl zu berechnen. Diese Maßnahmengewichte ergeben sich aus den Auswahlwahrscheinlichkeiten für jede Weiterbildungsaktivität (vgl. auch Abschnitt 2.3 → Zufallsauswahl der Weiterbildungsaktivitäten).
Die Details der Verfahren zur Berechnung der angegebenen Gewichte sind in jedem Fall nach Auftragsvergabe mit dem AG abzustimmen.
2.7 Datenaufbereitung/Datensatz
Nach Abschluss der Befragung sind die gewonnenen Daten auf Vollständigkeit und Plausibilität zu prüfen und in einem STATA-Datensatz mit den vorgegebenen Variablenbenennungen und Codierungen aufzubereiten. Die Plausibilitätsprüfung kann allerdings auch bereits innerhalb des Computerprogramms durch geeignete Plausibilitätstests erfolgen. Entsprechende Prüfvariablen sind in den Abschlussdatensatz zu integrieren. Der AN macht hierzu nach Auftragsvergabe Vorschläge, die der AG ggf. ergänzt.
Der Anteil an Item-Nonresponse (Weiß nicht/Verweigerung) in den (nicht überfilterten) Kernvariablen (Fragenblöcke 07 und 08) darf für jeden Beobachtungsfall nicht größer sein als 20 %. Auch bezogen auf die Gesamtheit aller (nicht überfilterten) Variablen in einem Beobachtungsfall darf der Anteil an Item-Nonresponse 20 % nicht überschreiten, damit ein Interview auf die zu erreichende Fallzahl angerechnet werden kann. Dies gilt ebenso für die Kurzinterviews mit Nichtteilnehmer/-innen an beruflicher Weiterbildung. In einigen wenigen Kernvariablen sind vollständige Angaben nötig, damit ein Interview auf die Gesamtzahl angerechnet werden kann. Dies sind die Variablen 200 bis 204, 206 und 208 (essentielle Merkmale für Filterung und Anpassungsgewichtung).
Es sind angemessene Variablen- und Wertelabels zu vergeben, die mit dem AG abzustimmen sind. Variablen, Codierung und Labels sind in einer Dokumentation nachvollziehbar darzulegen. Binäre Variablen sollen mit den Werten 0 und 1 vercodet werden (im Falle von Ja/Nein-Fragen erhält Die Antwort Nein“ den Wert 0). Überfilterte Variablen sind mit „.f“ zu vercoden. Die Antwort „weiß nicht“ mit „.w“ und die Antwortverweigerungen mit „.v“.
Der Datensatz muss für jedes Interview die Interviewdauer, die Kontakthäufigkeit, die Zahl der Interviewetappen (also z. B. bei Fortführung des Interviews zu späterem Zeitpunkt) und eine Interviewerkennung enthalten.
Dem AG ist ein Zwischendatensatz mit 1 000 Teilnehmer-Interviews zur Vorbereitung der Auswertungen zu übermitteln.
2.8 Dokumentation
Nach Abschluss des Pretests ist vom AN ein Bericht vorzulegen, der die Pretestergebnisse darlegt und die Aspekte Antwortbereitschaft der Personen, Verständnis der Fragestellungen, erforderliche Interviewzeit, Plausibilität der Angaben und Anteil fehlender Angaben beurteilend darlegt. Auf eventuell aufgetretene Probleme bei den Befragungen ist hinzuweisen und es sind Vorschläge zur Optimierung des Erhebungsinstrumentariums zu entwickeln.
Nach Abschluss der Haupterhebung sowie der Datenaufbereitung ist eine umfassende Abschlussdokumentation vorzulegen. Sie enthält einen Methodenbericht (mind. 30 Seiten, Calibri, 11, max. 1,5-facher Zeilenabstand), der mindestens auf folgende Aspekte eingeht:
— Ausschöpfung;
— Gewichtungsverfahren;
— Maßnahmen zur Steigerung der TN-Bereitschaft;
— Stichprobenziehung;
— Interviewdauer (Verteilung, Durchschnitt, Varianz);
— Kontakthäufigkeit (Verteilung, Durchschnitt, Varianz);
— Stichprobenzusammensetzung: Abgleich mit amtlicher Statistik;
— Maßnahmen und Ergebnisse der Plausibilitätsprüfung;
— Umfang fehlender Angaben nach Variablen.
Der Methodenbericht ist in gedruckter Form (2-fache Ausfertigung) sowie in elektronischer Form als PDF Dokument zur Verfügung zu stellen. Der AN ist damit einverstanden, dass dieser Bericht auch öffentlich zugänglich gemacht wird (z. B. gemeinsam mit den Daten über das BIBB-FDZ).
Zur Abschlussdokumentation gehören des Weiteren:
— Ein Codebuch, das Aufschluss für Variablenbezeichnungen, Variablen- und Wertelabels gibt;
— Ein Listenheft (nur bei Variante „CAPI“);
— Eine druckbare Version (WORD-Datei) des programmierten Fragebogens aus der Haupterhebung, die neben den Fragen auch Filterführungen, Variablenbezeichnung, Antwortlabels, Plausibilitätsprüfungen, Infotexte u.a erkennen lässt;
— Eine gewichtete und ungewichtete Grundauszählung des geprüften und bereinigten Datensatzes der Haupterhebung;
— Interviewerprotokolle, die zu jedem durchgeführten Interview der Haupterhebung in standardisierter Form erfassen, wie das Gespräch verlaufen ist und bei welchen Fragen Probleme auftraten. Der Inhalt der Protokolle (z. B. Einschätzung von Motivation, Ausdauer, Deutschkenntnissen der Befragungsperson) ist mit dem AG abzustimmen.
— Eine Dokumentation (als Datensatz), die für jede Fallnummer der Bruttostichprobe (anonymisiert) folgende Merkmale enthält (Bruttoband): Zahl der Kontaktversuche, Kennzeichnung als Kontaktinterview(Zielperson noch nicht identifiziert)/Teilinterview/Vollinterview, Interviewbeginn (Anfangsdatum und Anfangsuhrzeit), Interviewdauer, finaler Ausfallgrund, Korrespondenznummer zur Nettostichprobe und eine Interviewerkennung. Die standardisierten Interviewerprotokolle können diesem Datensatz hinzugefügt werden.
Deadline
Die Frist für den Eingang der Angebote war 2015-08-24.
Die Ausschreibung wurde veröffentlicht am 2015-07-08.
Wer?
Wie?
Geschichte der Beschaffung
| Datum |
Dokument |
| 2015-07-08
|
Auftragsbekanntmachung
|