Fit für die Zukunft: KI und falsche Assessmentergebnisse bei der Einstellung von Nachwuchskräften

Geschrieben von Emily Goldsack, F&E-Beraterin

Generative künstliche Intelligenz (GenAI) ist ein bedeutender technologischer Fortschritt, der den Arbeitsmarkt in vielerlei Hinsicht umkrempelt. Eine Studie von Cibyl für die ISE ergab, dass die Hälfte der Studenten bereits KI nutzt, um den Auswahlprozess zu bestehen. In Bezug auf diese erste Generation, die vollständig mit Technologie aufgewachsen ist, ist es wichtig zu verstehen, wie die Kandidaten der Gen Z KI nutzen und den Arbeitsmarkt umgestalten. Bei Talogy haben wir eine globale Studie durchgeführt, um die Erfahrungen von Personalverantwortlichen und Berufseinsteigern im Zusammenhang mit der Nutzung von KI im Einstellungsprozess zu sammeln. In diesem Blog werden wir einige unserer Ergebnisse untersuchen und Vorschläge machen, wie sich Unternehmen auf den anhaltenden Anstieg von KI in der Bewertung vorbereiten können.

Was ist Generative KI und warum sollten wir uns dafür interessieren?

GenAI-Tools wie ChatGPT, DALL-E und Gemini nutzen Algorithmen des maschinellen Lernens, um fast augenblicklich neue Text-, Video- und Audioinhalte zu erzeugen. Sie haben in den letzten Jahren rasch an Popularität gewonnen. Obwohl sie das Potenzial haben,  Talentassessment und -entwicklung zu verbessern, gibt es auch Bedenken hinsichtlich ihrer Auswirkungen auf den Einstellungsprozess.

Eine dieser Befürchtungen ist, dass sie den Bewerbern einen unfairen Vorteil im Auswahlverfahren verschaffen könnten. So berichten 70 % der Arbeitssuchenden, dass sie eine höhere Antwortquote von Unternehmen erhalten, wenn sie ChatGPT für die Erstellung ihres Lebenslaufs oder Anschreibens nutzen. Diese Zahlen deuten darauf hin, dass GenAI-Tools bereits die Einstellungsdynamik beeinflussen und ungleiche Wettbewerbsbedingungen für Bewerber schaffen können.

Darüber hinaus kann der Einsatz von KI die psychometrische Validität von Assessments untergraben, was dazu führt, dass mehr ungeeignete Bewerber in spätere Phasen des Auswahlverfahrens gelangen. Doch was bedeutet dies für Arbeitgeber und wie können sie ihre Einstellungsverfahren verbessern, um die mit GenAI verbundenen Risiken zu mindern?

KI und falsche Ergebnisse bei der Rekrutierung junger Talente

Als Nächstes wollten wir der Frage nachgehen: „Werden Berufseinsteiger diese Instrumente nutzen, um Assessmentergebnisse zu fälschen?“

Von den von uns befragten Personen gaben 58 % an, dass sie GenAI-Tools beim Bearbeiten von Assessments wahrscheinlich nicht oder überhaupt nicht einsetzen würden. Es scheint, dass in allen Regionen ein beträchtlicher Anteil der jungen Talente zögert, diese Tools zu nutzen. Von den Arbeitsuchenden gaben nur 22 % an, GenAI zu nutzen, wenn sie im Zuge ihrer Arbeitssuche Assessments bearbeiten.

Anmerkung: Diese Ergebnisse basieren auf der kombinierten Stichprobe von Berufseinsteigern und Arbeitsuchenden (n = 702).

Darüber hinaus gaben nur 15 % der Berufseinsteiger und Arbeitsuchenden an, dass sie es sehr oder äußerst wahrscheinlich nutzen würden. Diese Zahlen deuten nicht darauf hin, dass Betrug derzeit weit verbreitet ist, aber sie legen nahe, dass das Thema weiterhin Aufmerksamkeit und Untersuchungen verdient.

Dies ist etwas, was wir bei Talogy getan haben, indem wir die Ergebnisse bestehender Assessments, die bei großen Einstellungsvolumina verwendet werden, kontinuierlich überwacht haben. Wir haben keine nennenswerten Unterschiede in den Durchschnittswerten vor und nach der Einführung von ChatGPT bei großen Stichproben von Bewerbern festgestellt, was ein Beweis dafür ist, dass GenAI bisher keinen wirklichen Einfluss auf die Assessmentergebnisse hat. Dies ist jedoch etwas, das wir weiterhin beobachten und über das wir berichten werden, wenn der Einsatz von KI wächst und sich in der Zukunft weiterentwickelt.

Um weitere Einblicke zu gewinnen, haben wir Arbeitsuchende nach ihren Beweggründen für die Nutzung von GenAI befragt. Unsere Ergebnisse zeigen, dass Bewerber, die sich am Anfang ihrer Karriere befinden, KI als Werkzeug nutzen, um ihre Ideen und schriftlichen Antworten zu verbessern, und nicht als Methode, um Assessments zu manipulieren und alle Antworten erstellen zu lassen. Viele sagten, sie zögerten, sie zu nutzen, weil sie ihr wahres Ich zeigen wollten. Sie hielten es für unehrlich oder für möglich, dass sie aus dem Verfahren ausgeschlossen werden. Andere sagten, dass sie nicht darauf vertrauen, dass es zuverlässig oder genau genug ist, um sie in einem anspruchsvollen Assessmentkontext zu unterstützen.

Best Practices für den Einsatz von GenAI in Assessments

In Anbetracht der Tatsache, dass GenAI einigen Bewerbern unfaire Vorteile verschaffen und die psychometrische Validität beeinträchtigen kann, müssen die Arbeitgeber die Verwendung von GenAI in ihren Assessmentverfahren regeln. Um zu verstehen, welche Schritte unternommen werden sollten, haben wir Arbeitsuchende gefragt, wie wahrscheinlich es ist, dass sie GenAI verwenden würden, wenn sie als verboten erklärt würden. In unserer Untersuchung gaben 85 % an, dass sie es wahrscheinlich nicht oder überhaupt nicht verwenden würden, was darauf hindeutet, dass die Bewerber kein Interesse haben, zu betrügen, insbesondere wenn sie explizit darauf aufmerksam gemacht werden.

Dies zeigt, dass kleine Schritte – wie etwa ein klarer Hinweis, dass der Einsatz von KI verboten ist – Bewerber wirksam vom Betrug abhalten können. Wir empfehlen, dass Unternehmen den Bewerbern zu Beginn des Einstellungsverfahrens klar machen, was ein angemessener Einsatz von GenAI-Tools im Rahmen ihres Einstellungsverfahrens ist und was nicht. Ein praktischer Ansatz zur Umsetzung ist die Aufnahme von Warnhinweisen oder „Ehrlichkeitsverträgen“, in denen sich die Teilnehmer von vornherein verpflichten, GenAI während des Assessments nicht zu verwenden. Sie können auch die Möglichkeit vorsehen, den Test später persönlich zu wiederholen, um die Ergebnisse zu überprüfen und die Fähigkeiten für die Stelle zu bestätigen.

Dies würde auch einen Teil der Verwirrung darüber beseitigen, wie der Einsatz von GenAI im Einstellungsprozess gesehen wird. Unsere Untersuchung ergab, dass einige Bewerber glauben, dass GenAI-Tools erlaubt sein werden (42 %), einige glauben, dass sie es nicht seien (41 %), und andere sind sich nicht sicher (17 %). Die meisten denken, dass sie für Lebensläufe und Anschreiben erlaubt sind, nicht aber für Fähigkeitstests, Vorstellungsgespräche und Assessment-Center. Dies zeigt, wie wichtig es ist, dass Unternehmen den Bewerbern in jeder Phase des Prozesses klare Richtlinien für den Einsatz von GenAI geben.

Arbeitgeber können auch Folgendes tun, um ihre aktuellen Prozesse zu reflektieren und die mit KI verbundenen Risiken zu mindern:

1. Überwachung der Ergebnisse – Überwachen Sie die Entwicklung der Ergebnisse Ihrer Assessments im Laufe der Zeit, um Anzeichen für Betrug zu erkennen, die sich in auffälligen Unterschieden in den Ergebnissen zeigen. Konzentrieren Sie sich zunächst auf die risikoreichsten Assessments, wie z. B. traditionelle kognitive Fähigkeiten oder Situationsbeurteilungstests (SJTs) mit vorgegebener Auswahl. Auf diese Weise können Sie auch verfolgen, ob Ihre Assessments ihre Gültigkeit behalten. Obwohl Betrug schon immer ein Problem war und auch in Zukunft sein wird, ist es letztlich am wichtigsten, sicherzustellen, dass die Assessments hohe Leistungen vorhersagen.
2. Assessmentformate evaluieren – Untersuchen Sie, wie anfällig verschiedene Testformate für Betrug mit GenAI sind. Interaktive Tests oder solche, die komplexere Antwortformate beinhalten – im Gegensatz zu Tests mit einer eindeutigen richtigen oder falschen Antwort – sind tendenziell resistenter (z. B. Idealpunkt-SJTs). Versuchen Sie, diese Designs zu implementieren, wo immer es möglich ist. Sie könnten zum Beispiel einen traditionellen Test der kognitiven Fähigkeiten durch ein interaktiveres Format ersetzen, wie z. B. Talogy’s Mindgage assessment , bei dem bewertet wird, wie die Kandidaten an die Übung herangehen, anstatt nur den erfolgreichen Abschluss.
3. Technologiefunktionen – Erwägen Sie die Implementierung von Technologiefunktionen zur Abschreckung von Betrug, z. B. die Sperrung von Kopier- und Einfügefunktionen, die die Übertragung von Inhalten in Tools wie ChatGPT erschweren. Dies kann eine wirksame Abschreckung sein, insbesondere bei zeitlich begrenzten Prüfungen, da die Verwendung dieser Tools die Leistung der Kandidaten und ihre Fähigkeit, die Prüfung abzuschließen, beeinträchtigt. Die Fernüberwachung von Online-Assessments ist ebenfalls eine Option für höchste Sicherheit, obwohl die Kosten für die Implementierung und die potenziellen negativen Auswirkungen auf die Erfahrung der Kandidaten die Vorteile überwiegen könnten.

Anpassung der Personalgewinnung an die Welt der GenAI

In Anbetracht der Tatsache, dass die Kandidaten am Anfang ihrer beruflichen Laufbahn wohl die Generation sind, die am besten mit der Technologie umgehen kann, ist es nicht verwunderlich, dass sich die Frage stellt, wie sie diese beim Eintritt in das Berufsleben nutzen werden. Während Betrugsversuche bei Online-Assessmentprozessen schon immer ein Problem war, handelt es sich hierbei um eine neue Methode, die innovative Ansätze erfordert, um ihre Auswirkungen auf die Assessments zu steuern.

Unsere Ergebnisse deuten darauf hin, dass mit GenAI kein weit verbreiteter Betrug stattfindet, aber es besteht immer noch die Notwendigkeit, Ihren Einstellungsprozess vor potenziellen Risiken zu schützen. Gleichzeitig müssen sich Unternehmen ganzheitlich auf den Einstellungsprozess konzentrieren und andere wichtige Faktoren im Auge behalten, wie z. B. die Eignung für die Stelle und die Kultur, die Behebung von Qualifikationsdefiziten und die Gewinnung und Bindung von Spitzentalenten, um sicherzustellen, dass der Einstellungsprozess seine Integrität bewahrt und zu einer qualitativ hochwertigen Einstellung führt.