Neuartige Jobempfehlungssysteme können Suchprozesse am Arbeitsmarkt verbessern

Neuere, auf maschinellem Lernen basierende Jobempfehlungssysteme sollen Arbeitssuchenden möglichst passende Jobangebote unterbreiten und so die „klassische“ Arbeitsvermittlung und -beratung entlasten oder ergänzen. Die Herausforderungen in der Umsetzung und die Grenzen in der Anwendung sind jedoch in den Blick zu nehmen, um die Potenziale von Jobempfehlungssystemen optimal zu nutzen. Dies zeigen die Erfahrungen mit den Systemen, die derzeit in Dänemark, Frankreich und Schweden erprobt werden.

Dank rasant verbesserter technischer Möglichkeiten bei der Rechenleistung, der Datenverfügbarkeit und der entwickelten Algorithmen sind Jobempfehlungssysteme heute potenziell wesentlich leistungsfähiger als noch vor wenigen Jahren. Einige Länder verwenden bereits technisch weiterentwickelte oder neu entwickelte Systeme, die diese neuen Möglichkeiten nutzen.

Doch erfüllen diese Systeme auch die in sie gesetzten Erwartungen? Und wo liegen ihre Einsatzmöglichkeiten und Grenzen? Antworten auf diese Fragen ergeben sich aus Erfahrungen mit den derzeit erprobten Empfehlungssystemen in Schweden, Dänemark und Frankreich. Alle drei Systeme wurden in enger Kooperation zwischen Wissenschaft und Arbeitsverwaltungen entwickelt.

Für die beiden skandinavischen Länder liegen Pilotstudien vor, die sowohl das Verhalten der Arbeitssuchenden als auch die Arbeitsmarktergebnisse untersuchen. Bei solchen Studien erhält eine zufällig ausgewählte Gruppe von Personen bestimmte Empfehlungen und wird mit einer Kontrollgruppe ohne solche Empfehlungen verglichen. Das System in Frankreich befindet sich noch in einer früheren Phase der Entwicklung und Erprobung, weshalb die Evaluationsergebnisse auf einem Vergleich mit dem derzeit im „Echtbetrieb“ laufenden System basieren.

Jobempfehlungssysteme sollen die Suchprozesse am Arbeitsmarkt und damit die Beschäftigungsaussichten verbessern

Jobempfehlungssysteme, die auf Daten- und Informationstechnologien basieren, sollen Arbeitssuchenden umfangreiche und valide Informationen über Beschäftigungsmöglichkeiten zur Verfügung stellen. Insbesondere könnte ein Jobempfehlungssystem offene Stellen vorschlagen, die Arbeitssuchende sonst nicht in Erwägung gezogen hätten, etwa weil passende Stellen außerhalb ihrer räumlichen oder beruflichen Suchradien liegen. Dadurch könnten Jobempfehlungssysteme die Suchprozesse auf dem Arbeitsmarkt verbessern.

Einmal eingeführt, so die Annahme, verursacht ein solches System nur geringe Grenzkosten. Die Gesamtkosten für den Einsatz des Systems steigen also nur geringfügig, wenn sich die Nutzerzahl erhöht. Gleichzeitig verringert es etwaige Informationsdefizite für den Arbeitsmarkt insgesamt – und damit die individuellen Suchkosten.

Die Systeme können individuelle Merkmale ebenso wie die regionale Situation am Arbeitsmarkt berücksichtigen. Das verspricht maßgeschneiderte Empfehlungen mit valideren Informationen als bislang. Idealerweise sollen im Ergebnis Arbeitsplätze und Arbeitskräfte qualitativ besser zusammenpassen, als es ohne das System der Fall wäre. Das betrifft insbesondere die Lohnvorstellungen, die vorhandenen und nachgefragten Qualifikationen und Fähigkeiten oder die gewünschte und angebotene Arbeitszeit und Beschäftigungsdauer.

Auf Gütermärkten genutzte Empfehlungssysteme sind generell vorteilhaft, wenn die betreffenden Güter nahezu unbegrenzt verfügbar sind. Ein Beispiel sind die Empfehlungssysteme von bekannten Streaming-Dienstleistern. Deren Medienprodukte sind mit vernachlässigbaren Grenzkosten immer wieder replizierbar.

Da ausgeschriebene Stellen jedoch in der Regel nur einmal zur Verfügung stehen, konkurrieren Arbeitssuchende um diese Jobs. Um einen Marktausgleich herzustellen, ist eine allzu starke Konzentration der Jobempfehlungen auf besonders attraktive Stellen zu vermeiden. Ansonsten würden zu viele Bewerbende um zu wenige Stellen konkurrieren und hätten entsprechend geringe Einstellungschancen. Solche sogenannten Ballungseffekte (der englische Ausdruck hierfür ist „congestion effects“) können die Effektivität der Empfehlungen stark reduzieren oder sogar individuelle Einstellungschancen verringern.

Einige öffentliche Arbeitsmarktdienstleister testen seit einigen Jahren solche Empfehlungssysteme. Diese Tests erfolgen häufig mit wissenschaftlicher Unterstützung, die auf einer validen kausalen Evaluation basiert. Im Folgenden werden beispielhaft die Studienergebnisse für drei Länder zusammengefasst, da die dortigen Jobempfehlungssysteme technisch sehr weit entwickelt sind:

• Schweden (hierzu haben Thomas Le Barbachon und andere im Jahr 2023 ein Diskussionspapier veröffentlicht)
• Dänemark (hierzu haben Steffen Altmann und andere ein Arbeitspapier im Jahr 2022 erstellt)
• Frankreich (die Informationen dazu sind einem Arbeitspapier von Victor Alfonso Naya und anderen aus dem Jahr 2021 entnommen).

Gemeinsamkeiten und Unterschiede der erprobten Empfehlungssysteme

Die in den drei Ländern verfolgten Ansätze haben das Ziel, die bei den jeweiligen öffentlichen Arbeitsmarktdienstleistern registrierten Arbeitssuchenden über konkrete Beschäftigungsmöglichkeiten zu informieren. Allerdings unterscheiden sich die Vorgehensweisen und die verwendeten Informationen deutlich.

Das System für Schweden bezieht seine Informationen aus dem Klick-Verhalten der registrierten Arbeitssuchenden auf der Webseite Platsbanken der schwedischen Arbeitsverwaltung (Arbetsförmedlingen). Dabei werden Informationen über die von einer arbeitssuchenden Person zuvor aufgerufenen Stellenanzeigen ausgewertet und mit dem Suchverhalten von anderen Arbeitssuchenden verglichen. So sollen für die Arbeitssuchenden besonders relevante Stellenanzeigen identifiziert und ihnen vorgeschlagen werden.

Die Empfehlungen basieren ausschließlich auf dem Klick-Verhalten der Personen. Damit gehen möglicherweise hilfreiche Informationen über Personen, wie deren sozio-demografische Merkmale, und über die Art der offenen Stellen, etwa die Berufsbezeichnung, nicht explizit in die Empfehlungen ein. Allerdings dürfte ein solches Empfehlungssystem gut auf andere Webseiten und Länder übertragbar sein, da es mit vergleichsweise wenigen und nur durch die Nutzung der Webseite selbst erzeugten Daten auskommt.

Das System der dänischen Arbeitsverwaltung (Styrelsen for Arbejdsmarked og Rekruttering, kurz STAR) empfiehlt Arbeitssuchenden neben den Stellenangeboten in vorher ausgewählten Zielberufen zusätzlich alternative berufliche Tätigkeiten. Hierzu werden Informationen über das individuelle Suchprofil mit aggregierten Daten zu Berufswechseln und zu Anforderungen in unterschiedlichen Berufen kombiniert. Die Empfehlungen speisen sich also aus früheren erfolgreichen Jobwechseln anderer Arbeitssuchender mit ähnlichem Suchprofil. Als zweiten Baustein erhalten Arbeitssuchende Informationen über offene Stellen im Umkreis von 50 Kilometern, die zu ihrem Suchprofil passen.

Das französische System sortiert offene Stellen individuell für jede arbeitssuchende Person. Die Empfehlungen berücksichtigen sowohl Merkmale der Arbeitssuchenden als auch der offenen Stellen. Im Rahmen der Erprobung werden verschiedene Algorithmen angewendet und mit dem derzeitigen Empfehlungssystem verglichen. Dabei unterscheiden sich die Algorithmen unter anderem darin, ob sie früheres Bewerbungsverhalten oder tatsächliche Einstellungen als Zielkriterium für das Matching verwenden. Das Empfehlungssystem reduziert zudem etwaige Ballungseffekte durch die Verwendung von sogenannten Zuordnungsalgorithmen (auch Allokationsalgorithmen genannt), welche die vorhandenen Bewerbungsvorschläge möglichst gleichmäßig auf die angebotenen Stellen verteilen.

Die Systeme in Dänemark und Frankreich weisen deutliche Ähnlichkeiten auf: Dort werden zwei Arten von Empfehlungen ermöglicht. Dabei soll entweder die Passung zwischen Suchprofil (also insbesondere Beruf, Region, Qualifikation und Berufserfahrung) und angebotenen Jobs optimiert oder die Dauer der Jobsuche minimiert werden. Das schwedische System dagegen rekurriert vollständig auf das vergangene individuelle Suchverhalten. Das bisherige Klick-Verhalten bestimmt also die Empfehlungen. Dies soll die Suche verkürzen.

Auswirkungen der erprobten Empfehlungssysteme

In den drei genannten Studien wurden die Stärken und Schwächen der drei Systeme ausführlich untersucht. Die in Dänemark und Schweden erprobten Systeme beeinflussen das Suchverhalten und erhöhen die Beschäftigungswahrscheinlichkeit für die Arbeitssuchenden leicht. Die Jobempfehlungen des in Frankreich entwickelten Systems unterscheiden sich systematisch von den Empfehlungen des bisherigen Systems und werden von Arbeitssuchenden als für sie passender eingeschätzt.

Die Studie für Schweden kommt für das dortige System, das auf dem bisherigem Suchverhalten der Betroffenen basiert, zu dem Ergebnis, dass Arbeitssuchende sich häufiger auf die empfohlenen Stellen bewerben. Obwohl die Gesamtzahl der Bewerbungen im Vergleich zur Kontrollgruppe gleichbleibt, erhöht das geänderte Suchverhalten die spätere Beschäftigungswahrscheinlichkeit. Die Empfehlungen haben somit zu einer effizienteren Arbeitssuche geführt.

Die Empfehlungen erweitern insbesondere den Suchradius hinsichtlich der Berufe und Regionen. Die letztgenannte Erweiterung fällt umso stärker aus, je enger die Arbeitssuchenden ihren Suchradius ursprünglich festgelegt hatten. Das Empfehlungssystem weist zudem häufiger auf schon länger laufende Stellenangebote hin. Außerdem erzeugt es keine nennenswerten Ballungseffekte, mutmaßlich weil sich die Empfehlungen nur auf das individuelle Suchverhalten stützen. Der Effekt des Systems auf die Beschäftigungswahrscheinlichkeit ist zwar recht gering. Die Grenzkosten für jede zusätzliche Nutzung sind jedoch laut der Studie so niedrig, dass der zusätzliche Nutzen die zusätzlichen Kosten übersteigt.

Die Studie für Dänemark findet für das dortige Empfehlungssystem ebenfalls positive Effekte. Sowohl die Empfehlung alternativer beruflicher Tätigkeiten als auch der Hinweis auf die Anzahl der offenen Stellen im aktuell gesuchten Beruf im Umkreis von bis zu 50 Kilometern verbessern die Beschäftigungsaussichten. Die Kombination beider Informationen entfaltet hingegen keine Wirkung. Dies könnte auf die teilweise gegenläufigen Implikationen beider Informationen für das Suchverhalten zurückzuführen sein.

Zudem nehmen die Effekte der auf aggregierten Daten beruhenden Empfehlungen ab, wenn sich der Kreis der Arbeitssuchenden, die Empfehlungen erhalten, ausweitet. Dies deutet auf Ballungseffekte hin. Die Empfehlungen, so das Fazit der Studie, sollten daher insbesondere für solche Gruppen ausgesprochen werden, die davon am stärksten profitieren, beispielsweise für Langzeitarbeitslose.

Die Befunde aus der Studie zum neu entwickelten französischen System deuten ebenfalls darauf hin, dass sich dieses positiv auf die Arbeitssuche auswirken könnte. Die Güte des Systems wurde zunächst anhand eines Vergleichs der Empfehlungen mit den tatsächlichen Neueinstellungen beurteilt. Die tatsächlich angenommene Stelle befand sich dabei deutlich häufiger unter den ersten fünf Empfehlungen als beim bisherigen System. Auch die Arbeitssuchenden selber schätzen die vom neuen System vorgeschlagenen Jobs als attraktiver ein, als dies beim bisherigen System der Fall war.

Sollte das bislang noch in der Testphase befindliche System in Frankreich in den laufenden Betrieb gehen, wären laut Studie längere Rechenzeiten (Laufzeiten der Algorithmen) zu erwarten. Diese hängen neben der Leistungsfähigkeit der IT-Infrastruktur auch von der Komplexität der zugrundeliegenden Rechenmodelle ab. Für das neue Empfehlungssystem liegen derzeit noch keine Befunde zu den tatsächliche Arbeitsmarktwirkungen vor, insbesondere zu möglichen Ballungseffekten. Diese Fragen sollen in einem nächsten Schritt durch eine Pilotstudie mit Zufallsauswahl untersucht werden.

Fazit

Die drei betrachteten Jobempfehlungssysteme zeigen auf, wie sich Suchprozesse auf dem Arbeitsmarkt potenziell effizienter gestalten lassen. Allerdings ergeben sich bei der Gestaltung mehrere Herausforderungen.

Zur Vermeidung von Ballungseffekten rät das Autorenteam der Studie über das dänische System dazu, die Empfehlungen auf die Personengruppen zu konzentrieren, bei denen die höchste Wirkung zu erwarten ist. Für öffentliche Arbeitsmarktdienstleister stellt sich dann allerdings die Frage, wie sich ein digitales Assistenzsystem bereitstellen lässt, ohne beim Zugang zum System zwischen verschiedenen Personengruppen zu diskriminieren. Wäre es möglich, eine maßgeschneiderte Beratung bei der Arbeitssuche anzubieten, die sich ausschließlich auf die Gruppen von Arbeitssuchenden konzentriert, die von einer bestimmten Beratungsform am stärksten profitieren?

Das französische System hingegen berücksichtigt mögliche Ballungseffekte bereits bei der Erstellung der Empfehlungen. Das kann dazu führen, dass Arbeitssuchenden nicht diejenigen Stellen vorgeschlagen werden, die am besten zu ihrem Profil passen.

Bei allen drei Empfehlungssystemen zeigt sich: Es ist nicht möglich, gleichzeitig die (Wieder-)Beschäftigungswahrscheinlichkeit zu maximieren und die Passung der Stelle mit den individuellen Präferenzen beziehungsweise Suchprofilen zu optimieren. Allenfalls lässt sich ein möglichst guter Kompromiss zwischen den beiden Zielen erreichen.

Weitere Fragen stellen sich, wenn die Empfehlungen auf dem beobachteten Such- oder Klick-Verhalten oder den in der Vergangenheit beobachteten Jobwechseln basieren. Implizit wird dabei angenommen, dass das vergangene Klick-Verhalten oder frühere Jobwechsel optimal waren, auch in der Zukunft optimal wären und daher eine valide Grundlage für Empfehlungen sind.

Bei einer solchen Fortschreibung der Vergangenheit bleiben jedoch beispielsweise zwischenzeitlich erfolgte konjunkturbedingte, aber auch strukturelle Arbeitsmarktveränderungen unberücksichtigt. Das für Schweden entwickelte System ist hier potenziell im Vorteil, da es das Suchverhalten aus der jüngeren Vergangenheit berücksichtigt.

Empfehlungen, die auf früherem Verhalten beruhen, könnten außerdem bestehende Ungleichheiten zwischen sozio-ökonomischen Gruppen tendenziell verstetigen oder sogar verstärken. Beispielsweise könnten Frauen weniger gut bezahlte Jobs als Männern vorgeschlagen werden, wenn Frauen in der Vergangenheit überwiegend solche Jobs ausgeübt haben. Das wäre gleichstellungspolitisch problematisch, insbesondere wenn die Unterschiede auf Diskriminierung beruhten.

Generell wäre also zu untersuchen, ob das Suchverhalten oder die Jobwechsel in der Vergangenheit eine gute Richtschnur für aktuelle Jobempfehlungen darstellen. Dabei muss für bestimmte Gruppen, wie erst kürzlich zugewanderte Personen, auch bedacht werden, welche andere Strategien für die Arbeitsmarktintegration ratsam sind, und ob sich dies berücksichtigen lässt. Entsprechende empirische Befunde könnten dazu beitragen, die Empfehlungssysteme und deren Arbeitsmarktergebnisse zu verbessern und Diskriminierung durch die Systeme selbst zu vermeiden.

Aus den beschriebenen Studien lassen sich auch Lehren für die Jobempfehlungssysteme in anderen Ländern ziehen. Ähnlich wie in Schweden und Dänemark sollte die Erprobung durch eine wissenschaftliche und auf Zufallsauswahl beruhende Pilotstudie begleitet werden.

Im IAB haben Sabrina Mühlbauer und Enzo Weber in einem 2022 publizierten IAB-Discussion Paper einen ersten Machine-Learning-Ansatz vorgestellt, um das Matching von Arbeitslosen und offenen Stellen zu verbessern. Der Ansatz verwendet administrative personenbezogene und berufsbezogene Daten zu Arbeitsmarktbiografien von erwerbstätigen Personen in Deutschland. Diese Studie ist ein möglicher Ausgangspunkt für eine evidenzbasierte Entwicklung eines neuartigen Jobempfehlungssystems in Deutschland.

Falls ein neues Jobempfehlungssystem in die öffentliche Arbeitsvermittlung integriert wird, sollte zudem das Empfehlungsverhalten der Vermittlungsfachkräfte in den Blick genommen werden. Hierzu liegen international bisher nur wenige Befunde vor. Schließlich könnte das Wissen der Vermittlungsfachkräfte auch zur Überprüfung und technischen Verbesserung der Systeme genutzt werden.

Literatur

Altmann, Steffen; Glenny, Anita M.; Mahlstedt, Robert; Sebald, Alexander (2022): The Direct and Indirect Effects of Online Job Search Advice. IZA-Discussion Paper No. 15830.

Barbanchon, Thomas Le; Hensvik, Lena;  Rathelot, Roland (2023): How can AI improve search and matching? Evidence from 59 million personalized job recommendations. Mimeo. Juli 2023.

Mühlbauer, Sabrina; Weber, Enzo (2022): Machine Learning for Labour Market Matching. IAB-Discussion Paper Nr. 3. DOI:10.48720/IAB.DP.2203

Naya, Victor Alfonso; Bied, Guillaume; Caillou, Philippe; Crépon, Bruno; Gaillac, Christophe; Pérennes, Elia; Sebag, Michèle (2021): Designing labor market recommender systems: the importance of job seeker preferences and competition. Mimeo, 31.05.2021.

Bild: A Stockphoto/stock.adobe.com

DOI: 10.48720/IAB.FOO.20231218.01