Fairness analysis of graph neural networks for behavioral user modeling

Abstract

Artificial Intelligence (AI) systems have become integral to modern life, driving the functionality of Information Retrieval and Recommender Systems to provide tailored content efficiently. As these technologies advance and embed themselves into various sec- tors such as healthcare, finance, and social media, addressing their ethical and societal impacts is increasingly critical. Ensuring that AI systems are transparent, equitable, and sustainable is essential. This highlights the need for research in fields like Human- Centered AI (HCAI) and Responsible AI that promote respect for societal values. The ethical implications of AI have drawn significant attention, leading to the establishment of several European regulations that emphasize principles such as transparency, account- ability, and fairness. These regulations aim to protect individuals’ rights by ensuring clear explanations for AI decisions, obtaining explicit consent before automated deci- sions, and preventing discrimination. In response to these ethical challenges, this dissertation begins by developing a Re- sponsible AI framework, focusing on transparency and fairness to build trust and re- liability among domain experts. This foundational work sets the stage for a detailed exploration of algorithmic fairness in user modeling applications, particularly those in- volving Graph Neural Networks (GNNs). While GNNs have shown significant potential in converting user interaction data derived from graph structures into actionable insights, traditional evaluations often neglect fairness considerations, focusing primarily on accu- racy metrics. In our research, we assessed fairness in state-of-the-art GNNs for behavioral user modeling, detecting potential discrimination based on different user modeling paradigms. Recognizing the limitations of binary fairness metrics, which oversimplify real-world sce- narios by forcing non-binary attributes into binary categories, we extended four existing fairness metrics to adapt to multiclass scenarios. This expansion enables a more detailed and accurate evaluation of fairness, enhancing comprehension of AI systems’ influence on various user demographics. To tackle the potential discrimination detected in GNN-based user modeling, we introduced FAME (short for Fairness-Aware MEssages), an in-processing bias mitigation strategy that modifies the message-passing algorithm during GNN training. Additionally, we developed FairUP, a framework that standardizes input processing and integrates comprehensive fairness analysis components, supporting both pre-processing and post- processing fairness techniques. We have also developed GNNFairViz, an interactive visual analytics tool designed to facilitate the practical implementation of these methods. This tool offers interactive visualizations to help users examine and identify biases in GNN models. Overall, this dissertation addresses critical challenges in fairness analysis for behav- ioral user modeling, focusing on ethical AI development. Initially, we designed decision- making systems aligned with HCAI and Responsible AI principles, complying with Eu- ropean regulations. The core contribution is the innovative evaluation of fairness in user modeling using GNNs, introducing methods to assess and mitigate biases for more eq- uitable AI outcomes. Additionally, we extended binary fairness metrics to multiclass and multigroup scenarios for a more accurate evaluation. The development of unified frameworks for standardized fairness evaluation and visualization enhances consistency, transparency, and understanding of the impact of the models. These contributions em- phasize the importance of integrating fairness into systems’ design, laying a foundation for future responsible AI research and applications.

Künstliche Intelligenz (KI)-Systeme sind zu einem integralen Bestandteil des mo- dernen Lebens geworden und treiben die Funktionalität von Information Retrieval und Empfehlungssystemen an, um maßgeschneiderte Inhalte effizient bereitzustellen. Da sich diese Technologien weiterentwickeln und in verschiedene Sektoren wie Gesundheitswe- sen, Finanzen und soziale Medien einbetten, wird es immer wichtiger, ihre ethischen und gesellschaftlichen Auswirkungen zu berücksichtigen. Es ist deshalb essentiell, dass KI- Systeme transparent, gerecht und nachhaltig sind. Dies unterstreicht die Notwendigkeit von Forschung in Bereichen wie menschenzentrierte KI und verantwortungsbewusste KI, die den Respekt vor gesellschaftlichen Werten fördern. Die ethischen Implikationen von KI haben erhebliche Aufmerksamkeit erregt und zur Etablierung mehrerer europäischer Vorschriften geführt, die Prinzipien wie Transpa- renz, Verantwortlichkeit und Fairness betonen. Diese Vorschriften zielen darauf ab, die Rechte der Individuen zu schützen, indem sie klare Erklärungen für KI-Entscheidungen gewährleisten, eine explizite Zustimmung vor automatisierten Entscheidungen einholen und Diskriminierung verhindern. Als Antwort auf diese ethischen Herausforderungen entwickelt diese Dissertation zu- nächst ein Framework für verantwortungsbewusste KI, das sich auf Transparenz und Fairness konzentriert, um Vertrauen und Zuverlässigkeit unter Fachexperten aufzubau- en. Diese Grundlagenarbeit bildet die Basis für eine detaillierte Exploration der algorith- mischen Fairness in Anwendungen zur Benutzermodellierung, insbesondere solchen, die Graph Neural Networks (GNNs) beinhalten. Während GNNs ein erhebliches Potenzial bei der Umwandlung von Benutzerinteraktionsdaten aus Graphstrukturen in umsetzbare Erkenntnisse gezeigt haben, vernachlässigen traditionelle Bewertungen oft Fairnessaspek- te und konzentrieren sich hauptsächlich auf Genauigkeitsmetriken. In unserer Forschung haben wir die Fairness in hochmodernen GNNs für die Verhal- tensbenutzermodellierung bewertet und mögliche Diskriminierungen basierend auf ver- schiedenen Benutzermodellierungsparadigmen entdeckt. Angesichts der Einschränkungen binärer Fairnessmetriken, die reale Szenarien durch das Erzwingen nicht-binärer Attri- bute in binäre Kategorien vereinfachen, haben wir vier bestehende Fairnessmetriken er- weitert, um sie an Mehrklassen-Szenarien anzupassen. Diese Erweiterung ermöglicht eine detailliertere und genauere Bewertung der Fairness und verbessert das Verständnis des Einflusses von KI-Systemen auf verschiedene Benutzerdemografien. Um die in GNN-basierten Benutzermodellierungen erkannte potenzielle Diskrimi- nierung zu bekämpfen, haben wir FAME (Fairness-Aware Messages) eingeführt, eine In-Processing-Bias-Mitigation-Strategie, die den Nachrichtenübermittlungsalgorithmus während des GNN-Trainings modifiziert. Darüber hinaus haben wir FairUP entwickelt, ein Rahmenwerk, das die Eingangsverarbeitung standardisiert und umfassende Fairnes- sanalysekomponenten integriert und sowohl Pre-Processing- als auch Post-Processing- Fairnesstechniken unterstützt. Wir haben auch GNNFairViz entwickelt, ein interaktives visuelles Analysetool, das die praktische Implementierung dieser Methoden erleichtert. Dieses Tool bietet interaktive Visualisierungen, um Benutzern zu helfen, Verzerrungen in GNN-Modellen zu untersuchen und zu identifizieren. Insgesamt befasst sich diese Dissertation mit kritischen Herausforderungen in der Fairness-Analyse für Behavioral User Modeling und konzentriert sich auf die ethische Entwicklung von KI. Zunächst wurden Entscheidungssysteme entworfen, die mit den Prinzipien von menschenzentrierte KI und verantwortungsvoller KI übereinstimmen und den europäischen Vorschriften entsprechen. Der Kernbeitrag ist die innovative Bewertung der Fairness in der Benutzermodellierung mittels GNNs, wobei Methoden zur Bewertung und Minderung von Verzerrungen eingeführt werden, um gerechtere KI-Ergebnisse zu er- zielen. Darüber hinaus werden binäre Fairness-Metriken auf Mehrklassen- und Mehrgrup- penszenarien erweitert, um eine genauere Bewertung zu ermöglichen. Die Entwicklung einheitlicher Frameworks für standardisierte Fairness-Bewertung und -Visualisierung ver- bessert die Konsistenz, Transparenz und das Verständnis der Auswirkungen der Modelle. Diese Beiträge betonen die Bedeutung der Integration von Fairness in das Systemdesign und legen eine Grundlage für zukünftige Forschung und Anwendungen im Bereich der verantwortungsvollen KI.

I sistemi di Intelligenza Artificiale (IA) sono diventati parte integrante della vita mo- derna, guidando il funzionamento dei sistemi di recupero delle informazioni e dei sistemi di raccomandazione al fine di fornire contenuti personalizzati in modo efficiente. Con l’avanzamento e l’integrazione di queste tecnologie in vari settori quali la sanità, la finan- za e i social media, diventa essenziale trattare i loro impatti etici e sociali per garantire che i sistemi di IA siano trasparenti, equi e sostenibili. Ciò comporta la necessità di approfondire la ricerca in campi come l’IA Responsabile che promuovano il rispetto di valori etici. Le implicazioni etiche dell’IA hanno attirato notevole attenzione, portando all’istituzione di diverse normative europee che mirano a proteggere i diritti degli indivi- dui assicurando spiegazioni chiare per le decisioni dell’IA, ottenere il consenso esplicito degli utenti soggetti a decisioni di sistemi automatici e prevenire che gli utenti vengano discriminati da tali sistemi. In risposta a questi requisiti etici, il progetto di dottorato inizia con lo sviluppo di un sistema di IA Responsabile che, focalizzandosi su trasparenza ed equità, punta a trasmettere fiducia e affidabilità negli esperti del settore. Questo lavoro fondativo prepara il terreno per un’esplorazione dettagliata dell’equità algoritmica nelle applicazioni di modellazione degli utenti, in particolare quelle che coinvolgono le reti neurali a grafo (abbreviate con GNN, dal termine inglese). Sebbene le GNN abbiano mostrato un enorme potenziale nel convertire i dati utente derivati da strutture a grafo in informazioni utili, le valutazioni tradizionali spesso trascurano le considerazioni di equità, concentrandosi principalmente su metriche di accuratezza. Nella nostra ricerca, abbiamo valutato l’equità nelle GNN allo stato dell’arte per la modellazione comportamentale degli utenti, rilevando potenziali discriminazioni basate su diversi paradigmi di profilazione utente. Dalla successiva analisi dei limiti di utilizzo di metriche binarie, che semplificano eccessivamente gli scenari del mondo reale forzando attributi multi-valore in categorie binarie, abbiamo esteso quattro metriche di equità esistenti per adattarle a scenari multi-classe. Questa espansione consente una valutazione più dettagliata e accurata dell’equità, migliorando la comprensione dell’influenza che i sistemi di IA hanno su diversi gruppi demografici. Infine, per affrontare le potenziale discriminazioni rilevate nella modellazione degli utenti basata su GNN, abbiamo introdotto FAME (acronimo di Fairness-Aware MEssa- ges), una innovativa strategia di mitigazione dei bias che si applica direttamente durante l’addestramento delle reti neurali considerate. Inoltre, abbiamo sviluppato due sistemi denominati FairUP e GNNFairViz. Il primo standardizza la valutazione delle pre-stazioni delle GNN per la modellazione utente, mentre il secondo offre visualizzazioni interattive per aiutare gli utenti a esaminare e identificare i bias nelle architetture neurali. Nel complesso, questa dissertazione affronta sfide critiche nell’analisi dell’equità per la modellazione comportamentale degli utenti, concentrandosi sullo sviluppo etico dell’IA. Inizialmente, abbiamo progettato sistemi decisionali allineati ai principi dell’IA Respon- sabile, rispettando le normative europee. Il contributo principale è rappresentato dalla valutazione dell’equità nella modellazione degli utenti utilizzando le GNN, introducendo metodi per valutare e mitigare i bias. Inoltre, abbiamo esteso le metriche binarie di equità a scenari multi-valore per fornire una valutazione più accurata. Lo sviluppo di strumenti standardizzati per la valutazione e la visualizzazione delle prestazioni di equità dei modelli di GNN migliora la coerenza, la trasparenza e la comprensione dell’impatto dei modelli stessi. Tali contributi evidenziano l’importanza di integrare l’equità nella progettazione dei sistemi di IA, ponendo le basi per future ricerche e applicazioni dell’IA Responsabile.