Alexandra Kovacs

Ce projet de Bachelor explore l’utilisation de grands modèles de langage (LLM) pour rendre les données issues de dispositifs wearables plus compréhensibles et engageantes. L’objectif est de transformer des données de santé quantitatives, telles que les pas, la fréquence cardiaque ou la pression artérielle, en explications textuelles personnalisées et accessibles.

The thesis  focused on creating a reusable gaze-tracking tool for conversational-agent studies and using it to analyze gaze behavior during interactions with an explainable AI chatbot.

Ce projet développe un chatbot capable d'apprendre et de mémoriser les préférences d'explication de chaque utilisateur sur le long terme, et d'adapter dynamiquement ses réponses en combinant texte et visuels d'exercices pertinents. Le système repose sur Gradio pour l'interface multimodale, vLLM pour l'hébergement local du modèle de langage, et LangChain pour la gestion du dialogue.

Ce projet développe une nouvelle fonctionnalité pour un système d'eye tracking, visant à regrouper les utilisateurs selon leur comportement de lecture via des techniques de clustering (HDBSCAN), et à produire des cartes de chaleur du regard pour visualiser leur attention.

Le système identifie avec succès des groupes d'utilisateurs distincts, bien que la granularité des heatmaps reste limitée par l'ab...

This Projet d’Approfondissement aims to contribute to the development of more transparent AI systems in healthcare. The focus is on integrating explainability into conversational agents to assist patients suffering from Crohn’s disease via the SelfChron mobile application. These patients require reliable tools to track their symptoms, manage their nutrition, and understand medical recommendations. The main objective of this project is to enhance user trust by making AI-generate...

Ce projet démontre la faisabilité d'intégrer un dispositif de suivi oculaire à un chatbot explicable, afin de mieux comprendre l'attention et l'interaction des utilisateurs avec l'IA. L'application locale combine un backend Python, une interface Dash et un suivi du regard en temps réel via le Tobii Spark Pro SDK, avec possibilité de revisualiser l'attention visuelle via une superposition vidéo des points de regard.

The increasing adoption of artificial intelligence (AI) has brought significant challenges, particularly regarding the interpretability of black box models. The CrystalClear project tackles this issue by integrating Explainable Artificial Intelligence (XAI) and large language model (LLM) capabilities into a chatbot interface designed to explain AI decisions in predicting the quality of manufactured parts.

This thesis investigates the use of an Embodied Conversational Agent (ECA) to support explainability in AI-based systems through more natural and interactive communication. The system combines a humanoid avatar developed in Unity with facial expressions, lip synchronization, and hand gestures, while its conversational functionality is provided by the CrystalClear chatbot.

The objective of this PA was to enhance and expand CrystalClear chatbot by incorporating additional capabilities and adapting the system to a new dataset.

The thesis explores how XAI can be incorporated into an energy management recommender system to make recommendations more understandable, support user trust, and enable more informed energy consumption decisions.

Cette thèse développe un chatbot capable d'expliquer aux professionnels les prédictions d'un modèle de classification de la qualité, en combinant des techniques d'xAI (notamment ALE) et des connaissances métier. Le système repose sur un module de compréhension du langage naturel (NLU) entraîné avec RASA sur une banque de questions xAI, ainsi que sur un graphe de connaissances encapsu...

Dans de nombreux cas, les modèles d’apprentissage automatique peuvent être très complexes et difficiles à comprendre, ce qui peut rendre difficile pour les utilisateurs de leur faire confiance et de les utiliser en toute confiance. De plus, la plupart des approches d’IA actuelles, telles que les réseaux de neurones profonds, sont considér&...

CrystalClear is a project that brings together explainable artificial intelligence, conversational agents, and smart manufacturing. Funded by HES-SO and developed through a collaboration between HumanTech Institute (HEIA-FR), and (HE-Arc), the project ran from 01.01.2023 to 20.12.2024.

Le nombre d'installations photovoltaïques domestiques a augmenté de 20 % entre 2019 et 2020. Cependant, les clients manquent encore de conscience quant à leur consommation d'énergie, ce qui entraîne la perte d'énergie verte non utilisée et l'utilisation de l'énergie du réseau à la place. En effet, les entreprises vendant des panneaux solaires ne proposent pas de solutions intelligentes pour optimiser l'utilisation de l'&eac...