Evaluación del impacto de la conversión de sistema mono a sistema estéreo en soluciones de eye-tracking de bajo coste

2024

Ofertado

Línea de investigación:
Health informatics
Descripción:

Explorar la mejora que podría tener un algoritmo de visión estéreo en una solución de eye-tracking de bajo coste. En este proyecto nos centraremos en explorar cómo puede repercutir en la precisión de un modelo Gaze Estimation (GE) la introducción de dos imágenes de la misma escena (ojos) desde diferentes puntos de vista. Este proyecto está centrado en la evaluación del rendimiento de entrenamientos de redes neuronales convolucionales (CNN) con diferentes combinaciones de imágenes provenientes de diferentes cámaras. En concreto, estas estructuras de redes CNN se podrán basar en las conocidas redes LeNet y/o EfficientNetV2.

Por tanto, en el desarrollo del proyecto el estudiantado tendrá que entender la implementación actual del algoritmo, duplicarla, y realizar las adaptaciones necesarias y entrenamientos sobre diferentes combinaciones de cámaras con el fin de mejorar la precisión final del sistema. La implementación actual del algoritmo se refiere al algoritmo que se utiliza en el módulo Gaze Estimation Model del sistema eye-traking en el que Irisbond está trabajando.

En cuanto a cómo combinar las dos imágenes capturadas por la cámara estérea, se considerarán aproximaciones diferentes: (1) entrenar dos redes totalmente inconexas, uno con las imágenes de derecha y otra con las de izquierda, para, luego, combinar (por ejemplo, haciendo la media) las dos predicciones (gaze vector / vector de mirada) obtenidas. (2) entrenar una única red neuronal en la que las primeras capas se tratan de forma independiente ambas imágenes, para luego, en capas más avanzadas de la red poder combinar ambas fuentes de información, terminando en una red Fully Connected Neural Network. Para evaluar las soluciones propuestas se utilizarán bases de datos públicas (ETH-XGaze, etc).

Tareas a desarrollar:

  • Analizar y adaptar el modelo existente de eye-tracking de bajo coste que tenemos actualmente en Irisbond.
  • Duplicar el sistema y adaptarlo para poder habilitar el que se convierta en un modelo binocular.
  • Aprender lo que supone trabajar con un sistema estéreo de visión.
  • Preparar la base de datos escogida para la validación del algoritmo de forma objetiva.
  • Realizar una experimentación metodológica con las redes adaptadas sobre las bases de datos mencionadas.
  • Analizar los resultados de las diferentes propuestas y generar un informe técnico a modo de memoria del proyecto.

Objetivo:

  • Analizar la mejora que podría tener un algoritmo de visión estéreo en una solución de eye-tracking de bajo coste basada en redes neuronales convolucionales (CNN).

Titulaciones:

  • Grado en Ingeniería Informática
    • Computación
  • Grado en Inteligencia Artificial
  • Máster Universitario en Ingeniería Computacional y Sistemas Inteligentes
Participantes:

Director(es):
Iñigo Perona
Javier Muguerza
Universidad:
Universidad del País Vasco/Euskal Herriko Unibertsitatea (UPV/EHU)
Centro:
Informatika Fakultatea - Facultad de Informática
Departamento:
Konputagailuen Arkitektura eta Teknologia - Arquitectura y Tecnología de computadores
Año lectura:
2024