Binaural Synthesis Individualization based on Listener Perceptual Feedback
Individualisation de la synthèse binaurale par retours perceptifs d'auditeur
Résumé
In binaural synthesis, providing individual HRTFs (head-related transfer functions) to the end user is a key matter, which is addressed in this thesis. On the one hand, we propose a method that consists in the automatic tuning of the weights of a principal component analysis (PCA) statistical model of the HRTF set based on listener localization performance. After having examined the feasibility of the proposed approach under various settings by means of psycho-acoustic simulations of the listening tests, we test it on 12 listeners. We find that it allows considerable improvement in localization performance over non-individual conditions, up to a performance comparable to that reported in the literature for individual HRTF sets. On the other hand, we investigate an underlying question: the dimensionality reduction of HRTF sets. After having compared the PCA-based dimensionality reduction of 9 contemporary HRTF and PRTF (pinna-related transfer function) databases, we propose a dataset augmentation method that relies on randomly generating 3-D pinna meshes and calculating the corresponding PRTFs by means of the boundary element method.
En synthèse binaurale, fournir à l’auditeur des HRTFs (fonctions de transfert relatives à la tête) personnalisées est un problème clef, traité dans cette thèse. D’une part, nous proposons une méthode d’individualisation qui consiste à régler automatiquement les poids d’un modèle statistique ACP (analyse en composantes principales) de jeu d’HRTF à partir des performances de localisation de l’auditeur. Nous examinons la faisabilité de l’approche proposée sous différentes configurations grâce à des simulations psychoacoustiques des tests d’écoute, puis la testons sur 12 auditeurs. Nous constatons qu’elle permet une amélioration considérable des performances de localisation comparé à des conditions d’écoute non-individuelles, atteignant des performances comparables à celles rapportées dans la littérature pour des HRTF individuelles. D’autre part, nous examinons une question sous-jacente : la réduction de dimensionnalité des jeux d’HRTF. Après avoir comparé la réduction de dimensionalité par ACP de 9 bases de données contemporaines d’HRTF et de PRTF (fonctions de transfert relatives au pavillon de l’oreille), nous proposons une méthode d’augmentation de données basée sur la génération aléatoire de formes d’oreilles 3D et sur la simulation des PRTF correspondantes par méthode des éléments frontières.
Origine : Version validée par le jury (STAR)