Xavier Lafitte débute sous la direction de Thierry Harcourt dans Outrage aux mœurs (1999), puis sous celles de Jean-Claude Penchenat, Pierre Laville et Chris Botti, avant de rencontrer Daniel Colas avec qui il travaille sur plusieurs spectacles, entre autres Charlotte Corday, Le facteur sonne toujours deux fois, Henri IV, le bien-aimé (2010/2012) où il interprète le spirituel Marquis de Bassompierre aux côtés de Jean-François Balmer.
xavier travaille régulièrement pour la télévision (Patrick Grandperret, Arnaud Sélignac, Jean-Pierre Mocky...) et au cinéma où il débute dans La Bande du Drugstore de François Armanet et tourne plus tard sous la direction de Patrice Chéreau, dans Gabrielle. Mais c’est en 2007 que José Luis Guerin choisit xavier pour incarner son personnage dans En la ciudad de Sylvia. Ce film, en compétition à la Mostra, rencontre un grand succès critique international et lui permet d’être remarqué par des réalisateurs européens (Laurence Coriat, Juan FranViruega, José Ramón Ayerra Diaz, Roque Madrid...) et notamment en Espagne où il travaille régulièrement.
Enfin, xavier incarne le rôle complexe de Jacques de Bascher dans Yves Saint-Laurent (2014) de Jalil Lespert aux côtés de Pierre Niney et Guillaume Gallienne.