je crois que j'ai trouvé le problème.
Ca venait peut être de mon .htaccess
J'avais remonté mes redirections au-dessus des commentaires du début et maintenant que j'y pense c'est depuis que j'ai fait ça (pour ne pas les perdre en cas de vidage de cache via l'admin) que j'ai le soucis de ralentissement...
Je les ai remis en dessous et ça a l'air bien mieux