Edificio románico de carácter civil anexo á Catedral que debe o seu nome a Diego Xelmírez, primeiro Arzobispo de Compostela e gran impulsor da súa construción. É un espléndido conxunto arquitectónico medieval no que destacan a Sala de Armas, a Sala Manrique, a Cociña e, especialmente, o Salón de Cerimonias, de grandiosa monumentalidade e fermosa ornamentación con ménsulas historiadas nas que se representa un banquete real.
As estancias do pazo empléanse como lugar de exposición, tanto temporais, de motivos relacionados co conxunto catedralicio, como permanentes cos achados arqueolóxicos e arquitectónicos, sendo este o caso do Espazo Mestre Mateo.