Poc ha canviat en la morfologia urbana de Peratallada d’ençà de l’època medieval. I és que no només no s’ha expandit fora de les muralles, sinó que ha sabut conservar els seus orígens arquitectònics i urbanístics com s’aprecia al passejar pels seus carrers estrets i tortuosos. No en va és un dels nuclis més importants de Catalunya pel que fa a arquitectura medieval.

El nucli fortificat es concentra al damunt d’una enorme roca natural sorrenca, tallada artificialment per donar-li verticalitat (d’aquí el topònim “pedra tallada”). Al capdamunt hi trobem el castell (del segle XI, però amb indicis que hi podria haver una estructura anterior), amb la seva torre de l’homenatge i el palau.

Al voltant del castell es desplegava una muralla que formava un primer recinte clos, que estava envoltat per dues muralles més. D’aquest sistema defensiu actualment es conserven alguns llenços de murs, valls excavats a la roca, algunes torres com la Torre de les Hores i el Portal de la Verge. La població, per tant, quedava dividida en tres sectors entre les muralles, cosa que accentua la trama urbanística de passos i carrerons.

Uns 200 metres al nord, extramurs, es troba l'església parroquial de Sant Esteve, obra de finals del romànic.