El recinto amurallado es el conjunto fortificado más singular y mejor conservado de la Comunidad de Madrid. Fue declarado monumento nacional en 1931. Es presumible que el muro original de tapial fuera construido por los musulmanes o en los primeros tiempos de la conquista cristiana entre los siglos XI y XII.  A partir de este momento se ha visto sometido a varias transformaciones aunque siempre respetando el antiguo trazado. La muralla está constituida por dos elementos principales en un recorrido de unos 800m: el llamado adarve bajo y los sur y suroeste. El lado sur de la muralla o muralla alta puede ser visitado en horario restringido con un precio de entrada de 2€. El acceso se localiza junto a la Iglesia de Santa María del Castillo.
El adarve bajo puede ser recorrido de manera libre. El acceso se puede realizar desde dos lugares: junto a la Plaza del Castillo, o bien, desde el Jardín Medieval.

El Castillo de los Mendoza (s. XIV-XV) está situado en el extremo sureste del recinto. Su arquitectura en ladrillo y mampostería evidencian una arquitectura mudéjar. Tiene forma casi cuadrada y estaba fortificada por siete torres, todas con una estructura diferente, siendo una de ellas de planta pentagonal. En las torres se aprecian vanos rematados por arcos de mediopunto, por aproximación de hiladas y en herradura. Fue residencia del Marqués de Santillana y su familia, futuros duques del Infantado. En él residió la reina Juana de Portugal y su hija Juana la Beltraneja. Además ha acogido a los reyes Juan II y FelipeIII, asiduos invitados de los Mendoza.

Desde el 5 de mayo de 2016 permanece cerrado por obras de restauración.

Desde el Castillo se podía pasar a la finca del Bosque por un puente que atravesaba las aguas del Lozoya. A finales del S.XVI, el duque del Infantado levantó en este terreno un conjunto palaciego, la Casa del Bosque, residencia que sería utilizada como pabellón de caza por los duques y sus invitados durante sus estancias en Buitrago.

En cuanto al estilo de esta villa rústica, palacio de recreo integrado de forma solitaria en un entorno natural, se puede afirmar que responde a modelos inspirados en las teorías arquitectónicas de los italianos Andrea Palladio y Sebastiano Serlio.

La Torre del Reloj (s.XIV) se localiza en la Plaza de la Constitución.

La base de la Torre aloja el acceso principal al recinto amurallado.

Tiene 16 metros de altura y una planta pentagonal. Aunque el reloj data de mediados del siglo XX, su maquinaria es la original del siglo XIX.

La Iglesia de Santa María del Castillo se terminó de construir a principios del siglo XIV, posiblemente sobre una antigua mezquita. En 1936 un incendio arrasó todo el conjunto, derruyendo la techumbre gótica, la cuál, ha sido transformada en neo-mudéjar tras la restauración realizada en los años 80. Sobre el altar mayor se puede contemplar un artesonado mudéjar, original del siglo XV, procedente del desaparecido Hospital de San Salvador. Cuenta con dos capillas, también restauradas al estilo mudéjar.

La entrada principal de la iglesia se ornamenta con una interesante decoración isabelina del siglo XVI. La torre tiene elementos mudéjares enmarcando sus veinte vanos, cinco en cada cara.

El Puente del Arrabal, se ubica al norte del recinto medieval de Buitrago del Lozoya. Está construido enteramente en piedra de granito, combinando mampostería y sillería. Se sostiene sobre un único arco de medio punto mediante el cual se salvan las aguas del río Lozoya.

En su lado septentrional el puente integra dos contrafuertes, mientras que en la cara meridional aparecen adosados unos pequeños arcos, restos de un acueducto que conducía agua potable hasta el arrabal.