El primer Marqués de Tarifa partió en una cruzada a Europa y la Tierra Santa en 1518. Dos años después volvió y trajo consigo las influencias del renacimiento italiano. Pasó el resto de su vida ideando una nueva estética que resultó tener una gran influencia. Su palacio en Sevilla se llamó La Casa de Pilatos porque asemejaba la casa de Poncio Pilatos en Jerusalén y más tarde se convirtió en la mejor muestra del nuevo estilo.
Los dueños posteriores han aportado sucesivas contribuciones al edificio a lo largo del tiempo. Hoy es la residencia de los Duques de Medinaceli y está considerado uno de los Palacios con más clase de toda Sevilla. El portal de mármol fue creado por artesanos genoveses en 1529, mientras que el patio es de estilo típicamente Mudéjar. También hay balaustradas góticas, estatuas romanas de Minerva y un original griego de Atenas que data del siglo V a.C.
Detrás de la estatua encontramos una escalera que asciende a los apartamentos del primer piso. Está cubierto por una cúpula de mitad del siglo XVI.
En la parte oeste del edificio está la Plaza de San Ildefonso y el convento de San Leandro famoso por sus dulces de yemas que eran vendidos a través de un torno. Detrás de la Casa de Pilatos está San Esteban que fue reconvertido de una antigua mezquita y que tiene un altar creado por Zurbarán. Varias calles al norte, en la calle Busta Tavera encontramos el descomunal Palacio de las Dueñas.
