Dentro del panorama de la arquitectura civil de las islas, constituye un inmueble excepcional. Las primeras referencias sobre su construcción se remontan a 1629, con la intervención de canteros y carpinteros. Pero será a mediados del XVII, por el Maestre de Campo Cristóbal Lázaro Salazar de Frías, primer Conde del Valle de Salazar, cuando se erija el inmueble que conocemos; concluyéndose con el encargo de la fábrica de la noble fachada en 1681.
El 21 de octubre de 1982 se acordaba la incoación del expediente de declaración de monumento histórico-artístico a favor del Palacio de Salazar.
La casa, armera y de construcción tradicional canaria, sirvió de residencia del Capitán General de Canarias Valhermoso en 1723. Y en 1858 fue ocupada por el casino “El Porvenir”. Posteriormente, fue adquirida por el obispo don Ramón Torrijos y Gómez (1888-1894), como residencia episcopal; uso que aún se mantiene. El 23 de enero de 2006 sufrió un incendio fortuito, que ha supuesto la reciente reconstrucción del inmueble para la Diócesis Nivariense.
La fachada tiene dos pisos de buena altura, portada central y cuatro grandes ventanas protegidas por rejas de hierro salientes. Las ventanas del cuerpo superior están flanqueadas por columnas corintias, con frontón triangular; la ventana central, de columnas pareadas, termina en un frontón de esquinas redondeadas, que soporta un ático de piedra labrada con motivos ornamentales, y en medio el escudo de mármol blanco de Carrara de la Casa Salazar con su corona condal.
En las esquinas se levantan dos torrecillas cuadrangulares, más altas que el ático, con balcones y copetes de piedra. En general, tiene muchos paralelos ornamentales con otro ejemplar del barroco isleño, el Palacio de Nava sito en la Plaza del Adelantado.
La puerta de entrada, con una verja moderna de hierro que lleva las armas del Obispo Torrijos, conduce al patio interior. En este se encuentran columnas a los dos lados, sobre plintos adornados con el tema de rombos. La escalera de piedra de tres cuerpos, construida sobre una bóveda y cubierta con un artesonado ochavado, se halla frente a la entrada. Conduce a las dependencias reservadas del Obispado, su capilla y unos salones de interesantes artesonados.
