Fermín Martínez García natural de Somao e hijo de labradores, al ser el único hijo varón de la familia emigró a Cuba a los 18 años como contable, y a los 23 ya era director general del almacén de coloniales de los indianos de Somao en dicho país, concretamente en la ciudad de Caibarien en la que se habían instalado sus convecinos. D. Fermín se casó en primeras nupcias con una cubana con la que tuvo una hija llamada Rosita, ésta se casó con Santiago Martínez vecino de Pravia. Posteriormente D. Fermín se casó con Margarita Fernández con quien tuvo dos hijos Fermín y Antolín.
D. Fermín le encargó al arquitecto Manuel del Busto Delgado el proyecto de esta casa, los planos están fechados en 1.910, terminándose la construcción en 1.912 en un estilo modernista tardío de inspiración vienesa. La casa se construyó como residencia de vacaciones ya que D. Fermín a su regreso de Cuba se instaló en Madrid dedicando a las inversiones bursátiles.
El edificio tiene planta irregular con dos volúmenes adosados y de tres pisos de altura rematados en balaustrada. Destacan su esbelta torrecilla angular rematada en chapitel, que originariamente tuvo un recubrimiento cerámico y que hubo de ser sustituido por uno de zinc debido a las humedades que se filtraban al interior, de ahí le viene el nombre de “Casa de la Torre” y el azulejo amarillo que recubre las paredes exteriores del que toma el otro nombre de “Casa Amarilla”.
Actualmente la casa sigue perteneciendo a la misma familia.
