A lo largo de ese año iniciaron contactos y estuvieron tanteando la posibilidad de comprar las casas que tenían los herederos de García de Torres, un viejo caserón muy necesitado de reformas que se encontraba en dicha plaza con su fachada orientada al norte.
Tras numerosas vicisitudes llegaron a un acuerdo y las escrituras de compraventa se firmaron tal día como hoy de 1604. El precio pactado fueron 16.200 reales, de los que 5.500 se abonaron en el momento en concepto de entrada y el resto en tres años, si bien el pago se dilató un poco más puesto que la última entrega se hizo en 1609.
Por la documentación existente podemos saber que aquel caserón fue una ruina constante que precisó permanentes reformas y apaños que dilapidaron buena parte de los recursos económicos de los Linajes. Hoy el viejo palacio de los Doce Linajes es la sede del Ayuntamiento de Soria pero de él solo queda la fachada central con su rueda y los cinco balcones centrales. En la foto se observa perfectamente la fachada original del palacio de los Doce Linajes. Los dos balcones del lado derecho son un añadido posterior.