O Museu é constituído por dois edifícios contíguos – o edifício histórico designado por "Solar dos Cavaleiros", um palacete construído no século XVIII e um edifício contemporâneo do século XXI. A sua localização é privilegiada uma vez que se encontra no coração da zona histórica de Castelo Branco.
O Museu Cargaleiro em 2005 foi inaugurado ocupando o edifício histórico "Solar dos Cavaleiros", com a exposição Cargaleiro - 60 anos a celebrar a cor.
Em 2011, foi inaugurado o novo edifício contemporâneo, ampliando o conhecimento do espólio, com a exposição intitulada Manuel Cargaleiro - Vida e Obra, que apresenta diversas temáticas expositivas. Em 2017 foi inaugurada a exposição comemorativa do 90.º aniversário de Manuel Cargaleiro - Cargaleiro e Amigos.
Em junho de 2021 é inaugurada a exposição Manuel Cargaleiro Uma Vida Desenhada patente no primeiro e segundo piso do Edifício Contemporâneo.
