Em 1580, após a chegada ao Brasil de membros da Ordem do Carmo, também conhecidos como carmelitas, foi construído um alojamento na vila de São Paulo de Piratininga, que posteriormente se tornou a Igreja da Ordem do Carmo e seu convento.

​

    Dois anos depois, foi erguida uma capela no terreno anexo à igreja, conhecida como capela da Ordem Terceira de São Paulo, fundada por um grupo de leigos. As três construções formavam o conjunto carmelita de São Paulo.

​

    De 1676 a 1691, a capela da Ordem Terceira foi refeita em taipa de pilão. Sua reforma seguinte que derivou uma configuração que se aproxima da configuração atual começou em 1747 e terminou em 1758. Em 1772 foi construída uma nova fachada por Joaquim Pinto de Oliveira, conhecido como o mulato Tebas, esta nova fachada ocorreu por causa do aumento do edifício, em 1928 foi demolida a parte onde ficava o convento para a construção do prédio da secretaria da fazenda e alargamento da avenida. A remodelação igreja aconteceu diversas vezes, visto que se encontra em um lugar de considerável movimentação.

​

  Por conta dessas alterações o que resta de original na igreja é apenas a ornamentação interna como por exemplo; bancos e pinturas que pertencem ao período colonial.