Localizada sobre a antiga capela de Nossa Senhora da Conceição, pouco se sabe a respeito de sua construção, que pode ser atribuída à iniciativa de algum devoto. Segundo as fontes, a primeira missa foi realizada no local em 1795.

Pelas constantes badaladas dos sinos, há diversos registros de reclamações dos moradores, sendo conhecida na época como “igreja dos sinos quebrados”. Outra situação recorrente era o abandono de pessoas mortas, em sua maioria indigentes e negros, nas portas da igreja para que esta assumisse os ritos fúnebres e o custo dos enterros.

​

    Em 1801, por um decreto de D. João VI, a igreja foi destinada aos negros alforriados. Desde os primeiros séculos da colonização, houve incentivos, por parte da Coroa e da Igreja, para a criação de irmandades de homens pretos e pardos, escravos ou forros, na colônia. Uma das estratégias foi a devoção a santos pretos, como por exemplo Santa Efigênia ou Santo Elesbão.

 

    Em 1809, teve início a ocupação dos terrenos ao redor da igreja, dando início à freguesia de Santa Efigênia. O nome completo da igreja é Nossa Senhora da Conceição de Santa Efigênia, sugerindo a ideia de que ali se pratica o culto às duas santas.

​

    A população de Santa Efigênia, tal como as finanças da igreja, sofria com a pobreza. Uma carta do padre Antônio Joaquim da Silva, datada de 1841 e enviada à Câmara de São Paulo, demonstra a fragilidade da capela. O padre relata o mal estado do templo e pede fundos para recuperá-lo. Por sugestão dos religiosos, a Câmara passou a cobrar taxas para o sepultamento dos corpos largados na frente da igreja a partir de 1844.

​

    No do século XX foi feita a demolição da capela e sua construção foi de 1904 a 1913, a igreja foi usada em 1930 e 1954 para ser a catedral da cidade pois a atual Igreja da Sé estava em construção. Em 1958 a Nossa Senhora da Conceição de Santa Efigênia foi classificada como Basílica Menor pelo Papa Pio XII.