Em 1549, o padre José de Anchieta, acompanhado de outros doze jesuítas, chegou ao Brasil. O grupo participou da instauração do Colégio na então Vila de São Paulo de Piratininga. A pedido da Coroa de Portugal e da Companhia de Jesus, criaram esse núcleo para ocupar terras e catequizar indígenas na colônia.

​

    Em 25 de janeiro de 1554, foi realizada, diante uma simples cabana, a missa que inaugurou o colégio jesuíta. Dois anos depois. o padre Afonso Brás foi o responsável pela construção de um colégio e da igreja anexa a ele. Todavia, com a expulsão dos jesuítas da América portuguesa, decretada pelo Marquês de Pombal em 1759, todos os bens da Companhia de Jesus, incluindo o colégio de São Paulo, passaram a pertencer ao Estado. O colégio e a igreja sofreram inúmeras reformas para se tornarem a sede do governo da capitania de São Paulo, exercido na época pelo Morgado de Mateus. A área então passou a ser chamada de Largo do Palácio.                                                                                                                                            

   Essas reformas, sobretudo no fim do século XIX, tiveram como objetivo adaptar o palácio e as repartições dos serviços públicos. Em 1896, o palácio teve algumas partes demolidas para, em 1953, ser completamente derrubado.

Com a criação do Serviço do Patrimônio Histórico e Artístico Nacional (SPHAN), houve uma proposta de restauração do Pátio do Colégio, para recuperar a memória da fundação de São Paulo e da vida de José de Anchieta.

​

    Os jesuítas doaram um terreno, onde se construiu uma réplica do colégio. Entretanto, as obras só foram iniciadas em 1975, com ajuda financeira da prefeitura de São Paulo e de uma empresa privada. Foram mantidos os restos de uma parede de taipa remanescente da construção original, embora haja dúvidas sobre isso. A reconstrução do Pátio do Colégio tinha a intenção de resgatar uma suposta identidade nacional ligada às origens de São Paulo.

​

    Na época da ditadura civil-militar no país, alguns intelectuais de direita fizeram do Padre Anchieta um símbolo nacional, por sua ação integradora dos índios. Eles não criticaram a ação destrutiva da Companhia de Jesus e da catequese sobre a cultura indígena.