‘Convent of the Holy Infant Jesus’ diasaskan di Paris oleh Reverend Father Barre pada tahun 1662. Ia bertujuan memberi bimbingan moral, pembentukan peribadi dan pelajaran untuk orang-orang miskin. Empat orang rahib telah dihantar ke Tanah Melayu pada tahun 1852 untuk tujuan ini.
Pada bulan Mac tahun 1859 rahib-rahib telah membeli rumah kerajaan yang dikenali sebagai rumah tentera laut di Lebuh Light dengan harga 50,000.00 frcs. Rumah ini terletak di atas 7 ekar tanah di tepi laut. Bangunan ini diperbuat daripada kayu dan beratap daun nipah. Rumah ini dibina semasa zaman Farquhar untuk dijadikan rumah Gabenor pada tahun 1804 – 1805. Selepas itu ia telah berpindah hak milik kepada Syarikat Hindia Timur dan dijadikan pusat kajian bagi perladangan. Tidak lama kemudian ia dijadikan kediaman rasmi Sir Francis Light. Sebahagian daripada 7 ekar tanah ini termasuk sebidang padang yang luas telah dijual kepada Institusi St. Xavier.
Rumah bayi terletak disebelah kiri pintu pagar sekolah. Bayi-bayi ini akan dijaga oleh rahib-rahib sehingga umur 6 tahun sebelum dipindahkan ke rumah anak yatim. Pada tahun 1947, Pesuruhjaya Residen En. S.N. King dengan rasminya membina sebuah rumah baru ditapak yang sama selepas bangunan itu dibom oleh tentera Jepun pada zaman perang dunia ke-2. Kini rumah bayi telah ditukar kepada rumah asuhan atau ‘kindergarten’
Pelajar-pelajar yang belajar di sekolah ini terdiri daripada golongan yang berpendapatan sederhana dan ke bawah.
Pada masa sekarang, sekolah ini dibahagi kepada tiga iaitu Sekolah Menengah Convent Lebuh Light, Sekolah Kebangsaan Convent Lebuh Light dan Tadika Convent Lebuh Light. Ketiga-tiganya ditadbir oleh tiga orang pentadbir yang berasingan.
