Nel XV secolo quella che oggi è la Madonna del Carmine era una chiesa dedicata a S. Rocco.
Verso la metà del XVI secolo vi si trasferirono i Carmelitani. Questi erano arrivati a Bari verso la fine del 1541, dove fiondarono un convento vicino all’ospedale del Monte della Pietà.
Qualche tempo dopo, si trasferirono nell’attuale chiesa del Carmine. La dedica della chiesa fu ufficializzata nel 1640. La chiesa nel 1662 era menzionata fra le stazioni della Confraternita del SS. Sacramento.

In questo periodo il pittore Andrea Miglionico dipinse la tela della Deposizione, come pure il dipinto della Morte di S. Giuseppe.
La Confraternita di Carmine, ivi insediata svolgeva attività di culto e assistenza gli orfani, con uno statuto che ottenne il regio assenso nel 1777.
Quando il monastero fu soppresso nel 1806, fu la confraternita dal 1815 a svolgere attività liturgiche, ottenendo una nuova approvazione delle regole nel 1841.

Nel 1852 la chiesa fu restaurata, e il Comune affidò parte del Convento all’Opera Pia del Carmine allo scopo di fondarvi un educandato per le fanciulle orfane. Una destinazione che, in qualche modo è mantenuta ancora oggi.