Zespół szpitala św. Karola Boromeusza to dawny szpital miejski oraz klasztor Szarytek. Ufundował go Karol Stanisław Radziwiłł przed rokiem 1716 jako drewniany klasztor Sióstr Miłosierdzia św. Wincentego a Paulo - Szarytek sprowadzonych w celu prowadzenia szpitala i sierocińca. Budynek został wzniesiony w 1728, w latach 1795-1809 pełnił funkcję domu pomocy dla sierot, ludzi chorych i ubogich. W 1884 po usunięciu Szarytek zamieniony został na klasztor prawosławny oraz szpital św. Marii Magdaleny. W czasie I wojny światowej pełnił funkcję szpitala wojskowego. W 1918 do szpitala powróciły Szarytki. W tym czasie szpital zyskał nowego patrona - św. Karola Boromeusza. Obecnie budynki zajmuje Caritas Diecezji Siedleckiej (Centrum Wolontariatu, Centrum Integracji Społecznej, Jadłodajnia dla ubogich, Warsztat Terapii Zajęciowej, Środowiskowy Dom Samopomocy, Centrum Pomocy Interdyscyplinarnej oraz Wypożyczalnia Sprzętu Rehabilitacyjnego).