In de stichtingsoorkonde van 1242 wordt de plaats van het OLV.-Hospitaal, het huidige Oud-Hospitaal, als Zelhof aangeduid. Dit Germaans nederzettingstoponiem verwijst naar de Karolingische domeinhoeve. Het is in deze vroonhoeve aan de Dender dat de oorsprong van de stad Aalst moet gezocht worden. In een tekst van de abdij van Lobbes uit 868-869, die een beschrijving geeft van zijn domeinen, wordt ze vermeld als de villa Alost. In de 11de of 12de eeuw wordt het Zelhof omgracht.

In het midden van de 13de eeuw verrijst op deze plaats een hospitaal met kapel. Een klooster van hospitaalzusters wordt er ingericht. Met de bouw van een grotere ziekenzaal in het begin van de 17de eeuw begint het O.L.V.-Hospitaal te vernieuwen en uit te breiden. Het gebouwencomlex wordt in 1899 verlaten om een nieuw pand aan de overzijde van de Dender te betrekken. Sinds de jaren '60 is het Stedelijk Museum Oud-Hospitaal er gevestigd.