In epoca medioevale Albogasio (304 m)fu il primo nucleo abitativo della rocca di S. Martino sostituito poi dall'abitato di Castello. La frazione è divisa in due parti: Albogasio superiore e inferiore collegate tra loro da numerose e ripide scalette. Ad Albogasio superiore spicca un'imponente costruzione denominata Villa Salve. Il palazzo fu ideato, dall’architetto valsoldese Isidoro Affaitati, che in Polonia progettò una costruzione quasi identica. Al centro della casa c’è un cortile, che dà luce all’edificio, da cui partono le scale per gli appartamenti. La facciata ha un doppio loggiato rivolto verso il lago.  Nella piazza Malombra, vicina alla villa, si trova un lavatoio costruito dal Comune nel 1867. Altro imponente edificio è il "Palazzo delle colonne". Albogasio inferiore è posto a ridosso del lago e ha un pontile di attracco per le barche. Una graziosa mulattiera, che costeggia il lago,  lo collega ad Oria . Il paese è dominato dalla chiesa dell'Annunciata  che lo sovrasta dalla sua altura. Ad est della chiesa scende verso Cadate la scala della Calcinera, dove, nel Piccolo Mondo Antico, Fogazzaro localizza l'incontro tra Luisa e la marchesa. La posizione a scala dell'abitato di Albogasio consente a quasi tutte le case di godere del bellissimo panorama del Ceresio e della valle circostante.