西侨青年会大楼位于南京西路150号，在国际饭店之东侧，始建于1928年。20世纪20年代的上海，许多西方人到上海来经商、传教和从事各种活动。在1920年时，在沪的美国侨民和欧洲侨民已经超过1.8万。为了让西方侨民有个休闲和社交的场所，美国人费彻、洛克菲勒、克瑞及达莱等人筹款建立这幢大楼。

该建筑由上海哈沙德洋行建筑师安铎生设计，造型别致。整座大楼建筑面积达7000余平方米，前幢9层，后幢11层。建筑构图遵循着分段程式，水平分为三段，竖向也是三段，中间的上部后退。二层和三层用巨柱及拱形大长窗。四层以上则用凹凸条（竖向）长窗等。大楼内有更衣室、体操室、理发店、游艺室、阅览室、图书室、弹子房、裁缝店及客房，还有体育馆、游泳池等。值得一提的是，底层那个约200平方米的室内游泳池，是上海市最早的温水游泳池。

大楼建成后，这里成为西侨青年的活动中心。西侨青年会要求会员品格端正，年龄在11岁以上，不论国籍、民族、宗教信仰，均可以入会。这个组织还常联络中国运动员进行各种体育比赛。1932年2月，在此地举办了第八届公开排球联赛，中国青年会集中了当时沪上高手组成强队，战胜了当时实力强盛的西侨队。

太平洋战争爆发后，大楼曾被日军接管。中华人民共和国成立后，这里由上海市人民政府接管。1953年，在时任市长陈毅的关怀下，大楼内筹建上海市体育俱乐部。1957年年底，上海市体育俱乐部正式对外开放。如今，这里是上海体育大厦，也是上海体育局的办公地，在2楼还建有上海体育博物馆陈列室。