阎锡山旧居始建于1931年前后，陆陆续续，时建时停，一直到1937年抗日战争爆发前夕，才建成现在这样的规模(因抗战爆发，一些工程尚未完全峻工)。在此期间，先后建成了都督府、得一楼(又名昌春楼)、上将军府、二老太爷府、穿心院、新南院、东花园、西花园以及子明慈幼院，大小共二十七个院落，近千间房屋(现存七百余间)，总占地面积33000多平方米。
这里最为恢弘的是东西花园。从石沟街往南一拐弯儿，一条九米宽五十米长的大巷里，有一座颇为阔绰的东门厅，就是东花园。这个门厅当年曾悬挂着一块巨大的门匾，上书“文沱草庐”四个遒劲的颜体大字。所谓“文沱”，即文山沱水。
进了大门，是东花园的一院。这是阎居里最大的一个院子，四面均建厅堂，中间是花坛、假山和喷水池(假山、喷水池已毁，与在原假山处建一影壁，正面镌刻有当年孙中山先生书赠阎锡山的“博爱”二字手迹)，周围则是用条石、鹅卵石和青砖铺漫雕砌成的带有装饰图案的车马环行便道。在这个院子的东北角，还有一个喷水池，直径丈余，全部用青石雕砌而成，四周围栏上均刻有花卉、人物，栏杆顶部蹲有姿态各异的小石狮。自来水通过中间一根高达四米的盘龙石柱(整块巨石雕成)，让顶部莲花座上一只维妙维肖的顽皮小石猴尿出来，与建在院子中心的喷水池、假山相映成趣。可惜这些石雕在“文革”中亦遭到不同程度损坏。(这个院子据说为阎锡山的副官、卫兵等人居住办公的地方)。
穿过一院东厅中间的过道，便是东花园的二院。这个院子比一院面积要小一些，但建筑上豪华庄重得多。栩栩如生的石雕、砖雕、木雕以及明柱、鼓墩、飞檐、斗拱，层层叠叠、刻刻缕缕，均为典型的晚清宫殿式的建筑风格(据传，此院建好后，阎父书堂，继母陈秀卿即在此院正厅小住)。
阎锡山旧居的建筑还有一个很明显的特点是以东为上，每个院子的东房都高出其他方位的房屋。这主要是因为有河边镇东那座不大不小的文山，它既是镇上的风水与象征，又是乡民们的倚靠与荣耀，所谓“背靠文山，而对沱河”或者叫“文山钟秀，沱水环流”，均寄托着人们的一种美好愿望，表达了他们的一种满足与自得。
了解了当地这种建筑上的习俗，就不难理解二院东大厅为何会建得那么巍峨壮观了，这座大厅分上下两层，正面大厅是当年阎氏家族议事和接待宾客、举行宴会的场所。一九三四年十二月十七日阎锡山的父亲阎书堂病逝，灵堂就设在这里，整整一个月的祭奠活动，满院金人银马、雪山素海，终日香火燎绕，笙管长鸣，十分排场。国民政府主席林森的代表、山西省政府主席徐永昌，国民党军事委员会委员长蒋介石的代表、军政部长何应钦都来此致祭尽哀。我们从现在遗存的一些历史照片和大量的文献资料上，可以看到阎府当年的赫赫威势。通过东大厅一侧的过道，便是东花园的三院了。它比起前两个院要小得多。但就建筑艺术而言，却更是精雕细镂，格外的考究。不说其它，单说四面厅堂的底基，均由青石雕缕成莲花状石基(即须弥座)，可见其是多么地不惜钱财工本，经求至善至美。在正厅门楣处，现在还依稀能辩出“当仁堂”三个砖雕大字，这大概是取天降大任于斯人，吾当仁不让之意，主人踌躇满志之态溢于言表。
在东花园三院正厅的后面，还有一个比较隐秘的偏小院，也是阎锡山经常居信办公的地方。据说，他每次乘车从外面回来，不需要经过外面的大院，即可将汽车停在后面的车道上，人可以从旁门进来，直接进入这个小院的正房歇息。如果有人求见，他亦无需绕到外面，而是沿着小院流金溢彩的迥廊转到前面正厅(即当仁堂)，便可会客办公。他父亲治丧期间，他就住在这个院子里。另外还有一个传说，讲的是冯玉祥在冯阎倒蒋之前，也就是一九二九年十月至一九三○年二月被阎锡山软禁在五台建安村(阎锡山岳父村)期间，曾来这个小院住过，经初步考证，可能是传说。
在三吉院的偏东南方向，现在耸立着一座三层大楼，底层是十分宽敞的三眼窑洞和一条通楼上的石通道，上面两层由青砖砌成。楼顶方砖平铺，可供游人登高眺望，近山远水，一览无余。但从这座楼的用材、风格来看却有点不伦不类。经考证，这座楼的楼顶过去跟周围的建筑物一样，也是插飞挑檐、通瓦板结构，人是上不到楼顶的。当年阎锡山也曾在上面住过。一九三七年九月日本侵略者进犯山西，两个月后太原沦陷，河边阎锡山旧居也驻扎了一批日本军队，使这座大楼遭到了严重破坏。现存楼房的上两层，是解放后由设在这里的忻州地区疗养院重建的。据当地老百姓讲，过去这楼叫“红楼”，又叫“七星楼”。
在东花园的对面，是西花园。比起东花园，西花园的规模要小得多，破坏也较为严重。据说，这里原本是阎锡山的二公子阎志宽(20岁夭亡，其妻赵绣锦、子树楹、又树榕现均侨居美国)结婚用的。现存建筑除南窑和建在西侧的双层电影放映厅还算保存完整外，其余均已逐年毁了。其中较为有价值的西花园门厅和东厅竟然毁于一九八二年《中华人民共和国文物保护法》正式颁布的前几个月，不得不令人扼腕叹惜。
游客来到东花园南窑外壁，三院大楼外壁，每每驻足忘返。原来这些地方依然完好保存着十八幅阎府家训石刻，其内容或谈交友持家，或言善德治学，均为阎锡山言论。人们奇怪这些遗迹为何能躲过十年浩劫而保留至今天?原来这些石刻在文革前就有人用泥灰抹平了，“文革”中上面写满了领袖语录，自然无人敢造次了。就这样，这些石刻就奇迹般地留存下来了。
纵观阎锡山旧居这组气势恢宏堂皇，格局变幻谲奇的近代建筑群，它不仅是研究阎氏家族繁衍兴衰的珍贵实物，也是阎锡山本人在政治仕途上升降浮沉的历史遗迹。同时它又以鲜明的民间民俗色彩和中西结合的建筑艺术风格显示了其独特的文化价值与美学价值，其中尢以一组组精湛绝伦的石雕、砖雕、木雕而使中外游人流连忘返。遍布各主要建筑物下面的地道、地下室又将这座旧居罩上了一块神奇诡秘的面纱。
1988年秋，山西省有关部门在这里筹建民俗博物馆，陆续建起了民间刺绣、剪纸、雕刻、编结、竞技、绘画、纺织、造纸、饮食、服饰、民居、信仰以及元宵民俗一条街等90余个展室，生动地反映了清末民初独特丰厚的民俗文化和异彩纷呈的民间艺术。另外，这里还特邀享誉天下的天津“泥人张”雕塑研究所的工艺师们精心雕刻了朱德、蒋介石、宋美龄、冯玉祥、阎锡山、邵力子、阎慧卿(五姑娘)等一批历史名人的蜡像，形象地再现了当年在这座楼高院深、洞奇径幽的古宅里所发生的一幕幕历史话剧。