《知否知否应是绿肥红瘦》中齐衡一共有三个老婆，分别是被凌辱致死和病死的。而且齐衡的这三个老婆都是以政治联姻的方式嫁给齐衡的。
在小说中，齐衡的第一个老婆是嘉成县主，当朝六王爷的女儿，嘉成县主为了嫁给齐衡用尽手段，是一个非常作的人物设定，当时嘉成县主有一个强劲的对手名为荣飞燕，这个荣飞燕被嘉成县主逼迫自尽，从而和荣家结下了仇恨，嘉成县主嫁给齐衡没几年，宫廷引发了混乱，荣飞燕哥哥趁机报复，便把嘉成县主凌辱至死。
齐衡的第二个老婆身份更加尊贵，是内阁首辅申大人的孙女，值得庆幸的是刚开始齐衡和她两人夫妻感情非常不错，还生了一对双胞胎，但是这个女人太过依赖齐衡，不愿意离开夫君半步，在齐衡外任的时候坚持随行，最终母子三人一同病死。
齐衡的第三个老婆同样是病死的，第三任夫人的身份比前两任更加厉害，是庆宁大长公主的嫡孙女，有了这个老婆，齐衡在事业上也沾了不少光，虽然齐衡是“二公子”，但是依然成功继承了他父亲的爵位。
齐衡和这位夫人的感情也算是相敬如宾，一起过日子也是非常幸福的，可惜的是这第三位夫人在生下两个儿子之后也病死了。
陆续送走了三个老婆和几个孩子，齐衡没有再娶正妻，独自一人抚养着最后一位夫人给他生的两个儿子到老。
在小说番外篇中，齐衡的次孙娶了盛长柏的六孙女，排行与当年齐衡与盛明兰相同，算是圆了大家所期盼的“齐小二”娶到“盛小六”的梦！算是作者给大家的一个彩蛋吧。