相传，桂湖的桂花是采摘下来的。一天晚上，杨升庵在书房里睡着了，魁星入梦，问杨升庵想不想上月宫折桂，杨升庵说想。于是，便命西海龙王载杨升庵飞上月宫摘桂。到了月宫，杨升庵看见一座宫殿和一株很高大的桂花树，他怒力地爬上去摘下了桂枝，回到书房。后来，杨升庵进京考中了状元。
到了明朝末年，咸宁有个叫刘吉祥的小贩，他从状元杨升庵桂花飘香的书斋中得到启示，将鲜桂花收集起来，挤去苦水，用糖密侵渍，并与蒸熟的米粉、糯米粉、熟油、提糖拌和，装盒成型出售，取名桂花糕。桂花糕一经售出，便引来人们争先购买。后来，由当地“天顺荣”、“武灵轩”糖果坊将此糕的制作传成下来，并且不断提高质量，使桂花糕成了远近闻名的咸宁特产。