當年他被裴家羞辱，退了婚。如今回來，已經39歲，尚未成親，只有幾個妾室，兩個庶子。多少人都不明白他為什麼一直不娶妻子，直到劉貴再向裴家提親，拿出一千兩聘禮，娶了在孃家寡居而無子的裴氏，眾人才明白，原來劉貴一直記得與裴家的親事。
裴家原先還怕劉貴報復，現在看到明晃晃的千兩銀子，立刻就把女兒嫁了。人人都說劉貴長情，
不記恨雪上加霜的裴家，還要娶裴家守寡的女兒。
裴家也是欣喜，覺得姑爺重情，還想著，日後靠著二嫁的女兒，說不定還能讓姑爺帶攜著一起發財。
可誰知事與願違。自從裴氏進了劉貴的大宅子，就沒得過寵幸。新婚拜堂後，新郎連洞房都沒進，直接去了妾室的院子。
這還不算，劉貴不斷擴建後院，也不斷地納妾買人，沒多久，後宅的姨娘、侍妾、通房就有數十人之多了。
劉貴從不讓夫人管家，只說她身體不好，讓其休養。一切內宅事務俱都交給管家，姨娘侍妾就住在後院的百花園裡。
百花園很大，佔了大半個宅子，還不時在擴建。得寵的姨娘都有自己的院子，有伺候的下人。不得寵的，兩三人到七八人住一個院子。
裴氏終於明白了，自己的丈夫根本沒把自己當妻子，想通了，她就得了心病，開始纏綿病榻。裴家人知道了女兒過的日子，表面風光，用度充足，可是卻飽含苦水，也是無奈。
如今劉貴不光家大業大，還是知州的座上賓，三天兩頭就捐銀子給官府，聽說外面認識的人也不少。
姑爺早不是當年那個走投無路的落魄少年，早就是他們得罪不起的人了，家人只好安慰裴氏說，“好在吃穿不愁，也能安穩度日。”
只是，這百花園也沒上鎖，女人們多了是非就多。那些姨娘們藉著請安，時常跑去夫人那裡說三道四，有的還炫耀恩寵。裴氏又不是個見過大世面的，就每每被這些各路女人氣到。沒幾年，裴氏就一病歸西。
沒了女主人，百花園的女人們更加無人管束，今日，你記恨我，明日我算計你。好好的一個宅子，弄得烏煙瘴氣。沒辦法，劉貴的姨娘、侍妾們已經多達百名。可男主人，就一個。在老爺面前得臉，就少受欺負，多得好處。失寵的，就被人踩，連用度都被下人剋扣，生了病都無人理會。
即便是原先不想爭的女人，在這個園子裡，也不得不爭。而劉老爺還很享受，他不是不知道女人們拈酸吃醋，互相算計。他知道，這是個商人，精明著呢，可他就是不想管。對他而言，錢財權勢，才是最重要的，是立身之本。女人，不管是曾退婚的裴氏，還是後來別人送的女人，自己買的奴婢，下聘禮納的姨娘，都信不過。
後來女人們互相算計，有的病了，有的死了，還有的沒了孩子。劉貴對女人們不上心，便是得寵的也當貓兒狗兒，不過孩子就不一樣了。爭寵禍及孩子，他就不能不管了。
但是，他管的方法，就是把所有的孩子都接出百花園，另外安頓了幾個院子，讓奶孃和先生看管、教導。而百花園和院子的其他地方就開始被牆隔開，只留一個小門出入，還有人看門，裡面的女人輕易不得出來。除非劉貴需要人伺候，才點名傳喚一個出來。
母子分離，讓有孩子的女人痛徹心扉，有的因為常年見不到孩子，又被其他姨娘欺負，竟然就輕生了。
孩子們思念母親，想去看看都不能，每每被父親訓斥，落淚連連。他們為了過得好，也開始爭鬥，爭父親的寵愛。這些孩子，被身邊的下人教著互相防範、算計，兒子就爭著去打理家裡的鋪子，女兒就爭著討好父親，以圖日後能有個好嫁妝。
外人以為劉宅中的百花園何等風光，都道劉貴享盡豔福，卻不知，裡面的女人如同坐牢一般，只不