王吉在知道夏夕颜打算离开临邛县的时候，就知道他糟了，然而却没有想到会遭的那么快。
他管辖的临邛县内，不到一个月就搬离的三位大富豪，而其他小富豪也起了离开之一，让临邛县的街市关闭了三分之一，市民的生活受到了很多的冲击，以前热闹似省城的集市也平庸了下来，临邛县的小商贩损失惨重。
他也极力挽留要跟着卓家离开临邛县的大小富翁，最后没有留下不说，还被他们建议快点顺从民意驱逐他的‘贵客’司马相如出临邛县。
他冒着几十万贯的损失‘大义灭亲’的对司马相如下了驱逐令，和好友司马相如闹翻脸，以为这样可以重新得回民意，却是不想还是被人以治理临邛县不力，逼走临邛县富户为由
告到监御史，然后丢了县令的官职。
“夫君，你糊涂啊！怎可如此资助拿司马相如，得罪了卓家，失了民心还败光了家里这么多年积攒的银钱。”王吉的妻子吴氏看着丈夫被罢官，还损失了大半家产就有些生气念了王吉一句，虽然有些怪罪，却也只是责怪的念叨一句，却是被没有开口问问王吉今后他们家这么办的时候，王吉却是因为连日发生的事情而羞恼异常的呵斥起妻子吴氏来。
“你这蠢妇，别对我做的事情指手画脚，难道还想被我休回家不可！”王吉用惯常和吴氏说的威风话，让吴氏想起前年，她就为摘取了邻居家伸进他们家的枣树枝上的几棵枣子，就被王吉给赶回娘家要休弃的事情。
当初王吉就因她摘了伸到自家的几棵枣，就小题大做要休他以展示他的‘为官清廉’，不管她嫁入王家辛苦操持家事，不说功劳也说苦劳，还不提他们多年的夫妻情分，说把她赶走就赶走，若不是邻居知道后，吓的都准备砍了自家的枣来劝王吉不要为这样的小事情休弃她，王吉还坚持要休，最后是好几个邻居为她求情，她才免于被休弃的命运。
“夫君，就是如此把我呼来喝去！你败光了家财几十万贯，还丢了官职，我不过是念叨一句，你就又想休弃我！夫君，是不是从一开始就看轻我，所以才会如此轻易的休弃我的话放在口边，若是真的如此，我也不等夫君休弃，我自请下堂！”吴氏想到当年几颗枣就要被休弃的事情，再次升起了心寒，同时想到这么多年，因为王吉的官位，一直对她呼来喝去，而她因为家族只是平头百姓而不敢太过反抗的生活，突然之间有些不想再忍着过下去的说出‘自请下堂’的话。
“你这蠢妇，在说什么？还不去做饭，如今家里无奴仆伺候，你是想要饿死我吗？”王吉在接连损失了银钱和丢了官位，身价暴跌的时候，也就习惯性的随口威胁威胁吴氏，刷刷他的威风，却是没有想到居然惹的一向对他又惧又怕的妻子提出了‘自请下堂’，这可不是现在无权无势还无财的王吉真正想要的，现在休了吴氏，他可不似做县令时那样，可以再娶一个比吴氏更好的妻子。
这些关节王吉很清楚，所以在吴氏强硬的说话后，马上转移话题的让吴氏去弄饭。
然而吴氏隐忍了这么多年，今天被王吉再次提出‘休弃’的寒心事，那是那么好就转移的。而且王吉把她当奴仆一样的呵斥使用，吴氏想想就为自己的嫁人后的生活可悲。
“我是蠢妇，我配不上你王吉，也不配去给你做饭，我还是回我吴家，不碍你的眼，丢你的人了。”吴氏嘲讽的说完就转身回卧室收拾行囊回了吴家。
王吉见吴氏背着包袱离开，先还没有急，觉得最多回几天吴氏就会又灰溜溜的回来继续做他的妻子，却是不知早被他寒了心的吴氏，在不惧怕不是县令的王吉对她今后婚嫁的影响，一封和离书寄过去，没多久就在家人的安排下，另外嫁了一个老实本分的人家。
王吉知道的时候，大骂了吴氏一通，却是对已经和他没有关系的吴氏无可奈何，一个人在无人打理，也无财打理的宅院中，开始典当东西过活。
***
王吉这边丢了官职，被司马相如骗走了家财，过起