吕芮很快就找回來了，丰安城破，她便装易容辗转回到河东，投奔养父吕本中，改名换姓后嫁给了一个做药材生意的富商做填房，颇受用了两年舒心的日子，
不想天有不测风云，一贯谨慎的丈夫一次外出办货时，因为喝醉了酒跟人斗富，小小地显露了一下腰间的钱袋子，于是，他的回家路就成了不归路，一伙劫匪劫了他的财，怕他报官顺手又取了性命，
她守了一年寡，熬不住闺中寂寞跟家中小厮私通，被婆婆拿住一顿痛打，剥夺了衣裳首饰，剪掉头发赶回了娘家，此刻吕本中已经病逝，她在娘家也不受待见，凄凄苦苦地熬了半年，正准备着远嫁江南，去给一个五十多岁的新安商做侍妾呢，
吕芮听说杨昊要接她回去，把自己关在屋里哭了一夜，第二天一早她就上了吊，所幸被送水的丫鬟及时发现救了下來，
前去接人的刺马营特使假借杨昊的口吻威胁她养母说：“限十五日内将吕芮送去丰州，否则你一家人性命不保。”
她养母着了慌，哭着求她，要她上路，为了怕路上出意外，令她的堂哥堂嫂亲自护送，
吕芮见了杨昊痛哭不已，忏悔说：我先是对你不忠，继而又不能守贞，再后來贪慕虚荣改嫁他人，最后连淫戒也破了，无廉耻地与贱奴私通，我还有何颜面见你，这不是现世报吗，你接我回來，是要看我无地自容，惩罚我吗，
杨昊扶起她，说：昔日我亡命天涯，丢下了你，是我的过错，你一个犯官之妇，为求活命还能怎样，你当日错信谣言，认为我已死，为了存身，这才改嫁，夫死妇改嫁，并无不妥之处，你这个人虚荣好淫，我岂不知，可我怪过你吗，你既说这是现世报，下半生就该多多收敛，再不可贪慕虚荣，贪淫好色，否则何止是现世报，我让你立时报，
吕芮的堂兄吕芳和嫂子顾大华念及旧日曾对吕芮行恶，恐杨昊见责，逡巡不敢进城，不久郡公府里传出吕芮被封为孺人，又有管家驱车來请，二人这才欢天喜地赶去拜望，
那时，西宁郡公府还在修建，杨昊暂借了丰州大昊马力大的一处宅邸居住，做了孺人的吕芮让人关了大门不让哥嫂进，吕芳唯唯诺诺不肯啃声，她嫂子顾大华倒來了脾气，在门口撒泼说：“如今富贵了就忘了我们，你也不想想，要是沒你哥嫂养活，你早饿死了。”
嫂子嘀嘀咕咕骂骂咧咧，引來一众闲汉和在家婆子围观，郡公府侍卫长甘多恼了，正要出面驱散，吕芮冷笑道：“让她骂，看她能骂出什么难听的。”
那婆娘到也是个精明人，坐在外面哭骂了一天，到底沒敢把吕芮守寡期间跟僮仆私通的丑事抖露出來，到了黄昏，杨昊从西北五军兵马大元帅府回來，见他哥嫂坐在二道门口石阶上凄凄惶惶，便令人唤入宅中洗漱，
一面轻责吕芮待哥嫂无礼过甚，
吕芮哭泣道：“你打了败仗带着小鱼跑到蛮人那避难去了，我一个弱女子无依无靠，回家去傍养父母吃碗残羹冷炙，自家弟弟都沒言语，他俩却苦苦相逼，百般不肯容我，逼着我改名换姓再嫁他人，如今看我重得富贵，又來攀附，这等趋炎附势的小人，跟他一刀两断最好，免得看着气恼。”
杨昊笑道：“这世上有几人不趋炎附势，好歹他们也是知根知底的亲戚，人家來投奔，怎可闭门不见，这些年你吃了许多苦，追根究底错在我，与他们何干，若说有愧，是我有愧于你，你要怪怪我，要发脾气冲我來吧。”
吕芮破涕为笑道：“谁敢跟你争执，你既为他们说情，我还能说什么，只是你能大彻大悟看淡人情，我做不來，这口恶气不出，我吃饭也不香，睡觉也不稳。”
发了一通牢骚还是吩咐将堂哥堂嫂安顿下來，未几，又让派人去河东变卖他们家产，取了他们家小，留在府中帮办家务，
寻找王芸儿母子的事办的也算妥帖，杨昊在小长安兵败，丰州城一片混乱，先是晴儿和关索离去，不久小鱼又失踪了，再后來吕芮也卷了细软悄然离去，
王芸儿只得