李渊见李彻等人要走，自己也随之站了起身，向杨广躬身回了一礼，要随众人一同告辞，被杨广一扯住了袍袖，单将他一人留了下来。
“表兄要是不肯答应下此事，我，我便不放表兄离开并州。”杨广腿伤初愈，难以久立，遂拉着李渊重新坐下，赌气似地冲他要挟道。
李渊深知皇后独孤伽罗对原是宇文般若贴身侍女的安若溪颇为记恨，此时又见杨广为了自己不向独孤伽罗禀报安若溪已跟随他来了并州，竟然说出要将自己强留在并州的话来，又觉好气，又是好笑，遂耐下心来劝杨广道：“娘娘于诸皇子中，最疼爱的就是王爷你了，我劝王爷千万不要因为一名侍女而开罪了娘娘。若是王爷真有心留下她在身边，也请王爷趁早将此事如实向娘娘禀明，免得被娘娘先察知了此事，于王爷，于安若溪本人，都没有好处。”
在裴矩不久前来并州传诏，要杨广回长安与后梁公主成亲之时，杨广原本打算，真要躲不过这桩婚事的话，他便趁返回长安的机会，当面请求父皇、母后，允准自己同时迎娶安若溪过门，正式纳其为妾，今晚被李渊这么一说，他的心思不禁随之活络了起来，天真地打起了向母后奏明此事，迎娶安若溪过门的如意算盘。
当晚送走李渊，杨广也没跟安若溪商量，便提起笔，分别给杨坚和独孤伽罗各写了一封家信，在信中，杨广出于好心，有意回避了提及是在太子杨勇的一手安排下，安若溪才从万善尼寺还了俗，重新回到了自己身边，只极力称赞安若溪献言献策，为自己确保北境无虞贡献颇多，立下了头功，恳请父皇母后允准他纳安若溪为妾。
杨广本打算将这两封家信托付给李渊带往长安，面交到杨坚、独孤伽罗手中，可次日天明转念一想，仍觉对李渊的为人信不过，便于送李渊率军返回东都的当天，改派了新任斥候营统领的赵才带着两封家书，骑快马返回了长安。