嘉靖五年秋天九月，翰林院待诏文徵明正式退休了。翰林黄佐写了一本书叫《翰林记》，里面记录了翰林院的许多事情，比如翰林致仕的仪式，“馆阁中会推选一位和致仕者交情深厚的人作序，其他人则赋诗相赠，这就是惯例。”状元姚涞还写了一篇长序《送文衡山先生南归序》，黄佐一向非常敬重文徵明，也给写了一篇长序送别。文徵明的同乡徐缙在《送翰林待诏文君致仕还吴序》中记下了当时的情形：“文君徵仲任翰林待诏的第三年，三次上疏请求退休，皇上这才答应了他的请求。朝中的官员没有不称赞他的道义而惋惜他离开的，很多人写歌诗作诗来夸赞他。”并且深情地说：“我和你同乡，做官时也同期，交情深厚，不能不说话。”
苏州洞庭西山的人徐缙，号崦西，从小就很聪明，每天能记住几百句话，年纪轻轻就在乡里出了名。初次见到徐缙时身姿俊朗，王家已经暗自喜欢他的女儿了，“王鏊有女灵慧，通经史。”于是出对联考他的才能，果然名不虚传，感叹：“西山居然有这样的儿子！”忍不住自言自语：“这就是我的女婿。”得到王鏊欣赏，“于是教他读书的要领，带他到京城。” 王鏊传授他读书治学的法门，又带他远赴京师，令他跟随大学士靳贵学习《易经》。徐缙在弘治十八年考中进士，从此步步高升，据《世宗实录》记载，嘉靖九年，明世宗提升吏部右侍郎徐缙为本部左侍郎，仍然负责经筵日讲。在朝的最后几年，声望极高，阁臣觉得徐缙对自己有威胁了，于背后百般构陷排挤，徐缙无奈辞官归乡，“由是清燕昼接，宠赉日隆，相君嫌其逼己也，阴嗾憸党飞文巧诋。”
回到家乡后，徐缙过上了清闲的日子，写诗作文，收藏书画，生活得闲适自在。嘉靖十二年，文徵明到西山避暑，徐缙邀请他到家中，聊得十分尽兴，便兴致勃勃地画起窗间的名花异草。画面完成后，徐缙真心称赞，文徵明讲出了画法：“大抵古人写生，在有意无意之间，故有一种生色。”
文徵明在《花卉册》上自己写了跋语
文徵明和徐缙的交情持续了一辈子，又和王鏊交情深厚，形成了明代吴中顶级艺文世家圈层。王鏊是前辈，对文徵明有知遇之恩。当年受王鏊指点，文徵明写了《上守溪先生书》，诚恳地说：“获承绪论，领教实深。”正德年间，王鏊主持编纂《姑苏志》，邀请文徵明参与编撰。王鏊归隐后，两人交游更加频繁，文徵明曾给王鏊的真适园题了十六首诗。
嘉靖三年，王鏊去世，文徵明亲自撰写《太傅王文恪公传》，回忆他的功业文章。嘉靖二十四年徐缙离世，文徵明悲痛不已，作了《祭徐崦西文》，文末写道：“何图弃我而先陨？兴言及此，气咽而哽，陈词薄奠，言有终而意无尽也。呜呼哀哉！”
徐缙的妻子正是王鏊的长女王仪，因王仪的母亲吴氏早逝，王鏊任职翰林院时，将她带到北京。王仪“因是渐渐认识经史大义，且通知时事得失、人才高下”，王仪的书法也得到父亲王鏊的肯定。徐缙和王仪有两个儿子，长子徐玄度，先于徐缙去世；次子徐玄成，字汝文，任詹事府主簿。因徐玄成的奏请，徐缙去世后，被谥为文敏，赠礼部尚书。
故事讲到这里，好像就结束了。
稍稍停顿，再详述下去。文震亨妻子的身世，一直说得不太清楚，钱谦益在《列朝诗集》中说，“（王留）亦房之妹婿文震亨，字启美，待诏之曾孙，阁学文起之弟也。”这条信息被后世反复引用、反复解释，以致文震亨是“王留父亲王穉登女婿”的说法非常流行。文震亨题跋“余婿于太原故征君（王穉登），所藏卷轴，无不寓目”，让人有些误会。晚明顾苓《塔影园集·武英殿中书舍人致仕文公行状》的记载最为接近事实，但还是没说明翁婿关系，只说文震亨“元配王氏，故征君王百谷女孙。”
最近重新读《大泌山房集》，终于解开了这个谜，王穉登有四个儿子，分别是王无曲、王无回、王无田、王无留。李维桢在书中说：“（王穉登）有孙女六，无回出者三，一适诸生文震亨。”王穉登次子王无回的女儿嫁给了文震亨，这个信息直接表明，“故征君王百谷女孙”的说法确凿无疑。王无回先于王穉登去世，幼子王留则是钱谦益和文震孟、文震亨兄弟朋友圈里的共同好友，以致钱谦益
