吕家自然是不甘心的，那时候四皇子还必须依附太子，吕家并不把四皇子当一回事，皇家的人大多小心眼，四皇子自然也是，后来四皇子也基本不上吕家的门。
后来，太子花园藏尸案，吕家并未有太大的损害，而后来的太子逼宫，吕家直接就那样倒了，因为吕家到底有一个女儿是皇子妃，圣上也考虑到四皇子的脸面，吕家的结局也不过是和荣国府一样，官位最高的老太爷被赐自尽，其他人，恢复白身。
这时候吕家的人又坐不住了，太子已经倒了，六皇子和四皇子之间，他们又把目光投向四皇子，本来也算是理所当然，问题是吕家人把注意打到了徒睿身上，徒睿才十岁，被吕家人设计，让吕家的一个姑娘睡在了徒睿的床上，如若这件事是在吕家发生的，四皇子也只会怪罪吕家，结果却是在智亲王府发生的，加上管理后宅的又是王妃，四