皇子的降生并没有给宋氏带来转机，狱中的宋泓被废为庶人，当他在狱中听到这个消息的时候，既为宋氏诞下皇长子而感到高兴、又为宋氏无法改变的命运而心惊，很快就因为惊喜交加，死在狱中。

宋氏其余亲族也遭到了流放西海郡的命运，宋氏在短时间内积累的资财全部归朝廷所有。其余依附着宋氏的大小豪强也受到或多或少的牵连，在董承的主持下几乎要掀起一场大案，最后还是皇帝出面才算中止。

过了一段时间后，事情渐渐平息下来，杨琦便开始借口老病，上书请辞。皇帝自然不允，继续留下杨琦担任侍中，只是收回了对方平尚书事的权力。

又过了不久，杨琦再次请辞，并上书要回弘农配合官府清查户籍，执行朝廷的政策。皇帝再拒绝了一次，甚至封杨琦为西乡侯以示信重。

得了爵位与食邑后，杨琦第三次向皇帝上书请辞，终于得到了皇帝的准许。

此后杨氏在朝中只剩下杨彪最具声望，但杨彪也只是九卿，没有参与决定朝政的权力，杨氏衰弱几乎是一目了然。