王及善才学平庸，为人刻薄，作宰相时，别人暗地里把他比作凡庸的斑鸠占据了显贵的凤凰池（接近皇帝的机要部门称凤凰池）。他毫无政绩，有一点却管得很严，每日都要关照下官说：“不得让驴进入官署。”后来，别人就给他起了雅号叫：“驱驴宰相。”