「財務省の玉木潰し」説まで出た不倫問題の影響…相次ぐ同情・擁護論で「首相候補からの脱落」回避も