夫は浮気していて毎日朝帰りだし土日はいない…プリと別れるまで帰ってくるなと言いたい。離婚する気はないけど私から出て行けと言うのは不利になるのかな？

平日は毎日朝帰りだし土日はいないし 
プリと別れるまで帰ってこなくていいような気持ちになってきてるのですが 
離婚する気がない場合こちらから出て行ってと言うのは不利になるでしょうか？ 
あともしも向こうから家を出たいと言われた場合 
これも、あっさり送り出すのではなく 
出て行かないで！など言った方がいいのでしょうか？