夫が風呂屋に通っていました。これまでも出会い系サイトを見ていたり、知らない女性とメールしたりしていました。夫婦の営みも年４～５回程度… これで離婚するのは変ですか？

【相談内容】（なるべく簡潔に・自分・相手の経済状況についても簡潔に） 
夫が風呂屋に通っていました。これまでも出会い系サイトを見ていたり、知らない女性とメールしたりしていました。(性的には未遂？ぽい) 
半行為レス状態で年に4～5回程度、結婚前から回数は少なく、誘っても断られることが多いため、私からは誘わなくなりこの回数になりました。 
共働きですが、私はパート程度の収入、転職活動中。夫は平均より少し下？くらいです。 
今後求められても拒否してしまいそうです。この程度で離婚するのはおかしいですか？