建议你还是要搞清楚他为什么不肯离婚的原因,是还爱着你,还是道德败坏;是一时糊涂,还是蓄意所为;这要区别对待,要是一时糊涂,你自己也还对他有点感情的话,且愿意再给他机会,我想还是应该好好和他沟通交流,不管怎么说,都要全面考虑,这毕竟是人生中的一件大事,三思而后行,对自己要负责.当然,如果你从心底里不肯原谅他,那就要想下定决心离婚了。

面对不分手也不离婚的男人，如果作为妻子认为这个男人还有价值，你对他还有感情，或者不想让孩子成为单亲，惟一的办法就是等待。当然，我说的不是消极等待，而是积极去面对，能够去反省婚姻中会不会有让他不满足的地方，作些调整改变，给他宽松的环境，在理解他的基础上，好好沟通。让他了解你的感受，说不定这个婚姻还有挽救的可能。但是，现在这种能够冷静面对老公不分手也不离婚状态的妻子真的很少，所以，婚姻最终不是死在出轨，而是死在出轨后，如何处理这个问题上。

面对不分手也不离婚的男人，女人如果也不那么爱这个男人了，自尊心又很强，认为不能接受他这样的状态的，当然也完全可以主动提出离婚，如果他还是不同意，你可以上诉法院判决离婚。

也可以选择向法院起诉离婚。

根据相关法律规定，男女一方要求离婚的，可由有关部门进行调解或直接向人民法院提出离婚诉讼。人民法院审理离婚案件，应当进行调解;如感情确已破裂，调解无效，应准予离婚。

有下列情形之一，调解无效的，应准予离婚：

(一)重婚或有配偶者与他人同居的;

(二)实施家庭暴力或虐待、遗弃家庭成员的;

(三)有赌博、吸毒等恶习屡教不改的;

(四)因感情不和分居满二年的;

(五)其他导致夫妻感情破裂的情形。

因此，你可以选择起诉离婚，但需要注意收集对方有外遇等相关证据证明你们夫妻感情已破裂。