我跟他认识的时候他就是已婚，我知道一开始就错了。我跟他是朋友之间关系而认识的，见面几次我们就互生情愫，还有相见恨晚的感觉，最后我们都是把持不住发生了关系，我们这样来往了一段时间，但我对他没有抱长期发展的想法，就想慢慢跟他了断。结果不久，他妻子知道了我们的事，还用各种手段的去调查我们的事情，结果他们关系破裂，他妻子更大吵大闹要告上法庭，我知道事情严重，也想就此断绝，但他们已经闹到了僵持的地步，而且他妻子一直为了这件事情跟他吵架，他无法忍受下去，最后就提出离婚，跟我在一起，他妻子不肯，说要足够的钱补偿才肯离（期间还反悔过，希望不离婚），但他们的关系还是吵吵闹闹，因为当时男方没有这么多的钱解决，所以就一直持续下去，我跟他期间也一直保持联系。 到最近他把钱凑够了，他们去办了离婚手续，我跟他正式在一起，但是女方还是不肯罢休，她回旧的房子去拿了男方新家的钥匙（她有旧房子的钥匙），说要回去住，结果上去发现新家里面有我的东西，她就把我的东西全部打包，拿到我的工作单位闹事，在我同事面前骂了一顿，还把物品丢了一地，我没有跟她解释什么，只让她不要在办公地方闹事不然就叫保安，她就只好离开了，我知道她是因为愤怒，她是要全世界的人都知道我们做的事，后来男方为了平息这件事情，就打电话给女方的父亲，希望能有个解决方法，结果，女方的父亲最后决定要把他出轨的事情告到男方单位那边，（他单位算是有头有脸的）。 我真不知道现在该怎样做了，我提出跟男方分手，他会觉得我很自私，到这个地步就把自己置身事外，继续跟他一起，女方又会纠缠不放，把事情闹很大，我知道是我做错了，但是现在真不知道是进是退。