彩礼钱该退吗我们结婚两年了，因为性格…

彩礼钱该退吗我们结婚两年了，因为性格不合协议离婚。之前他同意离婚了，现在却要求给他钱就同意离婚。我想知道，再没有家暴没有第三者的情况下要求离婚，我该退当初的彩礼钱吗?？彩礼钱是4万。。。谢谢。。。