遗弃离婚的时候法院判决孩子本应是男方…

遗弃离婚的时候法院判决孩子本应是男方抚养的，但男方从来没有尽过做父亲的责任，也从来没有给过任何生活费，居委和妇联的人打电话做思想工作也没有用，男方根本不想负责任，请问可以通过什么途径来保障孩子的合法权利，孩子还读书。