我想咨询孩子抚养权问题？

是这样的我们离婚那时孩子是判的一人一个，大的六岁归男方小的四岁归我由于都小所以暂时两个都跟着我在一起生活，待大的读完幼儿园再带回老家上小学经协商他每月支付1500元抚养费给我妈，后来男方由于赌博欠债一直没给过抚养费，也不来看孩子。因为疫情幼儿园没开学，外债催债怕影响大的孩子的升学问题，所以我们手写协议，暂时跟着女方上小学，等他还完债，戒赌之后再考虑接回去。但他现在就想着把大的孩子送回老家去，可他家爸妈岁数也大了他们照顾孩子我不放心，这种情况下应该怎么办，我能让大的孩子在我身边读书生活，或者要回抚养权吗？