我不知道怎么办好，我远嫁，两个小孩在湖南，老公好吃懒做，又赌又嫖，还包二奶，我现在在外面打工？

两个小孩是老公爸妈带，老公的爸妈是非常小气的，脾气又非常暴躁，动不动，就要说要打死小孩，我说小孩不懂事，还小，我老公的爸爸就说小孩不懂事就要死，小孩才六岁说偷了他的钱，把小孩打的半死。我觉得小孩很苦，现在也有点能力带在身边，我老公让我带两过小孩在我娘家上学，我工作也辞了，房子也退了，在我娘家市里面也花了几千块申请到学位了。现在他家人死活不让我带小孩走，我该怎么办好！