遇到这样的人恶意挑衅该怎么应对？

我大概六年级的时候，玩一个多人坐的秋千的时候，旁边一个男生比着个拳头对我说信不信我一拳就能打得你鼻青脸肿，我随口说不知道，他就说那来试一下啊，口气很冲。我没搭理，过了一会儿有重复了一样的对话。他也没做啥。遇到这种人该怎么做，我这样是不是太怂了？