同事把工作推给我，我这样拒绝是否可以？

某天我在忙的时候，突然收到同事的邮件说我要做这个工作，感觉在命令我，而这个工作我之前跟他说了其实不用我去做，其他同事也可以处理，这次还是发邮件给我去做相同的工作。然后我就跟他说，“我不是之前跟你说过了吗？”他觉得我很忙而且这个工作比较适合我，还劝我乖，然后我说傻的吗？我也比较忙，是不是什么狗屎垃圾都要推给我？你又不是我上司？最后他把工作安排给其他同事了还说如果你忙可以跟他说，不好意思，我也跟他道歉，对不起我激动了。请问这样拒绝否过火了？但他的工作不是我工作范围内，而且我觉得他可以先在微信问我一下，反而利用邮箱告诉我已经被安排这个工作，除非是我上司安排我。