Madre en departamentos tipo infonavit

Buenas tardes, mi vecino del dpto de abajo me hablo de manera grosera y amenazante que el escucha las pisadas de mi hijo de 2 años por la noche y que si no lo dormia temprano el llamaria al dif por maltrato infantil mi bb tiene movido su horario de sueño ya le explique que siempre procuro que el bebe no haga ruido pero es un niño de 2 años, juega, come, camina, corre, y me amenazo con llamarle al dif yo le explique que eso es una queja de ruido no maltrato infantil y el vecino si golpeo la pared una noche con un palo lo de mi hijo no es encontra de el pero yo haciendo todo lo posible aun asi le molesta ¿que puedo hacer? ¿Si el vecino me molesta nuevamente o golpea la pared como loco? ¿Si llama al dif, que puedo hacer para no meterme en ningun conflicto con ellos, puedo no recibirlos, porque estamos hablando que me pidria tocar algun mal funcionario y por darle la razon al vecino de "ruido" pisadas o que mi hijo juega hasta tarde podria causarle algun problema a mi hijo con su mama soy madre soltera por gusto del vecino. Aclaro que los cuidados y todas mis responsabilidades de madre estan mas que bien cubiertas pero estoy en casa de mi mama hace 3 meses ella nunca estaba en casa trabaja todo el dia y seguro el vecino se acostumbro a su ausencia pero ahora estoy yo con mi hijo y de alli viene que se queje. No hacemos fiestas, no traemos amigos a casa tarde ni nunca solo mi hijo duerme tarde porque le deje de dar pecho recientemente y es complicado hacerlo dormir sin el pecho, pero no lo obligo, lo dejo que se duerma cuando tenga sueño. No me parece negligencia no va a guarderia, ni tiene niñera, y no trabajo asi que no tengo urgencia para hacerlo dormir temprano el inicio escolar kinder aun le falta un año mas para ingresar.. gracias por leerme