¿Se puede acusar de secuestro al padre de mi hija?

Me divorcie hace algunos años en la Ciudad de Mexico, mi divorcio fue muy dificil hasta que llegamos a un arreglo. Yo me quede con la custodia de mi hija. Hace poco me volvi a casar y ahora radico en Cuernavaca, por enfermedad ya no puedo ir a Mexico para llevar a mi hija a ver a su padre. El padre de mi hija es una persona muy dificil y hasta el momento no he dejado de cumplir con el convenio de yo llevarle a la niña a Mexico, pero se que en cuanto le diga que ya no se la puedo llevar tenga problemas con el como el que se lleve a mi hija y no me la entregue a la hora y en el dia quedado (cosa que ya ha hecho). En caso de que el reaccione de esta manera quisiera saber como proceder, si legalmente puedo acusarlo de robo de menor. Gracias