Madame,
Afin de fixer un cadre de droits de visites et hébergement et qu'il vous verse une pension alimentaire vous devez impérativement saisir le juge aux affaires familiales.
A ce stade sans décision de justice, rien ne l'oblige à vous verser une pension et il peut faire ce qu'il veut avec l'enfant (le prendre quand il veut, l'emmener où il veut...)
Vous pouvez vous faire assister d'un avocat afin de vous défendre. Si vous n'avez pas les moyens de prendre un avocat, vérifiez si vous pouvez bénéficier de l'aide juridictionnelle :http://vosdroits.service-public.fr/particuliers/R1444.xhtml
S'agissant des agressions, vous devez continuer à déposer des mains courantes voire des plaintes s'il y a lieu.
S'agissant des appels et sms malveillants, vous pouvez déposer plainte contre lui si il vous harcèle sans cesse par sms notamment.
Espérant avoir résolu votre problème,