遷移戶口與監護權

想問一下各媽咪們我未婚但有一個女兒、因當初戶口是在男方家、監護權爲共同所有。男方當初是用認養的方式、這4年多對方沒有來探視過小孩、只在小孩一歲前打了不到5通的電話過、我也沒有跟對方要過半毛錢。因小孩也快要5歲了、我們彼此現在要出來談小孩的事宜、因戶口在台中市我人在高雄、是不是要去戶籍所在地才能辦理呢？如果真的對方發瘋要小孩、我可以提訴訟嗎？拜託各位有過經驗的媽咪們能幫幫我