Xây nhà trên đất đã có quyết định cho phép chuyển đổi mục đích sử dụng đất được không?

Xin hỏi Luatvietnam: Năm 2017, tôi có sở hữu thửa đất nông nghiệp 5.000 mét vuông. Ngày 1/5/2017, tôi có làm thủ tục chuyển đổi mục đích sử dụng đất toàn bộ thửa đất nông nghiệp lên đất ở và UBND huyện X ra quyết định cho phép chuyển đổi mục đích sử dụng đất. Tuy nhiên, do vướng mắc về việc xác định số tiền thuế phải nộp nên cơ quan thuế chưa thông báo số tiền phải nộp với tôi. Ngày 12/12/2017, dựa vào quyết định cho phép chuyển đổi mục đích sử dụng đất, tôi có tiến hành xin giấy phép xây dựng khu nhà ở trên toàn bộ thửa đất và đã được bên cơ quan nhà nước cấp giấy phép. Ngày 1/5/2018, công trình của tôi đã hoàn thành xong. Do tôi chưa nhận được thông báo nộp thuế và cũng chưa tiến hành nộp thuế nên giấy chứng nhận quyền sử dụng đất chưa có cập nhật thông tin về việc chuyển đổi mục đích sử dụng đất. Ngày 19/1/2022, cơ quan nhà nước ra thông báo yêu cầu tôi tháo dỡ công trình với lý do tôi sử dụng đất sai mục đích. Vậy trong trường hợp trên, tôi có phải buộc tháo dỡ công trình không? Xin cảm ơn!