律師你好，我2016年經(jīng)法院調(diào)解離婚，兩個(gè)孩子判給女方撫養(yǎng)，

律師你好，我2016年經(jīng)法院調(diào)解離婚，兩個(gè)孩子判給女方撫養(yǎng)，但小孩一起跟隨我父母生活，當(dāng)時(shí)離婚我算是凈身出戶！我父親寫了一張協(xié)議給女方，兩套房子，分別給兩個(gè)孫子，女方可方可以跟隨兩孫子住！今年暑假孩子母親回來帶兩個(gè)孩子去玩，回來之后變化很大，最大的小孩上高中，周末回來住；最小的小孩現(xiàn)在在他外婆家住，前一陣回來罵奶奶，現(xiàn)在兩個(gè)孩子很不尊重我父母； 現(xiàn)我父親想要撤銷當(dāng)時(shí)寫的那份協(xié)議。協(xié)議我父母簽名，蓋手印！（母親的名字是父親寫的），協(xié)議是一式兩份，協(xié)議也沒有經(jīng)過公證處公證！ 我們該怎么樣？假如女方起訴，那我們又該如何應(yīng)對！