他人的公開帳號過去發的文中，有幾張團體合照或活動照有我在內，能清楚的辨識出樣貌，當時我未覺得不妥因此無表達異議。
近日因私人考量，而不希望自己的樣貌出現在該公開帳號中，所以向對方詢問能否刪除、打碼，或是將照片設為不公開。
對方主張那只是團體照並非我的特寫，且該照片屬於他的回憶，他認為他只是分享並紀念在自己的帳號中並無不妥。另拍攝照片也有他的付出成本在其中，因而表示拒絕，並聲明即便我是肖像權人，法律上也不允許恣意撤回同意。
請問關於對方的回覆是正確的嗎？
雖然過去同意，但過了一段時間後，我是不能主張我的肖像權，要求對方刪除、打碼，或是請對方將照片設為私人的嗎？