外籍看護即將滿期，僱主要辦理直聘原仲介公司要求賠償

四個月後看護期滿三年，仲介公司要和我簽約代為辦理續聘，我表示要自行辦理直聘才被告知要賠償公司五萬四並發現當初的合約有附約註記若不由公司辦理需賠償，詢問勞動局窗口他們也覺得有點霸王條款而且有其他僱主反應同一個仲介公司有相同情況

想請問若我自行辦理直聘確實需要賠償附約上寫的賠償費用嗎？