口頭契約買賣，只簽「買賣議價委任書」不賣了算違約嗎？要賠償嗎？

原先我與房仲只有口頭上要賣房，無簽任何書面委任，房仲說確定有客人要買之後在簽約就好，過程中有買家要買，所以只與房仲簽「買賣議價委任書」，買家只付了5萬斡旋保證金，如今我不想賣了，房仲請買家寄存證信函給我，要我在到函五日內簽訂買賣契約，不然就要賠償雙倍斡旋保證金，我知道存證信函不具有任何法律強制效率，請問我這樣算違約嗎？需要賠償嗎？賠償金額有需到雙倍？