Czy pracodawca musi zwrócić pracownikowi koszty poniesione na organizację wypoczynku, jeśli nie udzieli urlopu we wcześniej uzgodnionym terminie

Jeden z naszych pracowników zaplanował swój letni wypoczynek wyłącznie na podstawie sporządzanego w zimie planu urlopowego. Obecnie wystąpił do nas z wnioskiem urlopowym o udzielenie urlopu na zaplanowane 3 tygodnie. Nie mogliśmy uwzględnić wniosku pracownika, ponieważ w związku z podpisaniem nowych kontraktów będziemy temu pracownikowi mogli udzielić urlopu najwcześniej we wrześniu. Pracownik po odmowie zażądał od nas refundacji kosztów rezygnacji z wczasów, które zarezerwował w lutym (przepada mu 20% ich wartości). Czy mamy obowiązek zwrócić mu pieniądze? Jeśli tak, to na jakiej podstawie - nie doszło przecież do odwołania go z urlopu?