Czy można zrezygnować z pracownika tymczasowego, który przedkłada zwolnienie lekarskie?

Przyjąłem trzech pracowników tymczasowych do pracy w moim ośrodku wypoczynkowym na sezon zimowy. Jednak obecnie nie ma dla nich pracy, więc agencji pracy tymczasowej, z którą współpracuję, przekazałem informację, że chcę z nich zrezygnować. W tym samym dniu, gdy przedłożyłem agencji oświadczenie o rezygnacji z pracy pracowników tymczasowych, jeden z nich przyniósł zwolnienie lekarskie. Czy to oznacza, że nie mogę zrezygnować z tego pracownika?