Kiedy nie można zrezygnować z pracownika tymczasowego?

Przyjąłem 3 pracowników tymczasowych do pracy w naszym ośrodku wypoczynkowym. Jednak obecnie nie ma dla nich pracy, więc agencji pracy tymczasowej, z którą współpracuję, przekazałem informację, że chcę z nich zrezygnować. W tym samym dniu, gdy przedłożyłem agencji oświadczenie o rezygnacji z pracy pracowników tymczasowych, jeden z nich przyniósł zwolnienie lekarskie. Czy to oznacza, że nie mogę zrezygnować z tego pracownika?