Kiedy nie można ukarać pracownika za odmowę wykonania polecenia służbowego

Zatrudniam pracownika na podstawie umowy o pracę na stanowisku magazyniera. Jego praca polega na obsłudze wózka jezdniowego, układaniu towaru w magazynie itp. Zleciłem mu jednorazowo posprzątanie liści z dachu budynku, w którym pracuje. Pracownik odmówił posprzątania dachu, argumentując, że nie posiada odpowiednich uprawnień. Czy miał prawo tak postąpić? Czy mogę go ukarać, uznając odmowę za uchylenie się od wykonania polecenia pracodawcy?