Nie można wycofać zgody na przetwarzanie danych osobowych przez lekarza orzecznika

Wystąpiłem do Zakładu Ubezpieczeń Społecznych o przyznanie renty z tytułu niezdolności do pracy. Do wniosku dołączyłem dokumentację medyczną zawierającą historię mojego leczenia z różnych placówek leczniczych. Z uwagi na decyzję odmawiającą mi przyznania świadczenia wydaną na podstawie orzeczenia lekarza orzecznika zgłosiłem wycofanie zgody na przetwarzanie danych osobowych zawartych w przekazanej dokumentacji medycznej. Moje żądanie nie zostało uwzględnione przez lekarza orzecznika. Czy lekarz orzecznik postąpił prawidłowo? Czy to on powinien odpowiadać na moje pytanie, a nie ZUS?