Czy można odliczyć VAT z faktury, gdy wystawca nie jest podatnikiem VAT

Jednostka budżetowa dokonała zakupu związanego z prowadzoną działalnością gospodarczą (usługi eksperckie). Otrzymała fakturę, z której odliczyła VAT. Okazało się jednak, że przedsiębiorca-ekspert, który wykonał usługę, nie był zarejestrowany jako czynny podatnik VAT. Czy w tej sytuacji jednostka powinna skorygować podatek odliczony z otrzymanej faktury?