Jak rozliczyć się z urzędem skarbowym za pracownika?

Zajmuję się sprawami płac w niedużym przedsiębiorstwie. Mam wątpliwości, do jakiego urzędu należy przesłać kwotę niedopłaty podatku wynikającej z rozliczenia przychodu podatnika za rok ubiegły? Czy do naszego urzędu skarbowego (urzędu płatnika) czy do urzędu skarbowego podatnika (pracownika)? Przypuszczam, że do urzędu skarbowego płatnika, bo kwotę wypłaty wykazuję w PIT-4.