Kiedy trzeba zwrócić ulgę z tytułu gromadzenia środków w kasie mieszkaniowej

Od 1999 r. gromadzę środki w kasie mieszkaniowej. Umowa z bankiem skończyła się 31 grudnia 2003 r. Uprawnienia do rachunku w kasie mieszkaniowej przekazałem córce, która środków tych nie wydatkuje na zakup mieszkania, ponieważ mieszkanie już posiada. Czy w tej sytuacji będę musiał zwracać podatek dochodowy, który odliczałem z tego tytułu?