Han har anklagats för upprepade fall av olämpligt beteende. Bland annat ska han under tjänsteresor som presidentläkare ha gått i flygplanets mittgång med receptbelagda läkemedel och frågat: "Vem vill sova?". Vidare ska han under en resa i tjänsten ha hittats avsvimmad hotellrummet efter ha druckit hela kvällen, något som inte ska ha varit en engångsföreteelse.
I sitt uttalande kallar dock Jackson anklagelserna för "falska". Att han ändå drar sig ur beror på att rapporteringen kring honom blivit ett problem för presidenten, skriver han.
Beskedet kommer dagen efter att Jackson sagt att hans nominering går framåt som planerat.
Jackson har arbetat som läkare under Trump, Barack Obama och George W Bush och har fått fina vitsord av många nuvarande och tidigare kollegor vid Vita huset.
Av andra har han dock beskrivits som underkvalificerad för jobbet som veteranminister. Anklagelserna mot honom började bubbla upp i samband att ett senatsutskott gjorde research om Jackson genom att intervjua över 20 personer som jobbat med honom tidigare eller som gör det nu.