Робърт е роден на 4 април 1965, а във вените му тече руска, ирландска, шотландска, немска, дори швейцарска кръв. Майка му също е актриса и често участва във филмите на Робърт Дауни-старши. Младши също прави дебюта си там - едва 5-годишен, играе болно кученце в лента, режисирана от баща му. Когато е на 6, татко му позволява да опита марихуана и предвид последвалите обстоятелства след години, до ден днешен съжалява за безотговорната проява на либералност.