Su fama de conquistador inspiró el personaje de James Bond. En su último libro, el escritor norteamericano Truman Capote habla del pene de Rubirosa como algo de descomunal tamaño. En la Jet set estadounidense y europea se le conocía como Rubi.
Murió el 5 de julio de 1965 en un controvertido accidente automovilístico en París en que un testigo informó que el auto deportivo Ferrari descapotable de Rubirosa transitaba a gran velocidad por la avenida y repentinamente dobló y embistió de lleno contra un árbol, algunos dicen que fue un accidente; pero todo apunta a un suicidio.