Mon père m’a fait une donation. À son décès, mes frères peuvent-ils me demander de « rapporter » cette somme ?

Oui. Sauf stipulation contraire dans l’acte (donation avec dispense de rapport), « Tout héritier […] venant à une succession, doit rapporter à ses cohéritiers tout ce qu'il a reçu du défunt, par donations entre vifs, directement ou indirectement ». En effet, toute donation faite à un héritier est présumée être une avance sur sa part d’héritage (art. 843 et suivants du Code civil).