Употребляется только герундий (doing smth.):

Например: I dream of one day working for myself and not having a boss.

***

Можно употребить и герундий и инфинитив (doing smth. /to do smth.)

Например: I like the idea of buying a new car. / I like the idea to buy a new car.