Ciao aquilotto, secondo me il periodo migliore è fine marzo- inizio aprile; è importante che ci sia un buon drenaggio, visto che l'olivo non ama i ristagni di acqua, quindi ti consiglio di addizionare della sabbia grossolana da aggiungere alla miscela di terra argillosa e terriccio o akadama.
Cmq mi chiedo se sia già il caso di travasarlo: hai detto che ha circa quattro anni ma non ne hai spiegate le dimensioni! Se ha una bella base ( in genere dovrebbe essere ingrossata) e le radici sono disposte a raggiera allora puoi anche metterlo già ora in un bel vaso bonsai, ma se non è così non pregiudicarne la ruscita affrettando le cose, lascialo ancora nel suo vaso attuale che sarà sicuramente un pò più grande e concimalo abbondantemente in modo che la base si ingrossi. Se hai bisogno di qualche altro consiglio, scrivimi pure