Ciao
dalla descrizione direi si tratta di antracnosi dell'olivo (Gloeosporium olivae), consiglio di trattare con rameici o ditiocarbammati per arginare il problema.
I trattamenti devono essere fatti preventivamente contro i funghi e contro gli insetti che aiutano molto l'infezione dei frutti.
Ciao