Non ho capito bene se ti preoccupano i baccelli dal punto di vista botanico se dal punto di vista della sicurezza.
Dal punto di vista botanico, togliendo i baccelli, come ti ha suggerito Boba74, dovresti agevolare una fioritura piu' lunga e e forse prosperosa. Se li lasci sulla pianta, una volta raggiunta la maturazione, potrai raccogliere i semi per creare nuove piantine..... oppure li puoi donare alla banca del seme!!!!
Dal punto di vista della sicurezza, e specialmente se hai bambini, ti consiglierei di toglierli, perche' l'oleandro e estremamente tossico, addirittura mortale, puo' portare all'arresto cardiaco. Quindi se hai dei bambini piccoli meglio no avere i semi dell'oleandro in giro per il giardino.
Un saluto.