Han eigde først skonnertbriggen "Vats" som m.a. gjekk på Amerika, og eigde elles både jekter og galeasar. Det største skipet i flåten var engelskbygde ”Gwent” på 190 fot og 397 tonn som gjekk i utanriksfart. For dette skipet vart ”Dampskibet Gwents Aktieselskab” skipa, med fleire leiande forretningsmenn i Florø forutan Olsen som aksjonærar. Skipsreiar Olsen disponerte i tida mellom 1888 og 1897 ein flåte med ein samla tonnasje på 759 registertonn. I året 1900 var Olsen god for ein formue på 43.000 kronert og ei årsinntekt på 5000 kroner. Etter lokale forhold vil det seie at den lokale skipsreiaren var grunnrik.
Føregangsmann innan havfiske
Det var likevel som føregangsmann innan havfiske at Olsen skulle setje djupaste merket etter seg: Gjennom heile 1890-talet var Olsen ein leiande person i Florø Fiskeriforening som m.a. ytte tilskot til fiskarar som ville satse på bank- og havfiske. I 1899 organiserte han eit aksjelag som kjøpte fiskedampskipet "Haveggen". I åra som fylgde, vart det skipa tre liknande fiskeriselskap i Florø:
Aktieselskabet Florø Havfiskeselskab i 1901, Aktieselskabet Kinns Havfiskeselskab i 1902, og Aktieselskabet Nesodden i 1903. Elias A. Olsen og
Abraham Haave var sentrale personar i alle desse havfiskeselskapa og drifta av fiskedampskipa. Mykje av denne utviklinga skuldast at Staten i 1900 skipa eit eige Havfiskefond for å få bygd opp ein moderne, havgåande fiskeflåte. Florøreiarane var svært aktive og greidde å sikre seg 29 prosent av heile dette havfiskefondet til investeringar fram til 1910.
Florø Conservesfabrik
I 1908 skipa Elias A. Olsen saman med forretningsmenn i Bergen A/S Florø Conservesfabrik i eitt av dei store sjøhusa som Olsen åtte i Hesteneset. Fabrikken vart nybygd i mur kring 1920, og fekk eige kraftverk. På det meste sysselsette hermetikkfabrikken 120 personar.