I løbet af 14-1500-tallet skifter ejendommen fra kronen til adelen, idet Selleberg i starten af 1600- tallet tilhørte Peder Ebbesen Galt, som tilhørte en af landets ældste adelsslægter.
I 1684 overtager oberstløjtnant Jens Steen Sehested ejendommen. Sehested var udover titel af officer også digter og boheme – og er for så vidt den mest interessante ejer op gennem historien.
Jens Sten Sehested havde en stor kærlighed til Fyn og har givet udtryk for det, i digtet: Fyns berømmelse.
Sehested havde i øvrigt tæt forbindelse til Thomas Kingo.
I 1696 sælger Sehested ejendommen til generalløjtnant Hans von Løwenhielm.
Senere overtager apotekeren Peter von Westen for en kortere årrække, hvorefter Sophie Hedevig Juul, generalinde fra Ravnholt overtager Selleberg.
I 1793 overgår Selleberg til ejeren af det nærvedliggende Skovsbo, Jens Magnus Berg. Efterfølgende overtager både en købmand Simon Hempel Ploug og sidenhen en Ritmester Schubart.
I begyndelsen af 1800-tallet indtraf den daværende landbrugskrise og blev i 1825 overtaget af staten.
I 1826 overtages Selleberg af 2 driftige svogre. Den ene Jørgen Hvenegaard blev efter få år eneejer og udviklede bl.a. driften med malkekvæg.
Allerede i 1845 er det væsentligt bedre tider for landbruget og på det tidspunkt opføres en helt ny og meget stor hovedbygning. Formålet var bl.a. at huse gårdens ansatte som gjaldt forvalter, landvæsenselever, malkepiger og køkkenpiger. Men man ønskede også større stuer og sale til levemåden den gang. Jørgen og Karen Hvenegaards datter Caroline blev gift med gårdens forvalter, Peter Wilhelm Ludvig Lassen og derfra kommer navnesammenlægningen af Hvenegaard og Lassen. De fik 3 børn, hvoraf den ene Søren Lassen skrev en bog om sine erindringer fra Selleberg i slutningen af 1800-tallet. Disse bøger er utrolig værdifulde at have i dag.
Den ældste søn i flokken Jørgen Christian blev forstkandidat og virkede det meste af sit liv i Funder ved Silkeborg, sammen med sin Julie, født Faber,- indtil han som gammel i 1910 måtte tilbage til sit fødehjem for at overtage Selleberg efter sin far, hvilket var ret vanskeligt, men sådan gik det til. De havde dog deres ældste søn Halvor til at stå for driften fra 1912 og Halvor overtog Selleberg i 1936.
Han blev gift med Lis, født Neergaard Jessen. Sammen fik de 4 børn, Holger, Bodil, Bent og Karen, hvor det igen gik sådan at ældste søn overtog gården. Holger Hvenegaard Lassen overtog Selleberg i 1951 og huskes bl.a. for mange særegne initiativer. F.eks. blev de første Wales Mountain-ponyer importeret til Danmark og han etablerede et stutteri for denne race. I forbindelse med det blev der i en årrække lavet fantastiske opvisninger på det fynske dyrskue med hestekørsel af enhver slags.