23. juni 1844 ble gutten Anders født på gården Store Fon i Fon i Ramnes. Foreldrene var Lars Andersen og Karen Olea Tollefsdatter. Dette var gården Karen Olea kom fra. Lars kom fra Vestre Firing (Ramnes bygdebok side 281) på grensa mellom Ramnes og Fon. 

I 1851 står familien med mor, far og fire barn i prestens lister over utflyttede, med destinasjon Amerika. Det er usikkert hvordan turen gikk, men familien endte først opp i Montreal i Canada. 87% av de som immigrerte i perioden 1851-1865 reiste via Quebec i Canada. I minneordet i avisa Skandinaven står det beskrevet ganske mange detaljer om livet til Anders. 

Faren Lars jobbet i Montreal noen måneder, før familien reiste videre til Stoughton, Wisconsin. I 1853 flyttet familien igjen, denne gang til Big Canone i Winneshiek County i Iowa. 17 år gammel vervet Anders seg til hæren, året var 1861, ett år ute i den amerikanske borgerkrigen.