Fartyg kom långväga ifrån för att hämta järn och timmer. För att inte skeppen skulle vara för lätta på sin väg till Luleå lastades de med ballast i form av jord från alla världens hörn. På plats på Altappen lastades jorden av för att på hemvägen få plats med det järn som köpts. Jorden som lastades av användes bland annat till att anlägga trädgården till den herrgård som byggts på ön.
Med ballastjorden följde frön från olika delar av världen. En del av fröna slog rot och därför kunde de märkligaste växter plötsligt dyka upp på ön. Många av växterna togs om hand och planterades i herrgårdsparken, som på så vis blev en riktig botanisk trädgård.