Det første stenværk i Yderby startede i slutningen af 1800-tallet. Det ejedes af Jørgen Nielsen, Brandstrupgaard og fungerede ved at stenene blev knust ved dampkraft og udskibet.
Derefter ejedes værket af en grosserer Nielsen i København, som døde år 1900.
Derefter havde stenværket flere forskellige ejere i nogle år. For så at ligge stille de sidste par år inden tyskerne overtog det i 1910.
På grund af tyskernes overtagelse kaldes noget af værket i daglig tale for "Tyskerværket".
Tyskerne rejste hjem ved starten af 1. verdenskrig 1914-1918, og stenværket lå igen stille indtil A/S Stenlejerne overtog det (Odden Stenværk).
