Breton urodził się w niewielkiej wiosce Courrières w regionie Artois. Wychowywany przez wuja uległ w młodym wieku wpływowi idei saintsimonizmu. Edukację artystyczną odebrał w Gandawie pod kierunkiem Felixa De Vigne (1843-47). Córkę De Vigne’a, Elodie, poślubił w 1858. W latach 1847-54 kształcił się w paryskiej École des Beaux-Arts u Martina Drollinga. Jego wykształcenie było stricte akademickie, lecz w czasie paryskiej edukacji podjął pierwsze studia plenerowe w metropolii i rodzinnym Courrières, gdzie w połowie XIX stulecia rozpoczęło się wydobycie węgla kamiennego. Breton, silnie zainteresowany ideami socjalistycznymi, nie przedstawiał jednak przestrzeni zmienionych przez przemysł. Wybierał otwarte tereny, interesując się specjalnością swojego regionu – rolnictwem.

W 1848, w dobie rewolucji lutowej, zmarł ojciec artysty, co pogrążyło rodzinę finansowo. Breton zwrócił się ku tematom obrazującym biedę i ubóstwo. Od 1853 do końca kariery regularnie wystawiał na paryskich salonach. W połowie XIX wieku podważał standardową hierarchię tematów opartą o prymat scen historycznych, proponując nowoczesne, naturalistyczne malarstwo o tematyce wiejskiej jako twórczość „salonową”. Stworzył swoje pierwsze szeroko komentowane dzieło o tej tematyce, zaprezentowane publicznie rok później, „Pokłośnice” (1854, National Gallery of Ireland, Dublin). Breton powrócił do Courrières, które stało się jego miejscem tworzenia przez następne pięć lat.