W 1952 uzyskał dyplom PWSSP w Sopocie, gdzie studiował malarstwo m.in. w pracowni prof. Artura Nachta-Samborskiego.
W latach 1964-1987 jako pedagog związany z PWSSP w Gdańsku. Od 2002 ZPAP w Gdańsku przyznaje Nagrodę im. Kazimierza Ostrowskiego za wybitne osiągnięcia w dziedzinie malarstwa.
W latach 1949-1950, dzięki stypendium rządu francuskiego, artysta przebywał w Paryżu, gdzie studiował w pracowni Fernanda Légera. Spotkanie to pozostawiło ślad na artystycznej osobowości Ostrowskiego. Jego "czyste" malarstwo jak i realizacje o charakterze zdobniczym (tkaniny, malarstwo ścienne, witraże), cechuje niezwykła dekoracyjność, żywość barw i - typowa dla Légera - geometryzacja. Tytuły cykli prac wskazują na motywy przedstawień: wątki marynistyczne ("Porty", "Stocznie"), praca ("Spawacze", "Hutnicy"), przemysł, pejzaż.

Prezentowane małoformatowe, monochromatyczne kompozycje, o wyraźnie pejzażowych reminiscencjach, odznaczają się logiką konstrukcji przy jednoczesnej lekkości, "ażurowości". Projekt barwny wyróżnia się wewnętrzną dynamiką i soczystością kolorów.