Hm, das klingt aber einfach nach einem zu hohen Verstärkungsfaktor des OPs. Oder hast du nur einen LM317 mit 2 Widerständen genommen? Dann schaltet er zu grob..
Hier, das könnte was für dich sein.
Da der LM317 relativ warm wird wenn man ihn stark regeln lässt (Uin=12;Uout=4V) würd ich dir...