W 1986 roku David Rumelhart, Geoffrey Hinton i Ronald Williams opublikowali w „Nature” pracę pokazującą, jak skutecznie trenować sieci neuronowe z wieloma warstwami metodą propagacji wstecznej (backpropagation): błąd odpowiedzi „cofa się” przez sieć i podpowiada, jak poprawić każdą wagę.
Metoda miała wcześniejsze korzenie, ale ta publikacja przywróciła zainteresowanie sieciami neuronowymi. Do pełnego sukcesu brakowało jeszcze dwóch rzeczy: dużych danych i mocy obliczeniowej. Doczekały się ich ponad 20 lat później.