Как работает оптимизатор Adam в глубоком обучении?

По шагам рассматривается принцип работы оптимизатора Adam в нейронных сетях. Используется фреймворк PyTorch, но TensorFlow и Keras используют похож...