神經網路在訓練時，權重何時做更新?

神經網路在訓練時，權重是什麼時候做更新的(經過多少學習數量)?

- 每一筆資料?
- 每batch_size筆資料?
- 每一epoch資料?

經過不同學習數量做更新會造成什麼差異/優劣?