SGPINF-961: fix: add litellm retry with exponential backoff for rate limit errors #863
| Job | Run time |
|---|---|
| 4s | |
| 2m 4s | |
| 2m 12s | |
| 3m 1s | |
| 3m 6s | |
| 2m 25s | |
| 4m 19s | |
| 2m 21s | |
| 2m 25s | |
| 6m 54s | |
| 2m 21s | |
| 2m 32s | |
| 2m 16s | |
| 2m 13s | |
| 2m 9s | |
| 2m 33s | |
| 2m 30s | |
| 3m 23s | |
| 2m 33s | |
| 7s | |
| 51m 28s |
| Job | Run time |
|---|---|
| 4s | |
| 2m 4s | |
| 2m 12s | |
| 3m 1s | |
| 3m 6s | |
| 2m 25s | |
| 4m 19s | |
| 2m 21s | |
| 2m 25s | |
| 6m 54s | |
| 2m 21s | |
| 2m 32s | |
| 2m 16s | |
| 2m 13s | |
| 2m 9s | |
| 2m 33s | |
| 2m 30s | |
| 3m 23s | |
| 2m 33s | |
| 7s | |
| 51m 28s |