Tacotron2 train speed is so slow.

[jasuriy]

Hi everyone . HELP ME PLEASE !!
I am training tacotron2 with my custom dataset with RTX4090 GPU and dataset size is 15 hours long. but training speed is so slow. it takes 17 seconds for one step.

my audio input stat:

Input File : 'datasets/kss_spk014/kss/SPK014KBSCU001F001.wav'
Channels : 1
Sample Rate : 22050
Precision : 16-bit
Duration : 00:00:05.63 = 124130 samples ~ 422.211 CDDA sectors
File Size : 248k
Bit Rate : 353k
Sample Encoding: 16-bit Signed Integer PCM

custom db stat:

================================================================================
STATISTICS

Total files: 4940
Total duration: 12.75 hours (764.9 minutes)
Min duration: 0.66 seconds (0.01 minutes)
Max duration: 34.42 seconds (0.57 minutes)
Mean duration: 9.29 seconds (0.15 minutes)
Median duration: 8.97 seconds (0.15 minutes)
95th percentile: 16.08 seconds (0.27 minutes)
99th percentile: 19.11 seconds (0.32 minutes)

Files > 60 seconds: 0 (0.0%)
Files > 30 seconds: 1 (0.0%)
Files > 20 seconds: 35 (0.7%)
Files > 10 seconds: 1993 (40.3%)

================================================================================
SAMPLE: Shortest 10 files

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 560.28.03 Driver Version: 560.28.03 CUDA Version: 12.6 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GeForce RTX 4090 Off | 00000000:1C:00.0 Off | Off |
| 31% 57C P2 99W / 450W | 22084MiB / 24564MiB | 17% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| 0 N/A N/A 287273 C python 17952MiB |
+-----------------------------------------------------------------------------------------+

train stat:

[train]:
2%|█▎ | 4953/200000 [4:52:35<634:51:16, 11.72[train]:
2%|█▎ | 4954/200000 [4:52:47<636:57:31, 11.76[train]:
2%|█▎ | 4955/200000 [4:52:58<637:23:32, 11.76

My dataset sample transcript:

SPK014KBSCU001F001.wav|지난해 극장을 찾은 연간 관객 수가 역대 최다치를 기록했습니다.|지난해 극장을 찾은 연간 관객 수가 역대 최다치를 기록했습니다.
SPK014KBSCU001F002.wav|전년보다 수치가 감소했을 거라는 추측이 많았는데 한국 영화들의 뒷심이 뜻밖의 결과로 이어졌습니다.|전년보다 수치가 감소했을 거라는 추측이 많았는데 한국 영화들의 뒷심이 뜻밖의 결과로 이어졌습니다.
SPK014KBSCU001F003.wav|영화진흥위원회 자료에 따르면 (2017)/(이천 십 칠) 년 극장가 누적 관객 수는 (2)/(이) 억 (1987)/(천 구백 팔십 칠) 만 명으로 집계됐습니다.|영화진흥위원회 자료에 따르면 이천 십 칠 년 극장가 누적 관객 수는 이 억 천 구백 팔십 칠 만 명으로 집계됐습니다.
SPK014KBSCU001F004.wav|당초 업계에선 이른바 천만 영화가 택시운전사 한 편에 그치는 등 부진한 한해였다고 평가했지만 연간 관객 수는 (2016)/(이천 십 육) 년보다 (284)/(이백 팔십 사) 만 명이 증가한 것으로 나타났습니다.|당초 업계에선 이른바 천만 영화가 택시운전사 한 편에 그치는 등 부진한 한해였다고 평가했지만 연간 관객 수는 이천 십 육 년보다 이백 팔십 사 만 명이 증가한 것으로 나타났습니다.
SPK014KBSCU001F005.wav|이는, 지난 (12)/(십 이) 월 (14)/(십 사) 일 개봉한 정우성 주연의 강철비를 시작으로 신과 함께 죄와벌 (1987)/(일 구 팔 칠) 등 한국 영화 여러 편이 일제히 흥행에 성공하며 막판 반등을 이뤄낸 덕분인데요,|이는, 지난 십 이 월 십 사 일 개봉한 정우성 주연의 강철비를 시작으로 신과 함께 죄와벌 일 구 팔 칠 등 한국 영화 여러 편이 일제히 흥행에 성공하며 막판 반등을 이뤄낸 덕분인데요,