How much GPU memory does Whipser large-v3 fine-tuning require?

[toanhuynhnguyen]

Hi everyone,
I follow this document: https://huggingface.co/blog/fine-tune-whisper
How much GPU memory does Whipser large-v3 fine-tuning require?
Thank you.

[phineas-pta]

at least 24gb

[phineas-pta]

bác fine tune cả 2 cùng lúc hay sao, nếu fine tune lần lượt thì whisper gần như bị phế, lúc fine tune xong bác có check lại WER hay ko

[toanhuynhnguyen]

Mình chỉ fine-tune 1 ngôn ngữ rồi mình dùng model sau khi đã fine-tune chạy luôn chứ ko fine-tune 2 ngôn ngữ cùng lúc.
Ví dụ: từ original large-v3 model mình fine-tune cho tiếng Malay, sau đó dùng model fine-tune này để chạy inference cho audio tiếng Malay luôn nhưng nó tự động translate sang tiếng Anh, mặc dù mình đã set task="transcribe" và lang="ms".

Đây là WER của nó:

[phineas-pta]

WER này bác có kiểm lại ko, có bị dịch tiếng anh ko

[toanhuynhnguyen]

À để mình check lại nhé, cảm ơn bạn rất nhiều.

[toanhuynhnguyen]

Mình vừa test lại như bạn nói, kết quả khá kỳ lạ.
Nếu mình set task="transcribe" thì nó auto-translate sang tiếng Anh, còn khi set task="translate" thì nó lại transcribe như bình thường ko auto-translate. Không hiểu nổi :(