Modelos Whisper large v2 e v3 da OpenAI também alucinam
Publicado em
Publicado originalmente no Twitter em 11 de novembro de 2023
Temas: Inteligência artificial, Processamento de linguagem natural
Além dos modelos de #IA estilo "chat", os que transcrevem áudio também podem alucinar! Depois de muitos testes (estou trabalhando em vários projetos com transcrição) verifiquei que os modelos Whisper large v2 e v3 da OpenAI podem gerar textos que não estão presentes no áudio.
No large-v3 a situação parece ser pior, principalmente para línguas diferentes do Português.
Nos testes que fiz, mesmo em áudios com nenhuma fala (e mais especificamente nenhum som) o modelo gera trechos com o texto "Legenda Adriana Zanotto" (que nunca foi falado nos áudios).
O problema provavelmente se deve à utilização de legendas "sujas" no dataset de treinamento, como diversas legendas disponíveis na Internet em que os criadores colocam seus nomes (como créditos) no final dos filmes, em trechos em que não existe áudio.
Fiz um notebook no Google Colab para reproduzir o problema: https://colab.research.google.com/drive/1192YmDpjdB7ODkGxVg5inqaLSjzBuj6b?usp=sharing