Pular para o conteúdo

Modelos Whisper large v2 e v3 da OpenAI também alucinam

Publicado em

Publicado originalmente no Twitter em 11 de novembro de 2023

Temas: Inteligência artificial, Processamento de linguagem natural

Além dos modelos de #IA estilo "chat", os que transcrevem áudio também podem alucinar! Depois de muitos testes (estou trabalhando em vários projetos com transcrição) verifiquei que os modelos Whisper large v2 e v3 da OpenAI podem gerar textos que não estão presentes no áudio.

No large-v3 a situação parece ser pior, principalmente para línguas diferentes do Português.

Nos testes que fiz, mesmo em áudios com nenhuma fala (e mais especificamente nenhum som) o modelo gera trechos com o texto "Legenda Adriana Zanotto" (que nunca foi falado nos áudios).

O problema provavelmente se deve à utilização de legendas "sujas" no dataset de treinamento, como diversas legendas disponíveis na Internet em que os criadores colocam seus nomes (como créditos) no final dos filmes, em trechos em que não existe áudio.

Fiz um notebook no Google Colab para reproduzir o problema: https://colab.research.google.com/drive/1192YmDpjdB7ODkGxVg5inqaLSjzBuj6b?usp=sharing