quelqu'un a fait fonctionner un modèle de parole sur une Apple Watch.

ce n'est pas une démo pour enfant. granite 4.0 1B de parole vient de se classer PREMIER sur le leaderboard OpenASR.
voici ce qui est incroyable :
• 1B de paramètres - la moitié de la taille de granite 3.3 2B
• une précision de transcription en anglais supérieure au modèle plus grand
• décodage spéculatif pour une inférence plus rapide sur du matériel minuscule
• 6 langues - anglais, français, allemand, espagnol, portugais, japonais
• biais dans la liste de mots-clés pour qu'il reconnaisse vraiment les noms et acronymes
la partie dont personne ne parle :
vous payez pour des appels API whisper chaque mois alors qu'un modèle deux fois plus petit que son prédécesseur le dépasse sur un appareil fixé à votre poignet.
ce n'est pas une optimisation mineure. c'est toute la structure de coûts des applications de parole en edge qui s'effondre.
modèle plus petit. meilleure précision. ZÉRO dépendance au cloud.