Prisma 2: El model per a assistents de veu que entén català
Joan Paneque
Enginyer de software | Fundador de Prisma Engine
Fa uns mesos, quan vam començar a treballar de debò en un agent de veu per a empreses d'aquí, ens vam topar sempre amb el mateix problema: els sistemes que hi ha al mercat estan pensats per a l'anglès, per a mercats grans, i es desfan en quant un client parla en català. I la cosa empitjora moltíssim més quan aquesta mateixa persona va canviant del castellà al català a mig frase.
I això passa tot el rato.
Portem mesos construint Prisma 2, el nostre nou sistema de trucades. Avui volem explicar-te com és per dins. No amb eslògans ni amb un vídeo bonic, sinó amb un parell d'històries concretes del que ens ha costat que funcioni.
Què és Prisma 2?
És un agent de veu que agafa el telèfon per tu. Atén la trucada, entén el que diu la persona de l'altra banda, respon amb naturalitat, i només passa la trucada a un humà quan cal. Pensat per a empreses d'aquí: bilingües, amb clients reals, no per a una demo en una conferència.
Fins aquí podria sonar com qualsevol altra cosa que veus aquests dies. Em jugo el que vulguis que ja has vist tres anuncis semblants aquesta setmana. Et explico què hi ha a sota.
El lío del català i el castellà
Aquest és el cor de Prisma 2. I el motiu pel qual els models pensats per a mercats grans s'estrellen en quant els portes aquí.
Un client català no parla «en català» o «en castellà». Salta d'un a l'altre dins la mateixa frase, sense avisar i sense adonar-se'n. És un fenomen que té nom, canvi de codi, i està molt estudiat en lingüística. El problema és que gairebé cap sistema de veu comercial està preparat per a ell. I els sistemes que transcriuen veu a text, que és la primera peça de qualsevol agent de veu, tenen una trampa molt llesta: un sistema afinat per al català et transcriu català perfecte encara que li estiguis parlant en castellà.
No s'equivoca de paraula. S'equivoca d'idioma. I amb una seguretat total, a més 😅
És el pitjor tipus d'error que existeix, perquè sembla correcte. Si la transcripció diu alguna cosa coherent, tot el que ve després (la resposta, el to, les accions) assumeix que està bé. I de cop el teu agent li contesta en català a algú que està parlant en castellà, sense que ningú hagi notat on es va trencar la cadena.
El que vam aprendre, després d'escoltar moltes trucades reals (que és l'única forma d'aprendre aquestes coses, per cert), és que cap sistema per si sol arregla això. Cal creuar diverses senyals en temps real i arbitrar entre elles per decidir, en cada moment, en quin idioma està parlant la persona de debò.
No t'explicaré quantes senyals fem servir ni amb quines regles les combinem; això és feina de mesos i és el que fa que Prisma 2 sigui Prisma 2. Però el principi sí que t'el explico: en un mercat bilingüe, l'idioma no és una dada que reps. És un problema que resols.
L'àudio fantasma
Quan tu parles, l'agent s'ha de callar. Ja. Sembla obvi, oi? Doncs no ho és gens.
T'explico per què. Quan li envies al sistema l'ordre de callar, l'àudio que ja anava de camí al telèfon segueix sonant uns segons més. Vam tenir el que internament anomenàvem àudio fantasma: l'agent «interromput» seguia parlant perquè hi havia trossos en vol que l'ordre no arribava a aturar.
La sensació a l'altra banda és horrible. Tu estàs intentant dir alguna cosa, l'agent segueix a la seva, i penges pensant que és un robot mal fet. Que és exactament el que és, si no ho arregles.
Ho vam solucionar canviant com enviem l'àudio al telèfon: en trossos molt petits en lloc de blocs grans. Així, quan arriba l'ordre d'aturar, el que queda en vol és minúscul i es talla gairebé a l'instant en lloc de seguir durant segons.
És un d'aquests detalls que en una demo ningú nota. En una trucada real, marca la diferència entre alguna cosa que sembla humana i alguna cosa que sembla una contestadora trencada.
Per què t'ho expliquem així
Sé que és estrany publicar un article de producte explicant-te els bugs que hem tingut. El normal seria un vídeo bonic, una mètrica gran al centre i un botó de «demana una demo».
Però la diferència entre un sistema que funciona i un que només ho sembla està just en aquests detalls que ningú ensenya. I si ens vas a confiar les trucades del teu negoci, ens sembla que t'ho mereixes saber.