Què és un chatbot supervisat i per què és diferent?

Chatbots d'IA: una eina poderosa sense manual d'instruccions

La intel·ligència artificial conversacional ha explotat en popularitat. Milions de persones parlen cada dia amb ChatGPT, Claude, Gemini, Character.AI i desenes d'altres plataformes. I entre aquests milions d'usuaris, hi ha una proporció creixent d'adolescents. El 64 % dels adolescents de 13 a 17 anys als EUA diu que ha fet servir alguna vegada un chatbot d'IA (Pew Research Center, 2025); un 12 % els ha fet servir per buscar suport emocional o consell (Pew Research Center, 2026), i al voltant de 3 de cada 10 els fan servir cada dia (Pew Research Center, 2025).

El problema? Cap d'aquests chatbots va ser dissenyat pensant en els adolescents. Són eines creades per a adults, sense mecanismes de protecció adequats per a menors. I les conseqüències d'aquesta mancança ja són visibles.

Per què els chatbots convencionals no són adequats per a menors

No filtren per edat

Quan un adolescent de 13 anys escriu a ChatGPT, fa servir una eina dissenyada per a adults. Des del 2026 s'hi apliquen proteccions per a adolescents quan el sistema estima que l'usuari és menor d'edat o quan el compte està vinculat al d'un pare o mare, però aquesta adaptació és una capa afegida, no el disseny de base. El 53 % de 1.200 respostes de ChatGPT a peticions sobre autolesions, trastorns alimentaris i drogues, escrites com si fossin d'adolescents de 13 anys, va resultar perjudicial (CCDH, 2025 — Fake Friend report).

No detecten emergències

Si un menor expressa pensaments suïcides, autolesions o situacions d'abús, un chatbot convencional:

• No reconeix la gravetat de manera fiable.
• No sempre alerta un adult de referència: ChatGPT, per exemple, només avisa els pares si el compte de l'adolescent està vinculat al seu, davant de senyals d'angoixa aguda i després d'una revisió humana.
• No redirigeix a recursos d'ajuda de manera consistent.
• Pot fins i tot continuar la conversa com si res no passés.

En una investigació de CNN i el CCDH amb perfils d'adolescents, 8 dels 10 chatbots més utilitzats van ajudar a planificar atacs violents (CNN–CCDH, 2026). A més, famílies dels EUA han demandat empreses de chatbots al·legant que van contribuir al suïcidi dels seus fills, i ho van exposar davant del Senat el 2025 (AP); Character.AI i Google van arribar a acords en diverses d'aquestes demandes el gener de 2026 (Google–Character.AI settlement CNN).

Generen dependència emocional

Character.AI, per exemple, permetia als adolescents mantenir converses obertes amb "personatges" amb els quals establien relacions emocionals intenses, fins que a finals de novembre de 2025 va retirar aquest xat obert als menors de 18 anys. Un 13 % dels joves de 12 a 21 anys als EUA —uns 5,4 milions— ha demanat consell a una IA generativa quan se sentia trist, enfadat o nerviós (JAMA Network Open, 2025). Sense cap mecanisme de control, aquests vincles poden substituir relacions humanes reals i crear dinàmiques de dependència profundament preocupants.

No respecten la privadesa dels menors

Les converses amb chatbots comercials normalment s'emmagatzemen, s'analitzen i s'utilitzen per entrenar models futurs. Les confessions íntimes d'un adolescent poden acabar formant part d'un dataset d'entrenament sense que ni ell ni els seus pares ho sàpiguen.

Una nova categoria: el company conversacional supervisat

Davant d'aquesta realitat, ha sorgit una nova categoria de producte: el company conversacional supervisat (supervised AI companion). No és un chatbot qualsevol amb un filtre afegit al damunt. És un producte concebut des de zero amb la seguretat dels menors com a pilar fonamental. Per entendre el marc legal que ho sustenta, llegeix IA i menors: què diu la llei a Europa.

Què defineix un company conversacional supervisat?

Un company conversacional supervisat es diferencia d'un chatbot convencional en tres capes fonamentals:

1. Capa de seguretat activa

No es tracta de posar un filtre de paraules prohibides. Un sistema de seguretat real per a menors ha d'incloure:

• Detecció d'intencions en temps real: analitzar no només les paraules, sinó el context i el patró de la conversa.
• Pipeline de seguretat multicapa: diversos nivells de verificació abans de generar cada resposta.
• Bloqueig proactiu: el sistema ha de ser capaç de frenar una conversa perillosa abans que escali.
• Alertes immediates davant del risc greu: quan es detecta una situació de risc greu, els tutors reben l'avís immediatament per correu i, si la tenen activada, per notificació push.

2. Capa de supervisió familiar

La família és part del sistema, no una espectadora:

• Nivells de supervisió configurables: els pares escullen el grau de visibilitat que volen tenir.
• Informes i resums: accés a panells de control amb informació sobre l'ús, les temàtiques i els possibles riscos.
• Alertes graduades: des de notificacions informatives fins a alertes de crisi immediates.
• Transparència total: l'adolescent sap en tot moment quin nivell de supervisió s'aplica.

3. Capa d'ètica i límits

Un company supervisat sap què no ha de fer:

• No dóna consells mèdics ni psicològics.
• No fa diagnòstics.
• No avalua l'estat emocional del menor.
• Detecta, alerta i redirigeix: aquesta és la seva funció quan es detecten temes sensibles.

HolaNolis: un company supervisat en acció

HolaNolis és un producte dissenyat des de zero com a company conversacional supervisat. Això és el que el fa diferent:

Pipeline de seguretat de 4 capes

Cada missatge que envia o rep l'adolescent passa per un pipeline de seguretat de 4 capes que analitza el contingut des de múltiples angles abans de permetre la interacció. Això inclou:

• Detecció de contingut perillós o inadequat.
• Anàlisi de patrons conversacionals de risc.
• Filtratge de cada resposta abans que arribi al menor.
• Generació de respostes segures i apropiades per a l'edat.

Tres nivells de supervisió

HolaNolis ofereix tres nivells de supervisió que s'adapten a l'edat i les necessitats de cada família. Consulta la guia detallada sobre supervisió Light, Medium i Full per triar la millor opció:

• Light: ideal per a adolescents grans (16-20). El tutor rep alertes de crisi, però no veu el contingut de les converses.
• Medium: per a adolescents de 13-16 anys. El tutor veu resums temàtics (amb Premium o durant els 14 dies de prova) i rep alertes de risc i de crisi.
• Full: per als més joves (10-13 anys). El tutor té accés complet a les converses (amb Premium o durant els 14 dies de prova) i rep totes les alertes.

Nolis: el company intel·ligent

Nolis, l'assistent d'IA d'HolaNolis, ha estat dissenyat amb uns principis molt clars. Llegeix per qué Nolis no dóna consells mèdics ni psicològics per entendre l'arquitectura de seguretat al detall.

El que Nolis fa:

• Conversa amb l'adolescent de manera natural i empàtica.
• Adapta el to i el contingut a l'edat.
• Detecta senyals de risc emocional o de seguretat.
• Redirigeix cap a recursos professionals quan cal.
• Alerta els tutors si detecta una situació de crisi.
• Respecta els límits temàtics configurats per la família.

El que Nolis NO fa:

• No dóna consells mèdics ni psicològics.
• No diagnostica problemes de salut mental.
• No avalua l'estat emocional del menor.
• No substitueix professionals de la salut.
• No comparteix dades amb tercers per a fins comercials.
• No permet que l'adolescent desactivi la supervisió pel seu compte (i està dissenyat per resistir intents d'esquivar les mesures de seguretat).

Comparativa: chatbot convencional vs. company supervisat

Aquesta comparativa l'ha feta l'equip d'HolaNolis.

Per què és important aquesta distinció

La diferència entre un chatbot convencional i un company supervisat no és cosmètica. És la diferència entre:

• Un adolescent que parla amb una IA sense cap xarxa de seguretat, sol i sense protecció.
• Un adolescent que conversa amb una IA en un entorn on la seva família pot intervenir si cal, on els riscos es detecten en temps real i on la seva privadesa es respecta dins dels límits de la seguretat.

En un món on un 13 % dels joves de 12 a 21 anys als EUA —uns 5,4 milions— ha demanat consell a una IA generativa quan se sentia trist, enfadat o nerviós (JAMA Network Open, 2025), i on famílies dels EUA han demandat empreses de chatbots al·legant que van contribuir al suïcidi dels seus fills (Associated Press, 2025), la diferència entre supervisat i no supervisat pot ser, literalment, una qüestió de vida o mort. Aprèn a reconèixer les senyals que el teu fill necessita suport emocional.

El futur de la IA per a menors

La regulació europea (EU AI Act) ja comença a exigir mesures de protecció per als sistemes d'IA que interactuen amb menors. Però la legislació sempre va per darrere de la tecnologia. Les famílies no poden esperar que arribi la regulació perfecta per actuar.

La categoria de company conversacional supervisat no és una moda passatgera. És la resposta lògica a una necessitat urgent: els adolescents faran servir IA, vulguem o no. La pregunta no és si ho faran, sinó si ho faran en un entorn segur o en un de perillós.

Preguntes freqüents

Descobreix com HolaNolis protegeix els adolescents mentre interactuen amb IA. Coneix el nostre producte o prova'l gratuïtament.