Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Das risas enlatadas ás risas sintéticas: explor...

Avatar for Laura M Castro Laura M Castro
May 08, 2024
2

Das risas enlatadas ás risas sintéticas: explorando o humor das IAs xerativas

Neste traballo, exploramos as posibilidades dalgúns dos grandes modelos de linguaxe (LLMs) máis avanzados do momento en relación á xeración de textos humorísticos, nomeadamente chistes (brincadeiras, piadas). En concreto, empregamos modelos de código aberto de Google (Gemma), Meta (Llama) e MistralAI (Mixtral). Solicitamos este tipo de contido de diferentes maneiras (usando varias estratexias de prompting, como zero-shot ou few-shot) de xeito neutro, con mulleres e homes como temática e público obxectivo, e tamén expresamente feministas, ası́ como en varias linguas (inglés, castelán, galego-portugués).

Na análise das respostas obtidas, rexistramos un amplo rango de comportamentos, desde o rexeitamento da tarefa, até diferentes niveis de axuste ás instrucións da mesma, e comparamos cada modelo consigo mesmo e co resto de modelos.

Avatar for Laura M Castro

Laura M Castro

May 08, 2024
Tweet

More Decks by Laura M Castro

Transcript

  1. Non lle escapa a ninguén que vivimos nun momento no

    que a IA está por todas partes Pero que é realmente a “IA”?
  2. IA Conexionista Interese: o cerebro Hipótese: a intelixencia xorde da

    aprendizaxe Estado: en auxe polas melloras tecnolóxicas das últimas décadas Fortaleza: “simplicidade” Debilidade: falta de explicabilidade, consumo de recursos IA Simbólica Interese: a mente Hipótese: a intelixencia é unha estratexia de procura de solucións Estado: dominante nas primeiras décadas, hoxe eclipsada Fortaleza: explicabilidade, non precisa adestramento Debilidade: complexidade
  3. IA Conexionista IA Simbólica Interese: o cerebro Hipótese: a intelixencia

    xorde da aprendizaxe Estado: en auxe polas melloras tecnolóxicas das últimas décadas Fortaleza: “simplicidade” Debilidade: falta de explicabilidade, consumo de recursos Interese: a mente Hipótese: a intelixencia é unha estratexia de procura de solucións Estado: dominante nas primeiras décadas, hoxe eclipsada Fortaleza: explicabilidade, non precisa adestramento Debilidade: complexidade IAS XERATIVAS
  4. IA Conexionista IA Simbólica Interese: o cerebro Hipótese: a intelixencia

    xorde da aprendizaxe Estado: en auxe polas melloras tecnolóxicas das últimas décadas Fortaleza: “simplicidade” Debilidade: falta de explicabilidade, consumo de recursos Interese: a mente Hipótese: a intelixencia é unha estratexia de procura de solucións Estado: dominante nas primeiras décadas, hoxe eclipsada Fortaleza: explicabilidade, non precisa adestramento Debilidade: complexidade CHATGPT & FRIENDS
  5. Selección de IAs (modelos LLM) Selección de prompts Selección de

    técnicas Conversación Análisis del discurso Conclusiones
  6. 01 02 03 04 Sesión por técnica + idioma EN_US

    ES_ES PT_GL Zero-shot N-shot (n=3, 5) Tell me a (clever, hilarious) joke Tell me a joke about men/women Tell me a joke for men/women Tell me a feminist joke ...
  7. Para sorpresa de cero persoas, a IA non é moi

    graciosa, é pouco orixinal, ten barreiras/disclaimers expresamente colocadas, non xestiona os idiomas Serán capaces os modelos “propios de cada idioma” de superar o estado da arte? Veremos unha IA con retranca?