{"id":6162,"date":"2019-05-07T09:39:39","date_gmt":"2019-05-07T12:39:39","guid":{"rendered":"https:\/\/www.blip.ai\/blog\/?p=6162"},"modified":"2023-12-12T11:03:01","modified_gmt":"2023-12-12T14:03:01","slug":"metricas-de-ux-para-chatbots-e-o-convex-mindset","status":"publish","type":"post","link":"https:\/\/www.blip.ai\/blog\/design\/metricas-de-ux-para-chatbots-e-o-convex-mindset\/","title":{"rendered":"M\u00e9tricas de UX para chatbots e o Convex Mindset"},"content":{"rendered":"

Se voc\u00ea trabalha com bots e gasta um bom tempo ou tem dificuldade para descobrir\u00a0o que precisa melhorar<\/strong>, quais s\u00e3o as\u00a0novas oportunidades<\/strong>\u00a0e qual \u00e9 a\u00a0prioridade da evolu\u00e7\u00e3o<\/strong>\u2026 quero te contar algumas coisas sobre m\u00e9tricas de UX para chatbots.<\/em><\/p>\n

Ainda hoje n\u00e3o conseguimos melhorar a experi\u00eancia conversacional sem esfor\u00e7o humano. Apesar de ser uma atividade operacional e relativamente cara,\u00a0o trabalho de an\u00e1lise da intera\u00e7\u00e3o continua sendo um dos mais valiosos para a otimiza\u00e7\u00e3o dos servi\u00e7os prestados por chatbots<\/strong>. N\u00e3o \u00e9 \u00e0 toa que a startup Appen, que cresceu 2900% desde seu IPO em 2015, tem\u00a0mais de 1 milh\u00e3o de freelancers validando resultados de buscas<\/a>\u00a0para otimizar algoritmos de Machine Learning de empresas como Google e Microsoft.<\/p>\n

\"m\u00e9tricas
Valor das a\u00e7\u00f5es da Appen, em D\u00f3lares Australianos \u2014 28\/Ago\/2018. Fonte: Slator<\/a><\/figcaption><\/figure>\n

A quest\u00e3o \u00e9: sabendo da import\u00e2ncia da an\u00e1lise de intera\u00e7\u00e3o, mas entendendo que \u00e9 invi\u00e1vel analisar qualitativamente milhares de mensagens trocadas semanal ou diariamente, \u00e9 preciso ter clareza de qual \u00e9 a prioridade para direcionar os esfor\u00e7os.<\/p>\n

O desafio \u00e9 responder as perguntas certas<\/h2>\n
    \n
  1. Quais s\u00e3o os pontos cr\u00edticos da experi\u00eancia?<\/li>\n
  2. Qual \u00e9 a taxa de sucesso das conversas?<\/li>\n
  3. Em que momento as pessoas param de conversar com seu chatbot?<\/li>\n
  4. O que as pessoas est\u00e3o falando que sua solu\u00e7\u00e3o n\u00e3o entende?<\/li>\n<\/ol>\n

    Perguntas como estas nos ajudam a priorizar. O qu\u00e3o mais r\u00e1pido e f\u00e1cil for chegar \u00e0s respostas, mais eficientes ser\u00e3o os esfor\u00e7os para melhorar a experi\u00eancia.<\/p>\n

    E o problema \u00e9 a dificuldade de chegar nessas respostas<\/h2>\n

    Com o crescimento dos chatbots, come\u00e7aram a surgir v\u00e1rias ferramentas de\u00a0analytics<\/em>\u00a0voltadas para o mercado, como\u00a0BotAnalytics<\/a>,\u00a0Dashbot<\/a>\u00a0e\u00a0Chatbase<\/a>.<\/p>\n

    Trabalho com chatbots desde 2016 e conhe\u00e7o de perto essas ferramentas. Para um chatbot em est\u00e1gio inicial e n\u00e3o muito complexo, o Chatbase<\/strong><\/em> atende bem \u2014 at\u00e9 certo ponto. Assim, vou us\u00e1-lo como refer\u00eancia para explicar melhor aonde estamos hoje e onde podemos chegar.<\/p>\n

    Da \u00e1rvore de decis\u00e3o ao Convex\u00a0Mindset<\/h2>\n

    Come\u00e7ando pela arquitetura da informa\u00e7\u00e3o, a forma mais trivial de projetar e analisar um chatbot \u00e9 a partir de uma \u00e1rvore de decis\u00e3o.<\/p>\n

    \"m\u00e9tricas
    \u00c1rvore de decis\u00e3o: A forma mais simples de construir e analisar uma conversa.<\/figcaption><\/figure>\n

    \u00c9 bem simples: para cada mensagem (ou conjunto de mensagens) enviada pelo bot, avalia-se o conte\u00fado da resposta dada pela pessoa que est\u00e1 interagindo para decidir qual \u00e9 a pr\u00f3xima mensagem a ser enviada pelo bot.<\/p>\n

    Se a mensagem da pessoa foi interpretada, a conversa flui para o pr\u00f3ximo passo da \u00e1rvore de navega\u00e7\u00e3o. Caso contr\u00e1rio, geralmente temos algum desses tipos de\u00a0fallback:<\/em><\/p>\n

      \n
    1. Um atendente humano toma a conversa (aumentando o custo do canal); ou<\/li>\n
    2. Enviamos uma mensagem para alinhar com a pessoa que o chatbot n\u00e3o conseguiu entend\u00ea-la (diminuindo percep\u00e7\u00e3o de efici\u00eancia do canal).<\/li>\n<\/ol>\n

      \u00c9 t\u00e3o \u00f3bvio que pode passar despercebido: n\u00e3o entender as mensagens recebidas \u00e9 sempre um problema.<\/p><\/blockquote>\n

      J\u00e1 que conseguir interpretar as mensagens \u00e9 um desafio relevante para qualquer chatbot, como as ferramentas de analytics podem nos ajudar nisso? O Chatbase vai nos servir de exemplo.<\/p>\n

      \"m\u00e9tricas
      Modelo mental do Chatbase<\/figcaption><\/figure>\n

      O\u00a0Chatbase\u00a0nos trouxe algumas novidades. A primeira delas foi facilitar a percep\u00e7\u00e3o do abandono de conversas. A\u00a0sess\u00e3o<\/strong>\u00a0\u00e9 automaticamente calculada com base no hor\u00e1rio das mensagens enviadas e recebidas. Com isso, conseguimos visualizar em gr\u00e1ficos como o\u00a0Session Flow<\/em><\/strong>\u00a0em que momentos da conversa as pessoas pararam de interagir.<\/p>\n

      \"m\u00e9tricas
      Exemplo do grafico Session Flow, do Chatbase.<\/figcaption><\/figure>\n

      A segunda novidade (em analytics para bots) \u00e9 a forma de visualizar as mensagens enviadas pelas pessoas, a partir de uma classifica\u00e7\u00e3o pr\u00e9via. Caso a mensagem seja interpretada, podemos associ\u00e1-la \u00e0 uma\u00a0inten\u00e7\u00e3o<\/strong>. Se nenhuma inten\u00e7\u00e3o for identificada, classificamos a mensagem como\u00a0Not Handled<\/em><\/strong>\u00a0(n\u00e3o tratada). Dessa forma o gr\u00e1fico\u00a0Session Flow<\/em><\/strong>\u00a0consegue:<\/p>\n