{"id":10562,"date":"2020-09-16T10:48:14","date_gmt":"2020-09-16T13:48:14","guid":{"rendered":"https:\/\/www.blip.ai\/blog\/?p=10562"},"modified":"2023-07-16T10:19:21","modified_gmt":"2023-07-16T13:19:21","slug":"i-a-no-bot","status":"publish","type":"post","link":"https:\/\/www.blip.ai\/blog\/chatbots\/i-a-no-bot\/","title":{"rendered":"Usei I.A. no bot, e agora?"},"content":{"rendered":"<p><span style=\"font-weight: 400;\">Voc\u00ea identificou um processo na sua empresa que poderia ser atendido por meio de um <\/span><a href=\"https:\/\/www.blip.ai\/blog\/chatbots\/bots-vs-contato-inteligente\/\"><span style=\"font-weight: 400;\">Contato Inteligente<\/span><\/a><span style=\"font-weight: 400;\">. Para isso, projetou e disponibilizou um fluxo conversacional e aplicou uma <\/span><a href=\"https:\/\/www.blip.ai\/blog\/chatbots\/chatbots-com-inteligencia-artificial\/\"><span style=\"font-weight: 400;\">intelig\u00eancia artificial (IA)<\/span><\/a><span style=\"font-weight: 400;\"> que reconhece a inten\u00e7\u00e3o do usu\u00e1rio (NLP). E agora? <strong>Como avaliar os pr\u00f3ximos passos da IA?<\/strong><\/span><\/p>\n<p><span style=\"font-weight: 400;\">Neste post vamos abordar um ciclo de vida simplificado da IA e uma proposta de an\u00e1lise comparativa que pode ser aplicado sem c\u00f3digos. <strong>Vamos l\u00e1?<\/strong><\/span><\/p>\n<h2>Ciclo da IA<\/h2>\n<p><span style=\"font-weight: 400;\">Pesquisando na internet, em livros ou artigos cient\u00edficos, existem muitas formas de explicar o <\/span><a href=\"https:\/\/www.blip.ai\/blog\/tecnologia\/inteligencia-artificial\/\"><span style=\"font-weight: 400;\">ciclo de vida da IA<\/span><\/a><span style=\"font-weight: 400;\">, sendo que boa parte cont\u00e9m os mesmos passos. Por esse motivo, vamos apresentar um fluxo resumido e, para fins did\u00e1ticos, vamos imaginar que <\/span><b>temos uma empresa que vende gelo de v\u00e1rios sabores<\/b><span style=\"font-weight: 400;\">.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Dentre os poss\u00edveis objetivos que poder\u00edamos escolher para o <a href=\"https:\/\/www.blip.ai\/blog\/chatbots\/chatbot\/\"><strong>nosso bot<\/strong><\/a> (engajamento, vendas, atendimento), optamos por atender ao objetivo de \u201c<\/span><b>ter um bot para automatizar o nosso FAQ\u201d <\/b><span style=\"font-weight: 400;\">(um caso de uso de atendimento cl\u00e1ssico)<\/span><b>.<\/b><\/p>\n<p><img fetchpriority=\"high\" decoding=\"async\" class=\"wp-image-10564 aligncenter\" src=\"https:\/\/www.blip.ai\/blog\/wp-content\/uploads\/2020\/09\/Diagrama1-300x228.png\" alt=\"i.a. no chatbot\" width=\"600\" height=\"456\" title=\"-\" srcset=\"https:\/\/www.blip.ai\/blog\/wp-content\/uploads\/2020\/09\/Diagrama1-300x228.png 300w, https:\/\/www.blip.ai\/blog\/wp-content\/uploads\/2020\/09\/Diagrama1-380x289.png 380w, https:\/\/www.blip.ai\/blog\/wp-content\/uploads\/2020\/09\/Diagrama1.png 655w\" sizes=\"(max-width: 600px) 100vw, 600px\" \/><\/p>\n<p><span style=\"font-weight: 400;\">Como j\u00e1 temos o bot funcionando e interagindo, come\u00e7amos a analisar a partir do que vem depois de colocar o bot para interagir com os usu\u00e1rios.&nbsp;<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Tentamos fazer o melhor bot de FAQ poss\u00edvel, a partir do momento que ele passa a interagir com os usu\u00e1rios \u00e9 normal notar que a primeira vers\u00e3o ainda precisa de melhorias. Por esse motivo tamb\u00e9m \u00e9 recomendado que a primeira vers\u00e3o disponibilizada possa ser capaz de reconhecer os erros para serem insumos das melhorias.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Por exemplo, gravar todas as express\u00f5es ou palavras que o bot n\u00e3o entender \u00e9 uma boa fonte indicativa do que mais os usu\u00e1rios precisam e o bot ainda n\u00e3o possui.<\/span> <span style=\"font-weight: 400;\">Veja mais dicas sobre constru\u00e7\u00e3o de chatbots em: <\/span><a href=\"https:\/\/www.blip.ai\/blog\/chatbots\/como-construir-chatbot\"><span style=\"font-weight: 400;\">https:\/\/www.blip.ai\/blog\/chatbots\/como-construir-chatbot<\/span><\/a><\/p>\n<h3>Monitoramento (come\u00e7ando do fim)<\/h3>\n<p><span style=\"font-weight: 400;\">Como nosso bot est\u00e1 interagindo com os usu\u00e1rios, esse \u00e9 o momento que devemos recolher informa\u00e7\u00f5es. A Take disponibiliza o <\/span><a href=\"https:\/\/www.blip.ai\/blog\/chatbots\/hub-de-analytics-do-blip\/\"><span style=\"font-weight: 400;\">hub de ferramentas de analytics<\/span><\/a><span style=\"font-weight: 400;\"> e caso ele n\u00e3o tenha todas as m\u00e9tricas, \u00e9 poss\u00edvel criar m\u00e9tricas personalizadas.&nbsp;<\/span><\/p>\n<p><span style=\"font-weight: 400;\">O portal do BLiP j\u00e1 possui um ferramentas que permitem o monitoramento da IA. Na aba de \u201cIntelig\u00eancia artificial\u201d, \u00e9 disponibilizada v\u00e1rias op\u00e7\u00f5es para a configura\u00e7\u00e3o e aprimoramento. Dentre as op\u00e7\u00f5es, \u00e9 poss\u00edvel monitorar o bot pelas op\u00e7\u00f5es:<\/span><\/p>\n<ul>\n<li style=\"font-weight: 400;\"><b>An\u00e1lise do modelo de IA:<\/b><span style=\"font-weight: 400;\"> onde podemos acompanhar as principais m\u00e9tricas sobre a performance do modelo;<\/span><\/li>\n<li style=\"font-weight: 400;\"><b>Aprimoramento:<\/b><span style=\"font-weight: 400;\"> neste campo \u00e9 poss\u00edvel acompanhar as sugest\u00f5es enviadas pelos provedores baseados na an\u00e1lise do hist\u00f3rico de conversas com os usu\u00e1rios.<\/span><\/li>\n<\/ul>\n<h3>Problema de neg\u00f3cio<\/h3>\n<p><span style=\"font-weight: 400;\">Analisando as express\u00f5es n\u00e3o entendidas do bot, podemos notar que nossos usu\u00e1rios questionam frequentemente sobre <\/span><b>o card\u00e1pio de sabores de gelo<\/b><span style=\"font-weight: 400;\">, mas ainda n\u00e3o existe essa resposta no nosso bot.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Mudar o bot vai envolver um novo planejamento, desenvolvimento da nova solu\u00e7\u00e3o e a substitui\u00e7\u00e3o do atual pelo modificado. Nada disso ir\u00e1 compensar se, por exemplo, ningu\u00e9m perguntou pelo card\u00e1pio. Mas se eu tenho um card\u00e1pio de sabores e ele n\u00e3o est\u00e1 dispon\u00edvel, <\/span><b>qual o percentual de usu\u00e1rios que eu passo a atingir ao acrescentar essa pergunta?<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Situa\u00e7\u00f5es em que \u00e9 preciso alterar o fluxo, seja para acrescentar, remover, ou refazer o caminho, geram um novo problema de neg\u00f3cio pois sa\u00edmos, de <\/span><b>\u201cter um bot para automatizar o nosso FAQ\u201d<\/b><span style=\"font-weight: 400;\">, para <\/span><b>\u201cadicionar no bot o card\u00e1pio de sabores do gelo\u201d<\/b><span style=\"font-weight: 400;\">.<\/span><\/p>\n<h3>Prepara\u00e7\u00e3o dos dados<\/h3>\n<p><span style=\"font-weight: 400;\">Temos o card\u00e1pio da nossa empresa e tamb\u00e9m sabemos como os usu\u00e1rios escrevem ao interagir com nosso bot. Ent\u00e3o vamos preparar nosso fluxo ou nossa IA para atender essa nova expectativa.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Nesse momento vamos selecionar frases que representam as intera\u00e7\u00f5es dos usu\u00e1rios para criarmos uma base de dados que ser\u00e1 usada para comparar o resultado que uma proposta de altera\u00e7\u00e3o da IA tem em rela\u00e7\u00e3o \u00e0 IA atual.<\/span><\/p>\n<h3>Treino e Teste do modelo<\/h3>\n<p><span style=\"font-weight: 400;\">Para substituirmos a I.A. atual por uma nova, devemos <strong>garantir que a qualidade ser\u00e1 t\u00e3o boa quanto a vers\u00e3o atual ou melhor<\/strong>. Uma poss\u00edvel maneira, sem usar c\u00f3digo, <strong>\u00e9 analisar por uma tabela similar a esta<\/strong>:<\/span><\/p>\n<p><img decoding=\"async\" class=\"wp-image-10563 aligncenter\" src=\"https:\/\/www.blip.ai\/blog\/wp-content\/uploads\/2020\/09\/Tabela06-300x125.png\" alt=\"-\" width=\"600\" height=\"251\" title=\"-\" srcset=\"https:\/\/www.blip.ai\/blog\/wp-content\/uploads\/2020\/09\/Tabela06-300x125.png 300w, https:\/\/www.blip.ai\/blog\/wp-content\/uploads\/2020\/09\/Tabela06-768x321.png 768w, https:\/\/www.blip.ai\/blog\/wp-content\/uploads\/2020\/09\/Tabela06-380x159.png 380w, https:\/\/www.blip.ai\/blog\/wp-content\/uploads\/2020\/09\/Tabela06.png 800w\" sizes=\"(max-width: 600px) 100vw, 600px\" \/><\/p>\n<ul>\n<li style=\"font-weight: 400;\"><span style=\"font-weight: 400;\">frases: a base de dados levantada que representa intera\u00e7\u00f5es dos usu\u00e1rios;<\/span><\/li>\n<li style=\"font-weight: 400;\"><span style=\"font-weight: 400;\">intencao_real: a inten\u00e7\u00e3o que desejamos ser reconhecida, dentre as inten\u00e7\u00f5es da IA;<\/span><\/li>\n<li style=\"font-weight: 400;\"><span style=\"font-weight: 400;\">intencao_provedor (atual): a inten\u00e7\u00e3o que a IA atual reconheceu as frases;<\/span><\/li>\n<li style=\"font-weight: 400;\"><span style=\"font-weight: 400;\">intencao_provedor (alterada): a inten\u00e7\u00e3o que a IA que estamos propondo reconheceu frases;<\/span><\/li>\n<li style=\"font-weight: 400;\"><span style=\"font-weight: 400;\">acerto (atual): uma coluna com 1 para quando a inten\u00e7\u00e3o que o intencao_provedor (atual) foi corretamente reconhecida e 0 caso contr\u00e1rio;<\/span><\/li>\n<li style=\"font-weight: 400;\"><span style=\"font-weight: 400;\">acerto (alterada): uma coluna com 1 para quando a inten\u00e7\u00e3o que o intencao_provedor (alterada) foi corretamente reconhecida e 0 caso contr\u00e1rio.<\/span><\/li>\n<\/ul>\n<p><span style=\"font-weight: 400;\">Da tabela, separamos os dados entre dados para treinar e testar o modelo. <strong>\u00c9 interessante manter a propor\u00e7\u00e3o por inten\u00e7\u00e3o entre os dados de treino e teste para evitar que o modelo seja treinado com muitos dados de uma inten\u00e7\u00e3o e poucas de outra.<\/strong><\/span><\/p>\n<p><span style=\"font-weight: 400;\">\u00c9 importante de treino e teste serem diferentes para que nossa an\u00e1lise seja o mais representativa o poss\u00edvel do que ir\u00e1 acontecer quando o modelo for colocado de novo em contato com os usu\u00e1rios.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Para chegarmos \u00e0 uma conclus\u00e3o se a IA alterada tem uma performance melhor que atual, recomendamos <strong>fazer pelo menos 3 an\u00e1lises<\/strong>:<\/span><\/p>\n<ol>\n<li style=\"font-weight: 400;\">Para sabermos se <strong>a experi\u00eancia dos usu\u00e1rios que estavam tendo as inten\u00e7\u00f5es corretamente reconhecidas ir\u00e3o permanecer com a mesma experi\u00eancia ao atualizar a IA<\/strong>, vamos separar frases que representam esse grupo e comparar antes e depois por inten\u00e7\u00e3o focando nas inten\u00e7\u00f5es principais (em termos de volume ou de estrat\u00e9gica de neg\u00f3cio) da nossa IA.<\/li>\n<li style=\"font-weight: 400;\"><span style=\"font-weight: 400;\"><strong>Saber se os usu\u00e1rios que falam do assunto adicionado est\u00e3o sendo entendidos<\/strong>, realizando ver a compara\u00e7\u00e3o e observando as m\u00e9tricas&nbsp; para a nova inten\u00e7\u00e3o que inserimos na IA.<\/span><\/li>\n<li style=\"font-weight: 400;\"><span style=\"font-weight: 400;\">Por fim, <strong>analisamos se a experi\u00eancia geral dos usu\u00e1rios foi impactada<\/strong>, esperando encontrar um resultado similar ou melhor.<\/span><\/li>\n<\/ol>\n<p><span style=\"font-weight: 400;\">Confira esse post em que abordamos <strong>a import\u00e2ncia de analisar corretamente os dados<\/strong> para tomadas de decis\u00f5es: https:\/\/www.blip.ai\/blog\/tecnologia\/analise-de-dados\/<\/span><\/p>\n<h2>Conclus\u00e3o &#8211; Deploy<\/h2>\n<p><span style=\"font-weight: 400;\">Se nossas an\u00e1lises indicam que a IA alterada ser\u00e1 melhor que a IA atual, <\/span><span style=\"font-weight: 400;\">fazemos a altera\u00e7\u00e3o na base de conhecimento, treino e publica\u00e7\u00e3o do modelo<\/span><span style=\"font-weight: 400;\"> e voltamos ao passo de monitoramento de novo, reiniciando o ciclo da an\u00e1lise.<\/span><\/p>\n<p>Quer saber ainda mais sobre Intelig\u00eancia Artificial e outras tecnologias? <a href=\"https:\/\/www.blip.ai\/blog\/\"><strong>Continue no nosso blog!<\/strong><\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Voc\u00ea identificou um processo na sua empresa que poderia ser atendido por meio de um Contato Inteligente. Para isso, projetou e disponibilizou um fluxo conversacional e aplicou uma intelig\u00eancia artificial (IA) que reconhece a inten\u00e7\u00e3o do usu\u00e1rio (NLP). E agora? Como avaliar os pr\u00f3ximos passos da IA? Neste post vamos abordar um ciclo de vida [&hellip;]<\/p>\n","protected":false},"author":581,"featured_media":10565,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[125],"tags":[43,360,373],"class_list":["post-10562","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-chatbots","tag-chatbots","tag-data-analytics","tag-inteligencia-artificial"],"lang":"pt","translations":{"pt":10562},"pll_sync_post":[],"_links":{"self":[{"href":"https:\/\/www.blip.ai\/blog\/wp-json\/wp\/v2\/posts\/10562","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.blip.ai\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.blip.ai\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.blip.ai\/blog\/wp-json\/wp\/v2\/users\/581"}],"replies":[{"embeddable":true,"href":"https:\/\/www.blip.ai\/blog\/wp-json\/wp\/v2\/comments?post=10562"}],"version-history":[{"count":0,"href":"https:\/\/www.blip.ai\/blog\/wp-json\/wp\/v2\/posts\/10562\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.blip.ai\/blog\/wp-json\/wp\/v2\/media\/10565"}],"wp:attachment":[{"href":"https:\/\/www.blip.ai\/blog\/wp-json\/wp\/v2\/media?parent=10562"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.blip.ai\/blog\/wp-json\/wp\/v2\/categories?post=10562"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.blip.ai\/blog\/wp-json\/wp\/v2\/tags?post=10562"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}