Uma análise dos pesquisadores Fulei Zhang e Zhou Yu, da Amazon, sugere que a forma como nos comunicamos com a inteligência artificial influencia diretamente o quanto ela entende — e acerta — o que queremos dizer.
A dupla estudou como os usuários se comunicam de forma diferente com chatbots de Modelos de Grandes Linguagens (LLMs) em comparação com agentes humanos. “Nossa análise revela diferenças significativas na fluência gramatical, polidez e diversidade lexical na linguagem do usuário entre os dois cenários”, escreveu em artigo.
E acrescentou: “Essas descobertas sugerem que modelos treinados exclusivamente com dados de interação humano-humano podem não acomodar adequadamente a mudança de estilo de comunicação que ocorre após a implantação de um chatbot de LLM”.
Para aumentar a robustez do LLM às mudanças no estilo de comunicação pós-lançamento, Zhang e Yu experimentaram duas estratégias: aumento de dados durante a fase pós-treinamento e reformulação da mensagem do usuário em tempo de inferência.
“Nossos resultados indicam que modelos treinados em conjuntos de dados estilisticamente diversos superam significativamente aqueles treinados exclusivamente em conjuntos de dados originais ou estilisticamente uniformes, enquanto a reformulação em tempo de inferência se mostrou menos eficaz. Esses insights nos ajudam a adaptar melhor nossos modelos para experiências aprimoradas de interação entre LLM e usuário”, complementaram.
Na análise, foi usado o Claude 3.5 Sonnet, da Anthropic. Os resultados, destaca o New Scientist, revelaram que as pessoas que interagiam com chatbots usavam gramática menos precisa e eram menos educadas do que quando se dirigiam a humanos. Também usavam um vocabulário um pouco mais restrito.
Por exemplo, a interação entre humanos foi 14,5% mais educada e formal do que as conversas com chatbots, 5,3% mais fluente e 1,4% mais diversa em relação às palavras.
“Os usuários adaptam seu estilo linguístico em conversas entre humanos e LLM, produzindo mensagens mais curtas, mais diretas, menos formais e gramaticalmente mais simples”, escrevem os autores. “Esse comportamento provavelmente é moldado pelos modelos mentais dos usuários de chatbots de LLM como menos sensíveis socialmente ou menos capazes de interpretação com nuances.”
Essa informalidade, no entanto, tem um lado negativo. Em uma segunda avaliação, Zhang e Yu treinaram um modelo de IA chamado Mistral 7B em 13.000 conversas reais entre humanos e o utilizaram para interpretar 1.357 mensagens reais enviadas a chatbots de IA.
Eles, segundo o New Scientist, anotaram cada conversa em ambos os conjuntos de dados com uma “intenção” extraída de uma lista limitada, resumindo o que o usuário estava tentando fazer em cada caso. Como a Mistral havia sido treinada em conversas entre humanos, descobriu-se que tinha dificuldade em rotular corretamente a intenção para as conversas do chatbot.
Para resolver isso, os pesquisadores testaram várias estratégias. Primeiro, usaram o Claude para reescrever as mensagens mais concisas dos usuários em uma comunicação semelhante à humana e, assim, ajustaram o modelo Mistral. Isso reduziu a precisão dos rótulos de intenção em 1,9% em comparação com as respostas padrão.
Na etapa seguinte, usaram o Claude para fornecer uma reescrita “mínima”, mais curta e direta, e isso reduziu a precisão do Mistral em 2,6%. Uma reescrita alternativa, “enriquecida”, com linguagem mais formal e variada, também registrou queda de 1,8%. Só quando treinaram o Mistral em reescritas mínimas e enriquecidas que observaram uma melhora de 2,9% no desempenho.
Ao New Science, Noah Giansiracusa, da Universidade Bentley, dos Estados Unidos, disse que não ficou surpreso que as pessoas falem de forma diferente com robôs do que com humanos, mas que isso não é necessariamente algo a ser evitado.
“A descoberta de que as pessoas se comunicam de forma diferente com chatbots do que com outros humanos é tentadoramente enquadrada como uma deficiência do chatbot – mas eu diria que não é, que é bom quando as pessoas sabem que estão falando com bots e adaptam seu comportamento de acordo”, apontou. “Acho que isso é mais saudável do que tentar obsessivamente eliminar a lacuna entre humanos e bots.”
