O que é um modelo de linguagem ampla (LLM)?

Os modelos de linguagem ampla (LLMs) são modelos de aprendizado de máquina que podem compreender e gerar textos em linguagem humana. Eles funcionam analisando enormes conjuntos de dados de linguagem.

Objetivos de aprendizado

Após ler este artigo, você será capaz de:

  • Definir modelo de linguagem ampla (LLM)
  • Entender o aplicativo para LLMs
  • Explicar como funcionam os LLMs

Conteúdo relacionado


Quer saber mais?

Assine o theNET, uma recapitulação mensal feita pela Cloudflare dos insights mais populares da internet.

Consulte a política de privacidade da Cloudflare para saber como coletamos e processamos seus dados pessoais.

Copiar o link do artigo

O que é um modelo de linguagem ampla (LLM)?

Um modelo de linguagem grande (LLM) é um tipo de programa de inteligência artificial (IA) que pode reconhecer e gerar texto, entre outras tarefas. Os LLMs são treinados em enormes conjuntos de dados — daí o nome "grande". Os LLMs são baseados em aprendizado de máquina: especificamente, um tipo de rede neural chamada de modelo transformer.

Em termos mais simples, um LLM é um programa de computador que recebeu exemplos suficientes para poder reconhecer e interpretar a linguagem humana ou outros tipos de dados complexos. Muitos LLMs são treinados em dados coletados na internet, milhares ou milhões de gigabytes de texto. Mas a qualidade das amostras afeta o nível de aprendizado de linguagem natural dos LLMs, de modo que os programadores de um LLM podem usar um conjunto de dados mais selecionado.

Os LLMs usam um tipo de aprendizado de máquina chamado aprendizado profundo para entender como os caracteres, palavras e frases funcionam juntos. O aprendizado profundo envolve a análise probabilística de dados não estruturados, o que acaba permitindo que o modelo de aprendizado profundo reconheça distinções entre partes do conteúdo sem intervenção humana.

LLMs são então ainda mais treinados por meio de ajustes: eles são ajustados finamente ou ajustados a partir de prompts para a tarefa específica que o programador deseja que eles realizem, como interpretar perguntas e gerar respostas, ou traduzir texto de um idioma para outro

Para que são usados os LLMs?

Os LLMs podem ser treinados para realizar uma série de tarefas. Um dos usos mais conhecidos é sua aplicação como IA generativa: quando recebem um prompt ou alguém faz uma pergunta, conseguem produzir um texto em resposta. O LLM ChatGPT disponível publicamente, por exemplo, pode gerar artigos, poemas e outras formas de texto em resposta às inserções do usuário.

Qualquer conjunto de dados grande e complexo pode ser usado para treinar LLMs, inclusive linguagens de programação. Alguns LLMs podem ajudar os programadores a escrever códigos. Eles podem escrever funções mediante solicitação ou, se tiverem algum código como ponto de partida, podem terminar de escrever um programa. Os LLMs também podem ser usados em:

  • Análise de sentimentos
  • Pesquisa de DNA
  • Atendimento ao cliente
  • Chatbots
  • Pesquisas on-line

Exemplos de LLMs do mundo real incluem ChatGPT (da OpenAI), Bard (Google), Llama (Meta) e Bing Chat (Microsoft). O Copilot do GitHub é outro exemplo, mas para codificação em vez de linguagem humana natural.

Quais são algumas das vantagens e limitações dos LLMs?

Uma característica fundamental dos LLMs é sua capacidade de responder a consultas imprevisíveis. Um programa de computador tradicional recebe comandos em sua sintaxe aceita ou a partir de um determinado conjunto de entradas do usuário. Um videogame tem um conjunto finito de botões, um aplicativo tem um conjunto finito de coisas que um usuário pode clicar ou digitar e uma linguagem de programação é composta de instruções precisas do tipo se/então.

Por outro lado, um LLM pode responder à linguagem humana natural e usar a análise de dados para responder a uma pergunta ou solicitação não estruturada de uma forma que faça sentido. Enquanto um programa de computador comum não reconheceria um prompt como "Quais são as quatro maiores bandas de funk da história?", um LLM poderia responder com uma lista de quatro dessas bandas e uma defesa razoavelmente convincente do motivo pelo qual elas são as melhores.

No entanto, em termos das informações que fornecem, os LLMs só podem ser tão confiáveis quanto os dados que eles recebem. Se receberem informações falsas, eles fornecerão informações falsas em resposta às consultas do usuário. Às vezes, os LLMs também "alucinam": eles criam informações falsas quando não conseguem produzir uma resposta precisa. Por exemplo, em 2022, a agência de notícias Fast Company perguntou ao ChatGPT sobre o trimestre financeiro anterior da empresa Tesla; embora o ChatGPT tenha fornecido um artigo de notícias coerente em resposta, muitas das informações contidas nele foram inventadas.

Em termos de segurança, os aplicativos voltados para o usuário baseados em LLMs são tão propensos a bugs quanto qualquer outro aplicativo. Os LLMs também podem ser manipulados por meio de entradas maliciosas para fornecer determinados tipos de respostas em detrimento de outras, inclusive respostas perigosas ou antiéticas. Por fim, um dos problemas de segurança dos LLMs é que os usuários podem fazer upload de dados seguros e confidenciais para aumentar sua própria produtividade. Mas os LLMs usam as entradas que recebem para treinar ainda mais seus modelos, e não foram projetados para serem cofres seguros; eles podem expor dados confidenciais em resposta a consultas de outros usuários.

Como funcionam os LLMs?

Aprendizado de máquina e aprendizado profundo

Em um nível básico, os LLMs são desenvolvidos com aprendizado de máquina. O aprendizado de máquina é um subconjunto da IA e refere-se à prática de alimentar um programa com grandes quantidades de dados para treinar o programa a identificar recursos desses dados sem intervenção humana.

Os LLMs usam um tipo de aprendizado de máquina chamado aprendizado profundo. Os modelos de aprendizado profundo podem essencialmente se treinar para reconhecer distinções sem intervenção humana, embora seja necessário algum ajuste fino humano.

O aprendizado profundo usa a probabilidade para "aprender." Por exemplo, na frase "The quick brown fox jumped over the lazy dog (A rápida raposa marrom pulou sobre o cachorro preguiçoso)," as letras "e" e "o" são as mais comuns, aparecendo quatro vezes cada. A partir disso, um modelo de aprendizado profundo poderia concluir (corretamente) que esses caracteres estão entre os mais prováveis de aparecer em textos em inglês.

Na realidade, um modelo de aprendizado profundo não pode realmente concluir nada a partir de uma única frase. Mas depois de analisar trilhões de frases, ele poderia aprender o suficiente para prever como terminar logicamente uma frase incompleta ou até mesmo gerar suas próprias frases.

Redes neurais

Para possibilitar esse tipo de aprendizado profundo, os LLMs são criados com base em redes neurais. Assim como o cérebro humano é formado por neurônios que se conectam e enviam sinais uns aos outros, uma rede neural artificial (geralmente abreviada como "rede neural") é formada por nós de rede que se conectam uns aos outros. Elas são compostos de várias "camadas": uma camada de entrada, uma camada de saída e uma ou mais camadas intermediárias. As camadas só transmitem informações umas às outras se suas próprias saídas ultrapassarem um determinado limite.

Modelos de transformadores

O tipo específico de redes neurais usadas para LLMs é chamado de modelos de transformadores. Os modelos de transformadores são capazes de aprender o contexto, o que é especialmente importante para a linguagem humana, que é altamente dependente do contexto. Os modelos de transformadores usam uma técnica matemática chamada autoatenção para detectar maneiras sutis de os elementos de uma sequência se relacionarem entre si. Isso faz com que eles entendam melhor o contexto do que outros tipos de aprendizado de máquina. Isso permite que eles entendam, por exemplo, como o final de uma frase se conecta ao início e como as frases em um parágrafo se relacionam entre si.

Isso permite que os LLMs interpretem a linguagem humana, mesmo quando essa linguagem é vaga ou mal definida, organizada em combinações nunca antes encontradas ou contextualizada de novas maneiras. Em algum nível, eles "entendem a" semântica, pois podem associar palavras e conceitos por seu significado, tendo-os visto agrupados dessa forma milhões ou bilhões de vezes.

Como os desenvolvedores podem começar a criar rapidamente seus próprios LLMs

Para criar aplicativos de LLM, os desenvolvedores precisam de acesso fácil a vários conjuntos de dados e precisam de locais para que esses conjuntos de dados sejam armazenados. Tanto o armazenamento em nuvem quanto o armazenamento no local para essas finalidades podem envolver investimentos em infraestrutura fora do alcance dos orçamentos dos desenvolvedores. Além disso, os conjuntos de dados de treinamento são normalmente armazenados em vários locais, mas a transferência desses dados para um local central pode resultar em taxas de saída enormes.

Felizmente, a Cloudflare oferece vários serviços para permitir que os desenvolvedores comecem a criar rapidamente aplicativos de LLM e outros tipos de IA. O Vectorize é um banco de dados vetorial distribuído globalmente para consulta de dados armazenados em armazenamento de objetos(R2) sem taxa de saída ou documentos armazenados no Workers Key Value. Combinado com a plataforma de desenvolvimento Cloudflare Workers AI, os desenvolvedores podem usar a Cloudflare para começar rapidamente a fazer experiências com seus próprios LLMs.