Word Embeddings: Como a IA entende as palavras?

Word Embeddings: Como a IA entende as palavras?

Os avanços recentes no processamento de linguagem natural permitiram que as pessoas passassem a se comunicar com dispositivos computacionais por meio de linguagem natural. No entanto, como os computadores começaram a entender as palavras e seus significados? Na verdade, os computadores não processam palavras e sim números.  No nível mais baixo do hardware são apenas números binários, ou seja, zeros e uns. Então, novamente surge a pergunta: como a IA entende as palavras?

A resposta simples é: transformando as palavras em números.  

Mas como fazer essa associação entre palavras e números? Podemos, de forma simplista, atribuir um número para cada palavra do vocabulário. Dessa forma podemos atribuir o número 13 para a palavra "AMOR" e 14 para a palavra "ÓDIO".  No entanto, apesar da proximidade indicar que existe alguma relação entre as palavras "AMOR" e "ÓDIO",  ela não informa nada sobre o tipo de relação. Também não nos informa nada sobre que número devemos atribuir ao verbo "AMAR" e suas diversas flexões tais como "AMAREMOS".  Também, não sabemos que número atribuir a outras palavras relacionadas, como o verbo "GOSTAR" e o adjetivo "AMOROSO".  Para facilitar esse posicionamento podemos utilizar dois número em vez de um número. Isso formaria um espaço na forma de um plano bi-dimensional onde poderíamos posicionar as palavras.

Ampliando essa ideia, podemos adicionar mais números para cada palavra, para melhor melhor posicionar cada palavra e capturar o significado de cada palavra em função desse posicionamento. 

Quantos mais números forem utilizados, melhor poderemos posicionar relativamente as palavras e capturar o significado de cada palavra. Isto ocorre porque o significado de uma palavra é dado pela sua posição em relação as outras palavras, ou seja, pelo contexto de ocorrência. Isso foi primeiramente afirmado por J. R. Firth em 1957 que disse:

"Se conhece uma palavra por suas palavras companheiras"

Por exemplo, reconhecemos o significado da palavra "GATO", que difere nas duas sentenças a seguir, com base nas palavras que ocorrem em cada sentença:

O gato bebeu o leite da vasilha.

João fez um gato para baixar a conta da luz.

A sequência de números que representa cada palavra é chamada de vetor e cada número pode ser visto como uma dimensão em um plano multidimensional, ou hiperplano. Não temos condição de representar graficamente mais de três dimensões, mas é comum os vetores serem 500 ou 1000 dimensões.  Estes vetores atribuídos a cada palavra são chamados de Word embeddings. Os word embeddings mapeiam palavras para vetores densos  com valores reais.

Se os vetores forem construídos adequadamente, então será possível realiza operações matemáticas com os vetores que confirmam que os vetores capturaram o significado das palavras, como por exemplo:

[vetor Rainha] = [vetor Rei] - [vetor Homem] + [vetor Mulher]

Outra operação interessante e saber o quanto duas palavras são similares. Isso é feito calculando o coseno entre os vetores das palavras. Quanto menor for o coseno mais similares são as palavras.

Mas como calcular os números dos vetores?

Esses vetores são gerados com base no contexto em que as palavras aparecem em grandes conjuntos de dados textuais. Para gerar esses vetores é utilizada alguma técnica de aprendizado de máquina que aprenda a prever a ocorrência da palavra em um dado contexto. Existem diversas técnicas mas, para exemplificar, vamos  delinear apenas uma técnica. Suponha um determinado contexto: 

Estava dirigindo quando ____ furou. 

Na sentença acima, a  palavra faltante, provavelmente, é "PNEU". Podemos treinar uma rede neural  para  predizer a ocorrência de uma palavra, e os pesos da rede neural, quando ela aprendesse a fazer a previsão seria o vetor da palavra. 

Essa seria apenas uma das abordagens. Abaixo segue alguns dos métodos populares de Word Embeddings:

1. Word2Vec (Mikolov et al., 2013):

   • Modelo baseado em redes neurais.
   • Possui dois métodos principais:
     • CBOW (Continuous Bag of Words): Prediz a palavra com base no contexto.
     • Skip-gram: Prediz o contexto com base em uma palavra.

2. GloVe (Global Vectors for Word Representation):

   • Baseia-se em matrizes de coocorrência e captura estatísticas globais do texto.

3. FastText:

   • Considera subpalavras (n-grams), o que ajuda a lidar com palavras raras ou morfologicamente semelhantes.

4. BERT (Bidirectional Encoder Representations from Transformers):

• Produz embeddings contextuais, ou seja, vetores que mudam com base no contexto em que a palavra aparece.

Por que os Word Embeddings são Importantes?

Os word embeddings revolucionaram o processamento de linguagem natural porque permitem que os modelos entendam e processem melhor a semântica das palavras. Eles são usados em várias aplicações, como:

• Classificação de texto:
  • Análise de sentimentos ou detecção de spam.
• Tradução automática:
  • Sistemas como Google Translate.
• Chatbots:
  • Para entender melhor as intenções dos usuários.
• Pesquisa semântica:
  • Melhorando os resultados das buscas ao compreender sinônimos e contexto.

Desafios dos Word Embeddings

1. Palavras fora do vocabulário (OOV):

   • Modelos como Word2Vec e GloVe não lidam bem com palavras desconhecidas.
   • Solução: Modelos baseados em subpalavras (FastText) ou embeddings contextuais (BERT).

2. Ambiguidade semântica:

   • Palavras com múltiplos significados podem ser mal representadas.
   • Solução: Modelos contextuais (e.g., BERT).

Conclusão

Word embeddings são uma das bases da IA atual, permitindo que máquinas entendam as relações semânticas entre palavras de forma mais eficiente e precisa. Com a evolução de modelos contextuais, como BERT, as representações se tornaram ainda mais poderosas, abrindo portas para aplicações mais avançadas. Chegamos ao final deste Post.  Se esse post foi útil para você, por favor, considere deixar um comentário.