您的位置:

Glove模型:多维度语义转换的妙器

一、Glove模型与Word2Vec

Glove是一种词向量表示方法,它使用了全局向量表述(global matrix factorization)来将每个词映射到一个N维空间中,进而把词之间的相似性计算出来。相较于传统的Word2Vec词向量,Glove不但可以处理连续单词,也能处理歧义单词的复杂语义,能够更加准确地描述语义相似性。

在Glove模型中,词与词之间的相似性是通过共现矩阵(co-occurrence matrix)来衡量的,即统计每两个词在文本中共同出现的次数(共现次数)。然后,通过对这个矩阵进行奇异值分解(Singular Value Decomposition,SVD),得到了一组每个词的特征向量(word embeddings),将这些词向量作为该模型的输出。

二、Glove模型结构

在Glove模型中,输入是一个共现矩阵X(m×n),它包含m个单词和n个单词的共现次数;输出是一个词向量矩阵W(m×d),其中每个词的词向量维度为d。

Glove模型的目标函数是:$\sum_{i,j=1}^{m}f(X_{i,j})(w_i^T\tilde{w_j}+b_i+\tilde{b_j}-log(X_{i,j}))^2$,其中$w_i$和$\tilde{w_j}$是根据输入X得到的两个词向量,$b_i$和$\tilde{b_j}$是两个词的偏置项,$f(X_{i,j})$是一个加权函数,用以对频繁出现的共现单词与不常见的共现单词进行权衡,此外$log(X_{i,j})$的加入也是为了进行加强稀有单词与共现词的相关程度。通过最小化目标函数,我们可以学习到每个单词的词向量,进而求出词之间的相似性。

三、Glove模型缺点

尽管Glove模型在处理词义方面表现出色,但是它在一定程度上也存在一些缺点。比如,Glove模型无法很好地处理多义词(polysemy)情况。因为在共现矩阵中,同一个单词的不同意思常常被当作不同的单词处理。但是事实上,这些不同的意思在语义层面上是相关的,在词向量表示中应该保持相似性。

此外,Glove模型对于一些非常出现单词的处理也不太好,它们可能被忽略或者在训练过程中的欠采样造成了过拟合。这些问题都需要通过改进模型结构来进行解决。

四、Glove模型生词

Glove这个词来源于全称“Global Vector for Word Representation”,单词glove的读音为[gʌv],可以简单地理解为“手套”。

五、glove怎么读

glove这个单词的发音为[gʌv]。

六、Glove模型词嵌入

import numpy as np
import torch
import torch.nn as nn
import torch.optim as optim

class Glove(nn.Module):
    def __init__(self, vocab_size, embedding_dim):
        super(Glove, self).__init__()
        self.embedding_i = nn.Embedding(vocab_size, embedding_dim)
        self.embedding_j = nn.Embedding(vocab_size, embedding_dim)
        self.biases_i = nn.Embedding(vocab_size, 1)
        self.biases_j = nn.Embedding(vocab_size, 1)

    def forward(self, center_words, target_words, coocs):
        center_embeds = self.embedding_i(center_words)
        target_embeds = self.embedding_j(target_words)
        center_biases = self.biases_i(center_words).squeeze(1)
        target_biases = self.biases_j(target_words).squeeze(1)
        inner_product = torch.sum(torch.mul(center_embeds, target_embeds), dim=1)
        log_coocs = torch.log(coocs)
        loss = torch.mean(torch.pow(inner_product + center_biases + target_biases - log_coocs, 2))
        return loss

vocab_size = 10000
embed_dim = 100
glove = Glove(vocab_size, embed_dim)
optimizer = optim.Adagrad(glove.parameters(), lr=0.05)
for epoch in range(10):
    for idx, (inputs, targets, cooccurrences) in enumerate(dataset):
        glove.zero_grad()
        loss = glove(inputs, targets, cooccurrences)
        loss.backward()
        optimizer.step()
    print("Epoch %d: %.4f" % (epoch+1, loss.item()))    

七、Glove模型是干什么的

Glove模型的主要作用是用于将文本中的词转换成高维向量,使得这些词之间的关联关系更加具有语义性质。这些高维向量可以应用在各种自然语言处理任务中,比如情感分析、文本分类、问答系统等。

八、Glove模型学到了什么

Glove模型通过对大规模文本数据的统计分析,学习到了每个单词在文本语料库中的分布情况,也就是每个单词和其他单词之间的关系。通过将单词表示为高维向量,我们可以在向量空间中度量单词之间的相似性。例如,在一个由100维向量构成的空间中,我们可以认为“狗”和“猫”比“狗”和“树”更加相似。这种相似性可以被用于许多自然语言处理任务,例如聚类、分类、生成等。