tf.gather-详解TF中的Embedding操作！

大家都不陌生，在我们的模型中，只要存在离散变量，那么一般都会用到操作。今天这篇tf.gather，我们将按以下的章节来介绍TF中的操作。

什么是？

tf1.x中的实现，对比和

tf1.x中与类似操作，包括，

tf1.x中多值离散特征处理tf.nn.rse

tf2.0中实现

1、什么是？

先来看看什么是，我们可以简单的理解为，将一个特征转换为一个向量。在推荐系统当中，我们经常会遇到离散特征，如、。对于离散特征，我们一般的做法是将其转换为one-hot，但对于这种离散特征，转换成one-hot之后维度非常高，但里面只有一个是1，其余都为0。这种情况下，我们的通常做法就是将其转换为。

的过程是什么样子的呢？它其实就是一层全连接的神经网络，如下图所示：

假设一个特征共有5个取值，也就是说one-hot之后会变成5维，我们想将其转换为表示，其实就是接入了一层全连接神经网络。由于只有一个位置是1，其余位置是0，因此得到的就是与其相连的图中红线上的权重。

接下来，我们来看一下tf1.x中的实现。

2、tf1.x中的实现

在tf1.x中，我们使用函数来实现，代码如下：

# embeddingembedding = tf.constant(        [[0.21,0.41,0.51,0.11]],        [0.22,0.42,0.52,0.12],        [0.23,0.43,0.53,0.13],        [0.24,0.44,0.54,0.14]],dtype=tf.float32)
feature_batch = tf.constant([2,3,1,0])
get_embedding1 = tf.nn.embedding_lookup(embedding,feature_batch)

上面的过程为：

注意这里的维度的变化，假设我们的 是 1维的，长度为4，而的长度为4，那么得到的结果是 4 * 4 的，同理，假设是2 *4的，后的结果是2 * 4 * 4。后面我们在观察结果。

上文说过，层其实是一个全连接神经网络层，那么其过程等价于：

可以得到下面的代码：

embedding = tf.constant(    [        [0.21,0.41,0.51,0.11],        [0.22,0.42,0.52,0.12],        [0.23,0.43,0.53,0.13],        [0.24,0.44,0.54,0.14]    ],dtype=tf.float32)
feature_batch = tf.constant([2,3,1,0])feature_batch_one_hot = tf.one_hot(feature_batch,depth=4)get_embedding2 = tf.matmul(feature_batch_one_hot,embedding)

二者是否一致呢？我们通过代码来验证一下：

with tf.Session() as sess:    sess.run(tf.global_variables_initializer())    embedding1,embedding2 = sess.run([get_embedding1,get_embedding2])    print(embedding1)    print(embedding2)

得到的结果为：

二者得到的结果是一致的。

3、tf1.x中与类似操作

通过上面的讲解，函数的作用更像是一个搜索操作，即根据我们提供的索引，从对应的中寻找对应位置的切片。通过查看函数的源码，不难发现，它是函数的一种特殊形式：

函数的原型为：

def gather(params, indices, validate_indices=None, name=None, axis=0):

该函数也是根据索引从上获取切片，不过它可以指定索引的轴。当是二维的，轴axis=0时，跟我们讲的函数等价：

embedding = tf.constant(    [        [0.21,0.41,0.51,0.11],        [0.22,0.42,0.52,0.12],        [0.23,0.43,0.53,0.13],        [0.24,0.44,0.54,0.14]    ],dtype=tf.float32)
index_a = tf.Variable([2,3,1,0])gather_a = tf.gather(embedding, index_a)
with tf.Session() as sess:    sess.run(tf.global_variables_initializer())    print(sess.run(gather_a))

输出为：

跟我们使用函数得到的结果一样，但假设我们的axis不是0，是1呢，其过程如下：

通过代码验证一下：

embedding = tf.constant(    [        [0.21,0.41,0.51,0.11],        [0.22,0.42,0.52,0.12],        [0.23,0.43,0.53,0.13],        [0.24,0.44,0.54,0.14]    ],dtype=tf.float32)
gather_a_axis1 = tf.gather(embedding,index_a,axis=1)
with tf.Session() as sess:    sess.run(tf.global_variables_initializer())    print(sess.run(gather_a_axis1))

输出为：

当然，也可以不是二维的，一维或者多维也可以：

b = tf.Variable([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])index_b = tf.Variable([2, 4, 6, 8])gather_b = tf.gather(b, index_b)
with tf.Session() as sess:    sess.run(tf.global_variables_initializer())    print(sess.run(gather_b))

输出为：

使用 tf.函数呢，我们只能通过一个维度的来获取切片，如果我们想要通过多个维度的联合索引来获取切片，可以通过函数，下面是简单的代码示例：

a = tf.Variable([[1, 2, 3, 4, 5], [6, 7, 8, 9, 10], [11, 12, 13, 14, 15]])index_a = tf.Variable([0, 2])
b = tf.get_variable(name='b',shape=[3,3,2],initializer=tf.random_normal_initializer)index_b = tf.Variable([[0,1,1],[2,2,0]])
with tf.Session() as sess:    sess.run(tf.global_variables_initializer())    print(sess.run(tf.gather_nd(a, index_a)))    print(sess.run(b))    print(sess.run(tf.gather_nd(b, index_b)))

输出为：

这个函数的切片功能，有点类似于numpy，大家可以参考一下。

4、tf1.x中多值离散特征处理

上面所说的函数，只能处理一个离散特征有一个取值的情况，但实际中，有的离散特征可能有两三个取值，如一个人的爱好，可能既喜欢篮球又喜欢羽毛球，这样转成one-hot的时候，有两个地方为1（这里应该不叫one-hot，确切来说是multi-hot)。我们称这种情况为多值离散特征。这种情况下，如何处理呢？我们使用tf.nn.rse函数。

使用该函数的例子如下：

# sparse embeddinga = tf.SparseTensor(indices=[[0, 0],[1, 2],[1,3]], values=[1, 2, 3], dense_shape=[2, 4])
embedding = tf.constant(    [        [0.21,0.41,0.51,0.11],        [0.22,0.42,0.52,0.12],        [0.23,0.43,0.53,0.13],        [0.24,0.44,0.54,0.14]    ],dtype=tf.float32)
embedding_sparse = tf.nn.embedding_lookup_sparse(embedding, sp_ids=a, sp_weights=None)
with tf.Session() as sess:    sess.run(tf.global_variables_initializer())    print(sess.run(embedding_sparse))

输出为：

我们一步步来看上面的过程tf.gather，首先，我们需要有一个，这个的shape是[2, 4]的，其中不为0的地方呢一共有三个，即[0, 0]，[1, 2],[1,3]，这三处的value分别是1，2，3，这个其实长下面这个样子:

可以使用下面的代码来将转换为:

b = tf.sparse_tensor_to_dense(a)

接下来，在rse中我们提供了三个参数，第一个不解释了，第二个即我们定义的，第三个参数=None代表的每一个取值的权重，如果是None的话，所有权重都是1，也就是相当于取了平均。如果不是None的话，我们需要同样传入一个。

这样，结果的第一行没什么好解释的了，即取了我们定义的这个的index=1的那一行，结果的第二行相当于取了我们定义的这个的index=2和index=3这两行的平均值。

5、tf2.0中实现

在tf2.0中，同样可以通过来实现，不过不同的是，我们不需要通过sess.run来获取结果了，可以直接运行结果，并转换为numpy。

embedding = tf.constant(    [        [0.21,0.41,0.51,0.11],        [0.22,0.42,0.52,0.12],        [0.23,0.43,0.53,0.13],        [0.24,0.44,0.54,0.14]    ],dtype=tf.float32)
feature_batch = tf.constant([2,3,1,0])
get_embedding1 = tf.nn.embedding_lookup(embedding,feature_batch)
feature_batch_one_hot = tf.one_hot(feature_batch,depth=4)
get_embedding2 = tf.matmul(feature_batch_one_hot,embedding)print(get_embedding1.numpy().tolist())

如果想要在神经网络中使用层，推荐使用Keras：

num_classes=10
input_x = tf.keras.Input(shape=(None,),)
embedding_x = layers.Embedding(num_classes, 10)(input_x)hidden1 = layers.Dense(50,activation='relu')(embedding_x)output = layers.Dense(2,activation='softmax')(hidden1)
x_train = [2,3,4,5,8,1,6,7,2,3,4,5,8,1,6,7,2,3,4,5,8,1,6,7,2,3,4,5,8,1,6,7,2,3,4,5,8,1,6,7,2,3,4,5,8,1,6,7,2,3,4,5,8,1,6,7,2,3,4,5,8,1,6,7]y_train = [0,1,0,1,1,0,0,1,0,1,0,1,1,0,0,1,0,1,0,1,1,0,0,1,0,1,0,1,1,0,0,1,0,1,0,1,1,0,0,1,0,1,0,1,1,0,0,1,0,1,0,1,1,0,0,1,0,1,0,1,1,0,0,1]
model2 = tf.keras.Model(inputs = input_x,outputs = output)
model2.compile(optimizer=tf.keras.optimizers.Adam(0.001),              #loss=tf.keras.losses.SparseCategoricalCrossentropy(),               loss='sparse_categorical_crossentropy',              metrics=['accuracy'])history = model2.fit(x_train, y_train, batch_size=4, epochs=1000, verbose=0)

好了，本文的内容就这么多，小伙伴们可以回头多多练习一下这几个函数的使用。

最后，再推荐两本书吧：

写在最后

对了，本公众号最近有送书活动，赶紧关注公众号，后台回复“抽奖”参与吧，截止到5.28号晚8点哟～～