from_tensor_slices()-白红宇

from_tensor_slices()

阅读量：124 次

发布时间：2019-02-26

本文共 1900 字，大约阅读时间需要 6 分钟。

tf.data.Dataset.from_tensor_slices

该函数是dataset核心函数之一，它的作用是把给定的元组、列表和张量等数据进行特征切片。切片的范围是从最外层维度开始的。如果有多个特征进行组合，那么一次切片是把每个组合的最外维度的数据切开，分成一组一组的。

假设我们现在有两组数据，分别是特征和标签，为了简化说明问题，我们假设每两个特征对应一个标签。之后把特征和标签组合成一个tuple，那么我们的想法是让每个标签都恰好对应2个特征，而且像直接切片，比如：[f11, f12] [t1]。f11表示第一个数据的第一个特征，f12表示第1个数据的第二个特征，t1表示第一个数据标签。那么tf.data.Dataset.from_tensor_slices就是做了这件事情：

import tensorflow as tf

import numpy as np

features, labels = (np.random.sample((6, 3)), # 模拟6组数据，每组数据3个特征

np.random.sample((6, 1))) # 模拟6组数据，每组数据对应一个标签，注意两者的维数必须匹配

print((features, labels)) # 输出下组合的数据

data = tf.data.Dataset.from_tensor_slices((features, labels))

print(data) # 输出张量的信息

输出结果如下：

从结果可以看出，该函数将数据分为了shape为（（3，），（1，））的数据形式，即每三个特征对应一个标签。

————————————————

原文链接：https://blog.csdn.net/Dr_jiabin/article/details/93366661

tf.data.Dataset.from_tensor_slices:

它的作用是切分传入Tensor的第一个维度，生成相应的dataset。

例1：

dataset = tf.data.Dataset.from_tensor_slices(np.random.uniform(size=(5, 2)))

传入的数值是一个矩阵，它的形状为(5, 2)，tf.data.Dataset.from_tensor_slices就会切分它形状上的第一个维度，最后生成的dataset中一个含有5个元素，每个元素的形状是(2, )，即每个元素是矩阵的一行。

例2：

对于更复杂的情形，比如元素是一个python中的元组或者字典：在图像识别中一个元素可以是｛”image”:image_tensor,”label”:label_tensor｝的形式。

dataset = tf.data.Dataset.from_tensor_slices ( { “a”:np.array([1.0,2.0,3.0,4.0,5.0]), “b”:np.random.uniform(size=(5,2) ) } )

这时，函数会分别切分”a”中的数值以及”b”中的数值，最后总dataset中的一个元素就是类似于{ “a”:1.0, “b”:[0.9,0.1] }的形式。

shuffle(

buffer_size,

seed=None,

reshuffle_each_iteration=None

)

batch很好理解，就是batch size。注意在一个epoch中最后一个batch大小可能小于等于batch size

dataset.repeat就是俗称epoch，但在tf中与dataset.shuffle的使用顺序可能会导致个epoch的混合

dataset.shuffle就是说维持一个buffer_size 大小的 shuffle buffer，图中所需的每个样本从shuffle buffer中获取，取得一个样本后，就从源数据集中加入一个样本到shuffle buffer中。对于完美的洗牌，需要大于或等于数据集的完整大小的缓冲区大小。

————————————————

原文链接：https://blog.csdn.net/qq_18888869/article/details/94575180

你可能感兴趣的文章