1.keas.datasets tensoflow.keras提供了keras.datasets的接口
常见的数据集： Boston housing price regerssion dataset MNIST/Fashion-MNIST dataset sentiment classification dataset(imdb) small images classidication dataset(CIFAR10/100)
数据集加载步骤 Step0: 准备要加载的numpy数据 Step1: 使用 tf.data.Dataset.from_tensor_slices() 函数进行加载 Step2: 使用 shuffle() 打乱数据 Step3: 使用 map() 函数进行预处理 Step4: 使用 batch() 函数设置 batch size 值 Step5: 根据需要 使用 repeat() 设置是否循环迭代数据集
MNIST
keras.datasets.mnist.load_data() 将MNIST数据集加载并处理成Numpy格式。 （x，y）是60000张训练数据集， （x_test，y_test）是10000张测试数据集 其中y和y_test存储的是0~9的数字，代表每张图片的值。 y[:4]=[5,0,4,1]表示前四张图片的值分别为5，0，4，1。 tf.one_hot( )将y的数据转换成one_hot类型。
CIFAR10/100 10和100表示数据的类别，一共10个大类，每一个大类分成10个小类，共有100类。 图片的size=[32，32，3]数据很小。 共有60000张图片，其中50000张是训练数据集，10000张是测试数据集。
tf.data.Dataset.from_tensor_slices（） 切分传入的 Tensor 的第一个维度，生成相应的 dataset 使用迭代器进行迭代 .shuffle 将数据集打散
.map 数据预处理
.batch 设置batch_size，下图的db2.batch(32)，batch_size=32，以32张图片分为一组。 .repeat 设置数据集的迭代次数，空着则一致循环。
For Example:
def preparer_mnist_featues_and_lables(x, y): x = tf.cast(x, tf.float32) / 255. #缩放到0~1范围 y = tf.cast(y, tf.int64) retu x,y def mnist_dataset(): (x, y), (x_val, y_val) = datasets.fanshion_muist.load_data() #加载数据集 # x:60k y:10k x_val:60k y_val:10k y = tf.one_hot(y, depth = 10) #y:[10k,10] y_val = tf.one_hot(y_val, depth = 10) #y_val:[10k,10] ds = tf.data.Dataset.from_tenso_slices((x, y)) ds = ds.map(repae_mnist_featues_and_lables) #预处理 ds = ds.shuffle(60000).batch(100) #打散在batch ds_val = tf.data.Dataset.from_tenso_slices((x_val, y_val)) ds_val = ds_val.map(repae_mnist_featues_and_lables) ds_val = ds_val.shuffle(10000).batch(100) return ds, ds_val