【昇思初学入门】第四天打卡
数据变换Transforms
心得体会
- MindSpore提供了丰富的数据变换工具，针对图像数据可以使用如Rescale、Normalize和HWC2CHW等，且使用Compose类允许我们定义一个变换序列，并将它们作为一个整体应用到数据上。
composed = transforms.Compose([vision.Rescale(1.0 / 255.0, 0),vision.Normalize(mean=(0.1307,), std=(0.3081,)),vision.HWC2CHW()]
)
train_dataset = train_dataset.map(composed, 'image')
- MindSpore 还提供了处理文本数据常用步骤，分词（Tokenize）和词表映射（Lookup）
# 分词
texts = ['Welcome to Beijing']
test_dataset = GeneratorDataset(texts, 'text')
def my_tokenizer(content):return content.split()
test_dataset = test_dataset.map(text.PythonTokenizer(my_tokenizer))
print(next(test_dataset.create_tuple_iterator()))
3.MindSpore 还支持Lambda函数对数据进行自定义处理
test_dataset.map(lambda x: x * 2)