Slide 3
Slide 3 text
紹介 3/3
• 公開されている様々なデータセットを簡単に利用可能
• pytorch, tensorflowのデータセットとして読み込み、即座に訓練が可能
• 大規模なデータをすべて読み込むのでなく部分的に読み込み訓練に使用するこ
とが可能なためメモリを圧迫しない
※LLMフレームワーク(LlamaIndex, LangChain)や物体検知(MMDetection)等のオープンソースパッケージとのシームレスな接続も可能
import deeplake
ds = deeplake.deepcopy(src_dataset_path,
dest_dataset_path)
ds = deeplake.load('./my_dataset_path')
train_loader = ds.pytorch(num_workers = 8,
transform = transform,
batch_size = 32,
tensors=['images', 'labels'],
shuffle = True)
train_loader = ds.tensorflow(...)
深層学習フレームワークとの接続