""" 数据集下载和准备脚本 """ import os import argparse import shutil from pathlib import Path def create_dummy_dataset(output_dir, num_classes=10, images_per_class=100): """ 创建示例数据集结构 Args: output_dir: 输出目录 num_classes: 类别数量 images_per_class: 每个类别的图像数量 """ print(f"创建数据集结构: {output_dir}") # 创建训练集和验证集 for split in ['train', 'val']: split_dir = os.path.join(output_dir, split) os.makedirs(split_dir, exist_ok=True) # 创建类别目录 for class_id in range(num_classes): class_dir = os.path.join(split_dir, f'class_{class_id}') os.makedirs(class_dir, exist_ok=True) # 创建占位符文件 readme_path = os.path.join(class_dir, 'README.txt') with open(readme_path, 'w', encoding='utf-8') as f: f.write(f'类别 {class_id}: {class_id}个光瓣\n') f.write(f'请在此目录放置 {images_per_class} 张图像\n') f.write('支持的格式: .jpg, .jpeg, .png\n') print("数据集结构创建完成!") print("\n目录结构:") print(f"{output_dir}/") print(" ├── train/") print(" │ ├── class_0/ (0个光瓣)") print(" │ ├── class_1/ (1个光瓣)") print(" │ └── ...") print(" └── val/") print(" ├── class_0/") print(" └── ...") print("\n请将图像放入对应的类别目录中") def split_dataset(source_dir, output_dir, train_ratio=0.8): """ 将数据集分割为训练集和验证集 Args: source_dir: 源数据目录 output_dir: 输出目录 train_ratio: 训练集比例 """ import random print(f"分割数据集: {source_dir} -> {output_dir}") # 创建输出目录 train_dir = os.path.join(output_dir, 'train') val_dir = os.path.join(output_dir, 'val') os.makedirs(train_dir, exist_ok=True) os.makedirs(val_dir, exist_ok=True) # 遍历类别 for class_name in os.listdir(source_dir): class_path = os.path.join(source_dir, class_name) if not os.path.isdir(class_path): continue # 获取所有图像 images = [f for f in os.listdir(class_path) if f.lower().endswith(('.png', '.jpg', '.jpeg'))] # 随机打乱 random.shuffle(images) # 分割 split_idx = int(len(images) * train_ratio) train_images = images[:split_idx] val_images = images[split_idx:] # 创建类别目录 train_class_dir = os.path.join(train_dir, class_name) val_class_dir = os.path.join(val_dir, class_name) os.makedirs(train_class_dir, exist_ok=True) os.makedirs(val_class_dir, exist_ok=True) # 复制文件 for img in train_images: src = os.path.join(class_path, img) dst = os.path.join(train_class_dir, img) shutil.copy2(src, dst) for img in val_images: src = os.path.join(class_path, img) dst = os.path.join(val_class_dir, img) shutil.copy2(src, dst) print(f"{class_name}: {len(train_images)} 训练, {len(val_images)} 验证") print("数据集分割完成!") if __name__ == '__main__': parser = argparse.ArgumentParser(description='数据集准备工具') parser.add_argument('--mode', type=str, choices=['create', 'split'], required=True, help='操作模式') parser.add_argument('--output', type=str, required=True, help='输出目录') parser.add_argument('--source', type=str, default=None, help='源数据目录(split模式)') parser.add_argument('--num_classes', type=int, default=10, help='类别数量(create模式)') parser.add_argument('--train_ratio', type=float, default=0.8, help='训练集比例(split模式)') args = parser.parse_args() if args.mode == 'create': create_dummy_dataset(args.output, args.num_classes) elif args.mode == 'split': if args.source is None: print("错误: split模式需要指定--source参数") else: split_dataset(args.source, args.output, args.train_ratio)