Files

100 lines
3.4 KiB
Python

"""
整理现有数据集脚本
将 数据集/数据集/仿真数据 中的图像整理到标准格式
"""
import os
import shutil
from pathlib import Path
import random
def organize_existing_dataset():
"""整理现有的光图像数据集"""
# 源数据路径 (使用绝对路径)
script_dir = os.path.dirname(os.path.abspath(__file__))
project_root = os.path.dirname(script_dir)
source_base = os.path.join(project_root, "数据集", "数据集", "仿真数据", "单模态", "w=-0.5", "受畸变", "Cn=10-13")
# 目标路径
output_dir = os.path.join(project_root, "data", "processed")
train_dir = os.path.join(output_dir, "train")
val_dir = os.path.join(output_dir, "val")
# 创建目标目录
os.makedirs(train_dir, exist_ok=True)
os.makedirs(val_dir, exist_ok=True)
print("开始整理数据集...")
print(f"源目录: {source_base}")
print(f"目标目录: {output_dir}")
total_images = 0
train_count = 0
val_count = 0
# 遍历l=1到l=10 (对应class_0到class_9,因为l=1表示1个光瓣)
for l_value in range(1, 11):
source_class_dir = os.path.join(source_base, f"l={l_value}")
if not os.path.exists(source_class_dir):
print(f"警告: {source_class_dir} 不存在,跳过")
continue
# 类别ID (l=1对应class_1, l=10对应class_10,但我们可能需要class_0到class_9)
# 根据需求,l值直接对应光瓣数量
class_id = l_value - 1 # l=1 -> class_0 (1个光瓣)
# 创建类别目录
train_class_dir = os.path.join(train_dir, f"class_{class_id}")
val_class_dir = os.path.join(val_dir, f"class_{class_id}")
os.makedirs(train_class_dir, exist_ok=True)
os.makedirs(val_class_dir, exist_ok=True)
# 获取所有图像
images = [f for f in os.listdir(source_class_dir)
if f.lower().endswith(('.jpg', '.jpeg', '.png'))]
if len(images) == 0:
print(f"警告: {source_class_dir} 中没有图像")
continue
# 随机打乱
random.shuffle(images)
# 分割为训练集和验证集 (80:20)
split_idx = int(len(images) * 0.8)
train_images = images[:split_idx]
val_images = images[split_idx:]
# 复制训练集图像
for img_name in train_images:
src = os.path.join(source_class_dir, img_name)
dst = os.path.join(train_class_dir, img_name)
shutil.copy2(src, dst)
train_count += 1
# 复制验证集图像
for img_name in val_images:
src = os.path.join(source_class_dir, img_name)
dst = os.path.join(val_class_dir, img_name)
shutil.copy2(src, dst)
val_count += 1
total_images += len(images)
print(f"class_{class_id} (l={l_value}): {len(train_images)} 训练, {len(val_images)} 验证")
print(f"\n数据集整理完成!")
print(f"总图像数: {total_images}")
print(f"训练集: {train_count} 张")
print(f"验证集: {val_count} 张")
print(f"\n数据集位置: {output_dir}")
print("\n下一步: 运行训练脚本")
print("cd pc_training")
print("python train.py --data_dir ../data/processed --pretrained --epochs 50")
if __name__ == '__main__':
# 设置随机种子以保证可重复性
random.seed(42)
organize_existing_dataset()