파일 마이그레이션

💡 회사에서 파일 마이그레이션을 했는데 그 과정과 피드백에 대해서 써보려고 합니다.

무엇을 했는가?

• 파일 경로 수정하는 작업
• 이 과정에서 기존에 있는 데이터를 옮기는 작업

목표

변경 전 파일 경로: /기본경로/{회사정보}/{파일타입-user/upload}/{파일}

변경 후 파일 경로: /기본경로/{yyyyMM}/{회사정보}/{파일타입-user/upload}/{파일}

파일: 이름[20240425111111_유니크값].png

왜?

한 폴더에 파일이 많을 경우 IO가 느려지는 문제가 있음

• clientNo 별로 파일이 계속 쌓이는 형태
  • 한 폴더 안에 최대 약 만개의 파일이 쌓여있음
  • 권장은 한 폴더안에 4천 ~ 5천
    • 성능에 따라 다름
    • ext1 ~ ext4, xfs 등 파일시스템의 성능이 좋아짐(inode 향상, 디렉토리 검색 성능 향상, 시스템 손상 복구 등)
    • https://medium.com/naver-cloud-platform/posix-알아보기-1-linux-리눅스-파일-시스템의-종류와-특징-96a2e93e33b3
• 한 폴더에 파일이 많을 경우 IO가 느려지는 문제가 있음
  • 폴더를 여는 동작과 동시에 폴더 내의 파일을 스캔하기 때문에 탐색이 오래걸림 ⇒ 결국은 성능!
  • 결국은 파일 시스템 자체에 영향

과정

* 방법 1, 2를 고려했지만 결국 3번을 선택함

 

방법 1. 기존 파일은 그대로 두고 배포 이후의 파일들만 경로를 변경

변경 전 DB구조

변경 후 DB 구조

• /기본경로/+ {DB에 저장되어 있는 경로}
• 문제점: DB의 구조가 특정시점으로부터 달라짐, 파라미터에 경로가 들어가게 됨(경로 노출 + url 인코딩), 정책 변경

방법 2. 기존 파일은 그대로 두고 배포 이후의 파일들만 경로를 변경하고 if문으로 찾기

if (기준날짜보다 전) {
	// 변경전 경로의 이미지 다운
} else {
	// 변경후 경로의 이미지 다운
}

• 문제점: 코드가 복잡해짐, 리눅스에 있는 파일들도 관리가 어려움

방법 3. 모든 파일 경로 수정

• java로 작성
• shell script로 작성 => java보다 쉽게 할 수 있어서 shell script로 작성을 하게 됨

# 파일 수를 확인하는 코드
#!/bin/bash

# 변수 설정
base_dir="{기본경로}"
total_file_count=0

# 각 클라이언트 번호별로 파일 수 계산 및 합산
for clientNo in $(ls "$base_dir"); do
    # 파일 수 계산
    file_count=$(find "$base_dir/$clientNo/user" -type f | wc -l)
    
    echo "폴더 $clientNo/user에는 $file_count 개의 파일이 있습니다."
    # 총 파일 수에 더하기
    ((total_file_count += file_count))
done

# 결과 출력
echo "file count: $total_file_count"

• 내가 옮겨야할 파일 확인
• 약 10만개의 파일

# 파일 백업 스크립트
#! /bin/bash

# 원본 디렉토리 경로
src_dir="{원본 디렉토리 경로}"

# 대상 디렉토리 경로
dest_dir="{변경 디렉토리 경로}"

# 원본 디렉토리에 있는 모든 폴더를 반복하면서 작업 수행
for folder in "$src_dir"/*; do
    if [ -d "$folder" ]; then
        clientNo=$(basename "$folder")  # 폴더 이름을 clientNo로 사용
        echo "Copying $clientNo to $dest_dir"
        cp -r "$folder" "$dest_dir"
    fi
done

echo "Copy operation completed."

• 기존 파일들을 복사 붙여넣기로 새로운 경로에 만들려고 함
  • ⇒ 모든 파일이 옮겨졌는지 검증이 어려움
• 백업 폴더를 만든 후 파일 옮기기

# 파일 옮기는 스크립트
#!/bin/bash

# temp 폴더의 경로
temp_path="{백업 경로}"

# autobill 폴더의 경로
autobill_path="{기본 경로}"

# temp 폴더 안에 있는 clientNo 폴더들을 반복하여 처리합니다.
for client_folder in "$temp_path"/*; do
    clientNo=$(basename "$client_folder") # clientNo를 추출합니다.
    
    # 각 clientNo 폴더 안에 있는 upload, user, notice 폴더들을 반복하여 처리합니다.
    for subfolder in "$client_folder"/*; do
        subfolder_name=$(basename "$subfolder")
        
        # 각 하위 폴더 안에 있는 파일들을 처리합니다.
        for file in "$subfolder"/*; do
            if [ -f "$file" ]; then
                echo $(basename "$file")
                # 파일 이름에서 [yyyyMMDD] 부분을 추출합니다.
                date_str=$(basename "$file" | sed -n 's/.*\\[\\([0-9]\\{6\\}\\)[0-9_]*\\].*/\\1/p')
                
                if [ -n "$date_str" ]; then
                    # 파일 이름에서 년도와 월을 추출합니다.
                    year_month="${date_str:0:6}"

                    # 새로운 경로를 생성합니다.
                    new_path="$autobill_path/$year_month/$clientNo/$subfolder_name/$(basename "$file")"

                    # 폴더가 없다면 생성합니다.
                    mkdir -p "$(dirname "$new_path")"

                    # 파일을 새로운 경로로 이동합니다.
                    mv "$file" "$new_path"
                    echo "$file을(를) $new_path로 이동했습니다."
                else
                    echo "파일 $file의 날짜 형식이 잘못되었습니다."
                fi
            fi
        done
    done
    echo "clientNo: $clientNo 이동했습니다."
done
l

아쉬운점

• 정확한 시간 계산을 하지 않음
  • 백업폴더를 만들 때 대략 10분 걸림
  • 백업 폴더 만들기 + 파일 옮기기
  • 예상: 20 ~ 25분 실제: 40 ~ 50분
    
    • 어플리케이션 배포 전 1차 작업 + 어플리케이션 배포 후 2차 작업

피드백

• 심볼릭 링크 사용
• cp, mv 어떤걸 사용해야 할까?
• 아이노드 및 파일 시스템이 무엇인가?
• 저장 파일의 확장자 안보이게 하기

참고자료:

• https://medium.com/naver-cloud-platform/posix-알아보기-1-linux-리눅스-파일-시스템의-종류와-특징-96a2e93e33b3