프로젝트 경험기/파일 서비스 경험기 2

파일 관리 서비스 2 - S3 폴더 구조 설계

S3(스토리지) 폴더 구조 설계하기스토리지에 파일을 저장할 때 다양한 기준으로 폴더 구조를 설계 하여 저장 할 수 있다.S3는 내부적으로 데이터를 파티셔닝하여 분산 저장하는데, 우리가 할 수 있는 폴더 구조, prefix 등을 잘 활용하여 설계 할 수록 성능적인 이점 뿐만 아니라 관리 자체를 효율적으로 할 수 있다. 설계 방법에 대한 규칙의 특징이 대해 알아본다. 날짜 기반 구조 (Date-Based Structure)예시2024/08/18/files/...2024/08/17/files/......2022/05/19/files/...특징백업, 로그 파일, 일별/월별 데이터 저장 관리시 적절날짜 기준 데이터 조회시 폴더 구조가 명확해져 검색 성능 개선단 files/ 아래에 파일들이 많을 때는 추가 규칙 p..

파일 관리 서비스 1 - 업로드 (Presigned URL)

개요많은 서비스가 사용자로 부터 파일을 받아, 이를 스토리지 등에 저장 해 두고 관리한다. 업로드 간 올바른 데이터가 잘 업로드 되도록 검증하거나, 유출되면 안되는 중요한 정보도 있기 때문에 이를 잘 관리하는 것 또한 중요하고, 스토리지가 유저에 의해 오남용 되는 경우도 주의해야 한다. 해당 글에서는 다음 정보에 대해 알아본다.파일 업로드 간 올바른 데이터(무결성) 관리를 위한 검증 목록파일 업로드 시 스토리지 접근 주체 (BE vs FE)파일 업로드 Presigned URL 방법 파일 업로드 간 올바른 데이터(무결성) 관리를 위한 검증 목록파일  간 꼭 모든 사항을 필수적으로 검증해야 하는 것은 아니고, 서비스에 맞게 하면됨.대분류소분류내용1. 파일 형식 검증확장자 검증file 이름에서 확장자 검증  ..