Data
-
Delta Lake: 클라우드 객체 저장소 위의 고성능 ACID 테이블 저장소 - 1)Data 2023. 4. 22. 13:18
Amazon S3와 같은 클라우드 개체 저장소는 지구상에서 가장 크고 가장 비용 효율적인 스토리지 시스템 중 하나이므로 대규모 데이터 웨어하우스 및 데이터 레이크를 저장하는 매력적인 대상이 됩니다. 안타깝게도 키-값 저장소로 구현하면 ACID 트랜잭션 및 고성능을 달성하기 어렵습니다. 개체 나열과 같은 메타데이터 작업은 비용이 많이 들고 일관성 보장이 제한됩니다. 이 백서에서는 Databricks에서 초기에 개발된 클라우드 개체 저장소에 대한 오픈 소스 ACID 테이블 저장소 계층인 Delta Lake를 제시합니다. Delta Lake는 Apache Parquet 형식으로 압축된 트랜잭션 로그를 사용하여 ACID 속성, 시간 이동 및 대용량 테이블 데이터 세트에 대한 훨씬 더 빠른 메타데이터 작업을 제공..