전체 글
-
Ubuntu 자동실행 스크립트 만들기Infra 2023. 5. 1. 15:41
1. 실행하려는 스크립트를 작성하십시오. 예를 들어, /home/user/myscript.sh 경로에 다음과 같은 스크립트 파일을 만들어보겠습니다. #!/bin/bash echo "Hello, world!" 2. 이 스크립트가 실행 가능하도록 하십시오. chmod +x /home/user/myscript.sh 명령어를 입력하여 스크립트에 실행 권한을 부여합니다. 3. systemd 서비스 파일을 생성합니다. /etc/systemd/system 디렉토리에 새 파일을 만들어야 합니다. 예를 들어, /etc/systemd/system/myscript.service 경로에 다음과 같은 내용의 파일을 만듭니다. [Unit] Description=My Script After=network.target [Servic..
-
Cassandra Cluster 3.x InstallationInfra 2023. 4. 22. 16:53
여기에서 다운로드 받아서 설치함 https://dlcdn.apache.org/cassandra/3.11.14/apache-cassandra-3.11.14-bin.tar.gz jdk는 1.8을 설치함 cassandra.yaml을 변경함 (chatgpt에게 질문했고, 아래와 같이 답변을 얻음) 아래의 key 값들만 변경하면 클러스터 동작함 cluster_name: 'testcluster' data_file_directories: - /home/user1/data/cassandra/data commitlog_directory: /home/user1/data/cassandra/commitlog seed_provider: # Addresses of hosts that are deemed contact points..
-
Delta Lake: 클라우드 객체 저장소 위의 고성능 ACID 테이블 저장소 - 1)Data 2023. 4. 22. 13:18
Amazon S3와 같은 클라우드 개체 저장소는 지구상에서 가장 크고 가장 비용 효율적인 스토리지 시스템 중 하나이므로 대규모 데이터 웨어하우스 및 데이터 레이크를 저장하는 매력적인 대상이 됩니다. 안타깝게도 키-값 저장소로 구현하면 ACID 트랜잭션 및 고성능을 달성하기 어렵습니다. 개체 나열과 같은 메타데이터 작업은 비용이 많이 들고 일관성 보장이 제한됩니다. 이 백서에서는 Databricks에서 초기에 개발된 클라우드 개체 저장소에 대한 오픈 소스 ACID 테이블 저장소 계층인 Delta Lake를 제시합니다. Delta Lake는 Apache Parquet 형식으로 압축된 트랜잭션 로그를 사용하여 ACID 속성, 시간 이동 및 대용량 테이블 데이터 세트에 대한 훨씬 더 빠른 메타데이터 작업을 제공..