DevOps
Docker 컨테이너 로그 용량
Docker 컨테이너 로그 용량
2020.06.30Docker 컨테이너를 많이 사용하다보면, 단시간에 로그가 급격하게 많이 쌓이는 현상이 발생하기도 한다. /var/lib/docker/containers 경로 아래에는 서버에서 동작중인 컨테이너들의 정보들이 기록되는데, 각각의 컨테이너별로 폴더가 생성이 되고, 그 아래에 "~~".log라는 이름으로 로그들이 생성되게 된다. 나는 이미 EFK 스택을 이용해서 ElasticSearch가 모든 로그들을 수집하여 관리하고 있도록 설정해 두었기 때문에, 저 로그들이 많이 쌓여있어도 아무런 의미가 없다. 그리고 멍청하게 시스템에 용량이 부족해져도 계속 로그가 생성되고 쌓이기 때문에, 저 로그들에 대해서 용량 제한과 같은 설정을 주어야 했다. 다행히도, 역시나 갓갓툴인 Docker에서는 이러한 현상에 대한 대비가 다..
apt 패키지 설치시 사용자 상호 작용 방지
apt 패키지 설치시 사용자 상호 작용 방지
2020.05.14dockerfile을 이용하여 패키지를 설치하는데, 아래와 같이 선택을 해야하는 항목들이 여러개 발생하여 작업에 어려움이 있었다. Preconfiguring packages ... Configuring tzdata ------------------ Please select the geographic area in which you live. Subsequent configuration questions will narrow this down by presenting a list of cities, representing the time zones in which they are located. 1. Africa 4. Australia 7. Atlantic 10. Pacific 13. Etc 2. Amer..
docker 컨테이너에서 GPU 사용
docker 컨테이너에서 GPU 사용
2020.05.14본 내용은 2020년 5월 14일에 작성 됨 본 내용은 docker community에디션 19.03.5 버전을 기준으로 작성 됨 예전에 docker에서 gpu를 사용해야 할때, nvidia 그래픽 카드를 지원하는 nvidia-docker 명령어를 따로 설치하여 사용했었는데, docker 진영에서 업데이트를 통해 위의 내용을 흡수하여 반영한 듯 하다. docker 공식 docs의 내용을 확인하면, 이제 별도의 명령어를 설치하지 않고, nvidia-container-runtime 이라는 패키지를 설치하는 것으로 docker 자체 명령어를 사용하여 nvidia-gpu 자원을 컨테이너에서 사용할 수 있도록 지원하는 것으로 보인다. 요구사항 nvidia 그래픽카드가 장착 된 linux 서버 docker 19.0..
Elastic Search FORBIDDEN/12/index read-only / allow delete (api)]
Elastic Search FORBIDDEN/12/index read-only / allow delete (api)]
2020.03.25스토리지 용량이 부족해지면, 키바나에서 해당 인덱스를 read-only로 변경하는 설정이 있다. 대처법은 먼저 디스크에 용량이 부족하거나 했던적이 있는지 확인하고, 그런 사실이 있는 경우 에러가 발생하는 인덱스의 설정을 확인한다. 인덱스 이름을 모른다면, 아래를 통해 인덱스 목록을 조회할 수 있다. curl -XGET 'http:///_cat/indices?v' 인덱스 세팅값 확인하기 curl -XGET 'http:////_settings?pretty' #결과 예시 { "fluent-bit" : { "settings" : { "index" : { "number_of_shards" : "1", "blocks" : { "read_only_allow_delete" : "true" }, "provided_nam..
Docker-1 설치 및 기본 CLI 활용
Docker-1 설치 및 기본 CLI 활용
2020.03.20도커란? 컨테이너 기반의 오픈소스 가상화 플랫폼 중, 가장 대중적으로 사용되고 있는 플랫폼. 컨테이너? 환경 관리 측면에서 현실세계의 컨테이너의 특징과 비교하여 비슷한 구석이 많음. 실제 컨테이너 VS Docker컨테이너 구분 실제 컨테이너 Docker 컨테이너 통일된 규격 내용이 무엇이든 동일한 규격의 상자 내용물에 관계없이 하나의 명령체계 편리한 이동 크레인을 통해 쉽게 옮기고, 쌓을 수 있음 Docker Hub등을 통해 쉽게 업.다운로드 가능 내용물 보호 내부의 물건들이 안전하게 보호됨 HOST의 환경에 컨테이너 내부가 영향받지x Docker 공부에 도움이 되는 키워드 키워드 설명 Image 컨테이너가 실행되기 전 상태. 환경을 주고 받을 때 이미지 형태로 전달한다. 프로그램에 비유하면 실행파일 C..
[DC/OS] DCOS Storage Service(DSS)
[DC/OS] DCOS Storage Service(DSS)
2020.03.19Enterprise한정으로 이용할 수 있는 기능이다. DC / OS Storage Service(이하 DSS)는 DC / OS 클러스터에서 볼륨, 볼륨 프로파일, 볼륨 제공자, 스토리지 장치를 관리하는 서비스다. DSS는 클러스터내의 다양한 구성 요소에서 스토리지 관련 정보를 수집하고 상태를 추적하며 사용자 요청을 처리하는 기능을 제공한다. 관련 용어 및 개념 CSI Spec Container Storage Interface(CSI)는 컨테이너 오케스트레이터(Mesos, Kubernetes, Cloud Foundry, Docker, etc.)들과 스토리지 공급업체(EBS, Dell ScaleIO, Ceph, Portworx, etc.)들 간의 API를 표준화 하기 위해서 커뮤니티에 의해 개발된 개방형 표..
REDHAT 제품 업데이트 세미나 후기(feat. DCOS와 비교)
REDHAT 제품 업데이트 세미나 후기(feat. DCOS와 비교)
2020.02.18근무 중인 회사가 REDHAT 파트너사로 계약하고 활동하게 되면서, 파트너사에게 제공하는 여러 교육이나 세미나에 참여할 기회가 생겼다. 아직은 mesos + marathon 스택을 사용하는 DC/OS에 익숙하고 kubernetes를 사용하는 openshift는 실무 수준의 경험은 부족함을 느끼고 있었고, 학습에 대한 필요성을 느끼고 있던 중에 제품 업데이트 세미나에 참여할 수 있게 되어서 학습하게 될 내용들에 대해서 미리 훑어볼 수 있는 좋은 경험이 되었다. 이번 세미나를 통해서 알게된 정보를 토대로, DC/OS와 비교하여 주요한 차이점이나 특장점을 위주로 한번 정리해 보고자 한다. OCP OCP를 직접 구축하여 실무에 적용해 보아야 정확한 비교를 할 수 있겠지만, 제공하고 업데이트 된 솔루션에 대한 내..
컨테이너 환경에서 Redis Error
컨테이너 환경에서 Redis Error
2020.02.11Redis Max Connection Problem error message on program Vertx를 사용하여 구성한 시스템에서 갑자기 redis와 통신하지 못하는 오류가 발생했다. ERR max number of clients라는 에러와 함께 커넥션이 연결되지 않는다. Caused by: redis.clients.jedis.exceptions.JedisDataException: ERR max number of clients reached at redis.clients.jedis.Protocol.processError(Protocol.java:104) ~[jedis-2.4.2.jar:na] at redis.clients.jedis.Protocol.process(Protocol.java:122) ~..
MYSQL Master, Slave Replication구성
MYSQL Master, Slave Replication구성
2020.01.10본 내용은 2020년 01월 10일에 작성됨. 본 내용은 mysql 5.7.28 버전을 기준으로 작성됨. 개요 [MYSQL master 서버] config 설정 (slave에서 읽어갈 로그 파일을 지정해 줌) [MYSQL master 서버] Backup 진행 (slave에서 master를 구독을 시작하기 전 환경을 동일하게 맞춰 주기 위함) [MYSQL master 서버] Replication 용 계정 생성 및 권한 할당 [MYSQL slave 서버] config 설정 (master서버와 다른 server-id를 할당) [MYSQL slave 서버] Restore 진행 (master에서 생성한 백업 파일을 이용하여 진행) [MYSQL slave 서버] master 서버 정보 추가 [MYSQL slave ..