분류 전체보기
PyCharm remote server
PyCharm remote server
2020.05.24본 글은 PyCharm Enterprise, Docker를 활용하였으며, 본 문서의 기능을 테스트하기 위해서는 PyCharm Enterprise의 기능이 필요합니다. Server Setting 필요요소 Docker가 설치된 리눅스 서버 본래 PyCharm remote server의 기능을 이용하기 위해서는 SSH서버, python 인터프리터 만 정상적으로 설치되고 실행 된다면 상관없다. 하지만 본 내용은 해당 기능을 간편하게 테스트 해보기 위한 자료로, 미리 구성 된 환경을 이용하기 위해 Docker가 필요하다. Python server 환경 실행 다음 도커 명령어를 실행하여 미리 구성된 파이썬 환경을 구동한다. 해당 도커 이미지에는 SSH서버, Django 프레임워크를 비롯하여 기본적인 Django 웹..
Linux 서버간 대용량 데이터 빠르게 옮기기
Linux 서버간 대용량 데이터 빠르게 옮기기
2020.05.24일반적으로 서버간 네트워크를 이용하여 파일을 옮길때에 scp, ftp 등의 명령어를 사용하여 옮긴다. 하지만, 파일의 수가 매우 많은 경우에는 각각의 파일에 대해서 데이터 검증을 실행하기 때문에 그만큼 오버헤드가 많이생기고, 속도 저하로 이어진다. 때문에 이러한 경우 tar와 같은 프로그램을 이용해 데이터를 압축하여 전송하는데, 이러한 경우 서버의 스토리지를 두배로 사용하게 되고 각각 압축, 전송에 걸리는 시간이 소모되어 비효율적이다. 전송법 ssh와 tar 명령어를 혼용하여 서버간에 데이터를 빠르고 효율적으로 옮기는 방법이 있어 소개한다. #bash tar -cp [복사할 디렉토리 상대경로] | ssh [목적지 주소] tar xvp -C [목적지 디렉토리 절대경로] 벤치마크 linuxaria의 여러가지..
apt 패키지 설치시 사용자 상호 작용 방지
apt 패키지 설치시 사용자 상호 작용 방지
2020.05.14dockerfile을 이용하여 패키지를 설치하는데, 아래와 같이 선택을 해야하는 항목들이 여러개 발생하여 작업에 어려움이 있었다. Preconfiguring packages ... Configuring tzdata ------------------ Please select the geographic area in which you live. Subsequent configuration questions will narrow this down by presenting a list of cities, representing the time zones in which they are located. 1. Africa 4. Australia 7. Atlantic 10. Pacific 13. Etc 2. Amer..
docker 컨테이너에서 GPU 사용
docker 컨테이너에서 GPU 사용
2020.05.14본 내용은 2020년 5월 14일에 작성 됨 본 내용은 docker community에디션 19.03.5 버전을 기준으로 작성 됨 예전에 docker에서 gpu를 사용해야 할때, nvidia 그래픽 카드를 지원하는 nvidia-docker 명령어를 따로 설치하여 사용했었는데, docker 진영에서 업데이트를 통해 위의 내용을 흡수하여 반영한 듯 하다. docker 공식 docs의 내용을 확인하면, 이제 별도의 명령어를 설치하지 않고, nvidia-container-runtime 이라는 패키지를 설치하는 것으로 docker 자체 명령어를 사용하여 nvidia-gpu 자원을 컨테이너에서 사용할 수 있도록 지원하는 것으로 보인다. 요구사항 nvidia 그래픽카드가 장착 된 linux 서버 docker 19.0..
Elastic Search FORBIDDEN/12/index read-only / allow delete (api)]
Elastic Search FORBIDDEN/12/index read-only / allow delete (api)]
2020.03.25스토리지 용량이 부족해지면, 키바나에서 해당 인덱스를 read-only로 변경하는 설정이 있다. 대처법은 먼저 디스크에 용량이 부족하거나 했던적이 있는지 확인하고, 그런 사실이 있는 경우 에러가 발생하는 인덱스의 설정을 확인한다. 인덱스 이름을 모른다면, 아래를 통해 인덱스 목록을 조회할 수 있다. curl -XGET 'http:///_cat/indices?v' 인덱스 세팅값 확인하기 curl -XGET 'http:////_settings?pretty' #결과 예시 { "fluent-bit" : { "settings" : { "index" : { "number_of_shards" : "1", "blocks" : { "read_only_allow_delete" : "true" }, "provided_nam..
Docker-1 설치 및 기본 CLI 활용
Docker-1 설치 및 기본 CLI 활용
2020.03.20도커란? 컨테이너 기반의 오픈소스 가상화 플랫폼 중, 가장 대중적으로 사용되고 있는 플랫폼. 컨테이너? 환경 관리 측면에서 현실세계의 컨테이너의 특징과 비교하여 비슷한 구석이 많음. 실제 컨테이너 VS Docker컨테이너 구분 실제 컨테이너 Docker 컨테이너 통일된 규격 내용이 무엇이든 동일한 규격의 상자 내용물에 관계없이 하나의 명령체계 편리한 이동 크레인을 통해 쉽게 옮기고, 쌓을 수 있음 Docker Hub등을 통해 쉽게 업.다운로드 가능 내용물 보호 내부의 물건들이 안전하게 보호됨 HOST의 환경에 컨테이너 내부가 영향받지x Docker 공부에 도움이 되는 키워드 키워드 설명 Image 컨테이너가 실행되기 전 상태. 환경을 주고 받을 때 이미지 형태로 전달한다. 프로그램에 비유하면 실행파일 C..
[DC/OS] DCOS Storage Service(DSS)
[DC/OS] DCOS Storage Service(DSS)
2020.03.19Enterprise한정으로 이용할 수 있는 기능이다. DC / OS Storage Service(이하 DSS)는 DC / OS 클러스터에서 볼륨, 볼륨 프로파일, 볼륨 제공자, 스토리지 장치를 관리하는 서비스다. DSS는 클러스터내의 다양한 구성 요소에서 스토리지 관련 정보를 수집하고 상태를 추적하며 사용자 요청을 처리하는 기능을 제공한다. 관련 용어 및 개념 CSI Spec Container Storage Interface(CSI)는 컨테이너 오케스트레이터(Mesos, Kubernetes, Cloud Foundry, Docker, etc.)들과 스토리지 공급업체(EBS, Dell ScaleIO, Ceph, Portworx, etc.)들 간의 API를 표준화 하기 위해서 커뮤니티에 의해 개발된 개방형 표..
WSL에서 Docker 사용하기
WSL에서 Docker 사용하기
2020.03.14WSL을 사용하게 되면서 VM을 거의 사용하지 않게 되었다. 성능이 필요한 작업들은 서버에 SSH로 붙어서 작업하는 편이고, 그렇지 않은 간단한 테스트들을 진행할때 VM을 이용하는 편이었는데 WSL은 그러한 간단한 작업들을 수행하기에 충분한 활용성을 보여주었다. 다만, 나는 업무 특성상 도커를 사용할 일이 많은데 WSL은 내부적으로 리눅스커널 위에서 동작하는 시스템이 아니다 보니, 기본 설정만으로는 WSL에서 도커를 설치하여 사용하는데 어려움이 있어, 내가 사용하고 있는 편법을 공유하고자 한다. 환경 소개 내가 WSL과 Docker를 편리하게 사용하기 위해 쓰는 환경을 공유한다. WSL 당연히 WSL이 기본적으로 설치가 되어있어야 한다. WSL설치는 링크를 참고하면 간단하게 할 수 있다.(MS Store..
REDHAT 제품 업데이트 세미나 후기(feat. DCOS와 비교)
REDHAT 제품 업데이트 세미나 후기(feat. DCOS와 비교)
2020.02.18근무 중인 회사가 REDHAT 파트너사로 계약하고 활동하게 되면서, 파트너사에게 제공하는 여러 교육이나 세미나에 참여할 기회가 생겼다. 아직은 mesos + marathon 스택을 사용하는 DC/OS에 익숙하고 kubernetes를 사용하는 openshift는 실무 수준의 경험은 부족함을 느끼고 있었고, 학습에 대한 필요성을 느끼고 있던 중에 제품 업데이트 세미나에 참여할 수 있게 되어서 학습하게 될 내용들에 대해서 미리 훑어볼 수 있는 좋은 경험이 되었다. 이번 세미나를 통해서 알게된 정보를 토대로, DC/OS와 비교하여 주요한 차이점이나 특장점을 위주로 한번 정리해 보고자 한다. OCP OCP를 직접 구축하여 실무에 적용해 보아야 정확한 비교를 할 수 있겠지만, 제공하고 업데이트 된 솔루션에 대한 내..
HTTP3 란 무엇일까
HTTP3 란 무엇일까
2020.02.17HTTP/3는 HTTP 프로토콜의 3번째 메이저 업데이트 버전이다. HTTP/2 버전이 배포된지도 약 4년 밖에 안지났는데 벌써 3버전이 배포된 것은, HTTP 프로토콜이 모든 웹 통신의 근간이 되는 프로토콜인 점, 1.1버전 이후 2버전이 발표되기 까지 걸린 시간이 18년이라는 점, 결정적으로 3버전에서는 그동안 변하지 않고 TCP를 기반으로 설계되어 왔던 토대를 모두 버리고, UDP에 근간을 두는 선택을 보면, 이번 메이저 발표는 매우 충격적이면서 이례이라고 볼 수 있다. 당장 HTTP 2버전에 대해서도 제대로 알지 못하고 있었던 나 자신에 대해서 반성하며, 지금까지의 HTTP와 함께, 완전히 새롭게 태어난 HTTP 프로토콜에 대해서 알아보는 시간을 가져보려고 한다. 지금까지의 HTTP HTTP/0...
컨테이너 환경에서 Redis Error
컨테이너 환경에서 Redis Error
2020.02.11Redis Max Connection Problem error message on program Vertx를 사용하여 구성한 시스템에서 갑자기 redis와 통신하지 못하는 오류가 발생했다. ERR max number of clients라는 에러와 함께 커넥션이 연결되지 않는다. Caused by: redis.clients.jedis.exceptions.JedisDataException: ERR max number of clients reached at redis.clients.jedis.Protocol.processError(Protocol.java:104) ~[jedis-2.4.2.jar:na] at redis.clients.jedis.Protocol.process(Protocol.java:122) ~..
PFX인증서에서 인증서 및 개인키 추출
PFX인증서에서 인증서 및 개인키 추출
2020.02.07PKCS#12 PKCS#12(Public Key Cryptography Standards #12)형식은 각종 키, 인증서가 모두 포함될 수 있는 형태이다. 해당 형식을 사용하면, 바이너리 형태로 저장되며, 이 파일을 PFX 파일이라고도 한다. openssl 툴이 설치되어 있어야 함 pfx파일에 CA인증서는 포함되어 있지 않을 수 있음 인증서 파일이 암호화 되어 있을 경우, 암호키를 입력해 주어야 함 사용 예시에서 확장자를 포함한 파일이름은 본인 설정에 맞게 자유롭게 추출 - 인증서 추출 openssl pkcs12 -in -clcerts -nokeys -out --password pass: - 개인키 추출 openssl pkcs12 -in -nocerts -nodes -out --password pass:..