전체 글
[confluence to tistory-6]개발한 기능들 API화(feat. fastapi)
[confluence to tistory-6]개발한 기능들 API화(feat. fastapi)
2021.10.10컨플루언스에서 작성한 문서들을 Tistory 블로그로 옮기기 위한 POC작성 및 테스트가 끝났으니, 본격적으로 기능을 서비스화 하기 위해 각각의 기능들을 restapi 형태로 감싸기로 하였다. 파이썬 웹 프레임워크 선택 평소에 자주 사용하였던 Flask를 활용하여 만들어 볼까도 하였으나, 최근에 관심있게 보고 있었던 fastapi가 눈에 들어와서 이번 기회에 간단하게 문법을 공부해서 적용해 보기로 하였다. fastapi에 대해서 간단하게 소개하자면 Starlette(내부적으로 uvicorn을 사용하는 경량 ASGI 웹 프레임워크)과 Pydantic(데이터 유효성 검사 라이브러리)의 장점을 적절히 버무려서, 매우 간편하게 개발할 수 있으면서 매우 빠른 성능을 보여주는 파이썬 웹 프레임워크이다. 여기서 말하..
[confluence to tistory-5]이미지 삽입
[confluence to tistory-5]이미지 삽입
2021.10.10이놈의 이미지 때문에 삽질을 며칠을 하였다. 이미지 썸네일 표시 안됨.. 컨플루언스에 업로드 되어 있는 이미지는 권한이 있는 사용자(나)만 볼 수 있는 이미지이기 때문에, OAuth2.0으로 토큰을 발행받은 시점에 다른 이미지 저장소에 공개 이미지로 업로드 하여, 새로 발급받은 주소로 이미지 주소를 치환하여 첨부했었다. 지난 confluence to tistory-2 편에서 작업한 내용은, 이 공개 이미지 저장소로 imgbb 라는 사이트를 이용하는 것이었다. 하지만 포스팅 발행까지 어느정도 완료되고 나자 매우 거슬리는 문제 하나를 발견했다. 바로 이미지 썸네일이 보이지 않는 현상!!! 아래의 두개 포스팅과 같이 이미지를 첨부하면, 썸네일에 이미지가 출력되어야 하는데 현재 발행방식으로는 이미지가 썸네일에 ..
[confluence to tistory-4]Confluence Api도 OAuth2.0으로
[confluence to tistory-4]Confluence Api도 OAuth2.0으로
2021.10.10Tistory Api 덕분에 OAuth2.0의 원리 및 활용법을 알게 되었는데, 생각해보니 사용자를 위해서라면 Confluence Api를 사용할 때도 OAuth2.0 방식으로 해야겠다는 생각이 되어 찾아보니, Confluence에서도 OAuth2.0을 지원하고 있었다. OAuth2.0 앱 등록 당연한 이야기 이지만 Confluence도 OAuth2.0 인증을 사용하기 위해서는 개발자 콘솔에서 어플리케이션을 등록하고, AppID 및 Secret등을 발급 받아야 한다. 순서는 다음과 같다. 개발자 콘솔의 Myapps에서 Create app버튼에서 OAuth 2.0 (3LO) integration 을 선택한다. 만들 어플리케이션의 이름을 입력하고 생성한다. 방금 생성한 항목에 접속해서 Permissions ..
[confluence to tistory-3]tistory api 및 OAuth2.0
[confluence to tistory-3]tistory api 및 OAuth2.0
2021.10.10이슈개요 tistory api를 활용하여 게시물 포스팅 tistory에서는 굉장히 개발자 친화적인 api 문서를 제공 하고 있었다. (내가 꼬인건지 모르겠지만, 외국 솔루션의 Document 들은 괜히 공식 문서랍시고 설명들을 쓸데없이 어렵게 써놓고 개발자들이 이것 저것 찾아봐야하게 문서를 써놓는 것 같다) < - 지금 다시 읽어보니 이때 왜 이렇게 화가 나있지.. 티스토리의 Open Api는 api사용시 인증방식을 OAuth2.0을 활용하도록 만들어 그 기능을 제공하고 있다. 나중에 사용자들에게 서비스를 제공할 것을 생각해 보니 컨플루언서의 API 인증방식도 가능하다면 OAuth2.0을 활요하면 좋지 않을까 생각하고 찾아보니 해당 인증방식을 지원하고 있었다. 그래서 인증 방식을 모두 OAuth 방식을 ..
[confluence to tistory-2]html 다듬기
[confluence to tistory-2]html 다듬기
2021.10.10신규 단위목표이미지 추출 및 공개서버에 업로드 → html내 링크 정보 치환테이블 테그 tistory 형식에 맞게 변경codeBox tistory 형식에 맞게 변경 필요추출된 페이지 테스트 등록추출된 html이 tistory 게시물로 등록되었을 때 바람직한 모양으로 출력되는지 테스트하기 위해서 테스트 게시물을 게시해 보았다. 눈에 띄는 문제점 두가지가 보였다.표 디자인이 구림코드박스 syntax highlight가 동작하지 않음보이는 문제점 말고도 가장 치명적인 문제점이 하나 있는데, html내부에 삽입된 이미지가 confluence Cloud 서버내에 저장되어 링크가 걸려있었다. 당연히 로그인 통해 인가된 사용자만 접근하여 이미지를 로딩해 올 수 있었기 때문에, 블로그에 정상적으로 게시하기 위해서는 이..
ElasticSearch Index LifeCycle to Template with Fluentbit
ElasticSearch Index LifeCycle to Template with Fluentbit
2021.03.29문제 DC/OS에서는 로그 모니터링을 위해 자체적으로 로그 수집 Agent로 FluentBit을 사용한다. 현재 사용하고 있는 시스템에서는 모니터링 시스템을 구축하기 위해서 FluentBit 을 활용하여 EFK를 구축하여 사용하고 있는데, 아래와 같은 설정을 통해 ElasticSearch에 적재되는 로그들이 매일 다른 Index명을 통해 저장되도록 설정되고 있었다. [OUTPUT] Name es Match * Host Port Logstash_Format True Logstash_Prefix fluent-bit 하지만 적재되고 있는 인덱스에 대해서 특별한 관리가 되지 않고 계속 로그가 쌓이기만 하고 있어서 서버에 과도한 용량이 점유되는 상황이 발생하여, ElasticSearch에서 자체적으로 제공하는 I..
confluence to tistory 제작-1
confluence to tistory 제작-1
2021.03.23개발 1일차 단위목표 confluence api 조사 페이지, 스페이스 목록 정보 조회 api 확인 특정 페이지 html or markdown export api 확인 REST API 활용 인증 구현 personal token 생성 : 을 base64로 인코딩 Authorization 헤더에 Basic 을 추가하여 사용 curl -H "Authorization: Basic " https://{confluenceBaseUrl}/rest/api/content space 목록 확인 구분 정보 비고 API 경로 https:///wiki/rest/api/space 매서드 GET 호출 목적 space의 name, key 쌍 확인 페이지 목록 조회 구분 정보 비고 API 경로 https:///wiki/rest/api..
gitlab 컨테이너 backup/restore(백업 및 복원)
gitlab 컨테이너 backup/restore(백업 및 복원)
2021.03.16본 문서는 DockerHub 이미지 gitlab/gitlab-ce:11.11.8-ce.0을 기준으로 작성되었으며 12.2 버전 이상이거나 컨테이너가 아닌 경우 공식 문서를 참고하는 것을 권장한다 gitlab에서 공식 제공하는 컨테이너를 사용하는 경우, gitlab 데이터를 백업 및 복원하는 과정에서 겪은 시행착오를 정리한다. 백업 복원 작업시 다음과 같은 내용들은 유의하는 것이 좋다. 백업 대상 서비스와 복원 대상 서비스의 gitlab 버전을 같은 버전으로 설정해 준다. 마운트를 완료한 상태에서, 순정상태의 gitlab을 한번 기동하여 동작을 확인한다. gitlab 쉘을 통해 복원 명령 수행시 확인 입력을 받는 경우(데이터 삭제시)가 있으므로 가급적으로 컨테이너에 직접 접근하여 명령을 수행한다. 공식 문..
2018년부터 2021년 3월까지의 회고
2018년부터 2021년 3월까지의 회고
2021.03.14무일푼으로 서울 상경 나는 어릴적 부터 줄곧 컴퓨터를 잘 다루고 탐구심이 강했다. 진학하려했던 대학교는 갑갑한 커리큘럼 속에서 정작 원하는 것은 스스로 , 공부해야 하는 곳으로 느껴졌다. 결국 대학 진학을 포기하고 학점은행제를 통해 정보보호학과로 진학하며 관련 공부를 해보려 하였지만 주변에 관련 공부를 하는 사람이 없어서 공부가 외롭고 물어볼 곳도 없었다. 그러던 중 서울에서 전액 국비로 정보보호 전문가 과정을 가르쳐 주는 곳이 있다는 소식을 듣고, 무작정 서울로 상경하여 친구 집에 서 얹혀살며 약 7개월간의 빈대생활 을 시작하게 되었다. 아침에는 생활비를 위한 아르바이트, 오후에는 국비교육 학원에서 교육수강, 새벽에는 복습과 자격증 공부등을 닥치는대로 했었다. 하루에 겨우 3시간도 자지 못했지만, 하루..
telegram chatbot api로 챗봇 만들기
telegram chatbot api로 챗봇 만들기
2021.02.10이번 연휴에는 코로나로 인해 예약 가능 좌석이 줄어들어서 그런지 유난히 열차 예매가 힘들었다. 사실 모두 매진 되어버려서 구매를 할수가 없었는데, 이번 기회를 틈타서 그동안 만들어 보고 싶었는데 귀찮아서 못만들어 봤던 텔레그램 api를 이용한 코레일 KTX 예매 챗봇을 만들어 보았다. 아래는 만들면서 정리한 내용들이다. telegram chatbot api 활용하기 텔레그램 챗봇 api를 활용하면 특정 체팅방에서 발생하는 여러 이벤트들을 지정한 서버로 전달하거나, 서버에서 특정 채팅방으로 챗봇이 이벤트를 수행하도록 지시를 내릴 수도 있다. 대화형 챗봇을 제작하기 위해서는 아래와 같은 과정을 수행해야한다. API 서버에 SSL적용은 필수인데, 텔레그램 봇의 웹훅은 https 프로토콜을 사용하는 사이트에만 ..
kubernetes shared memory 사이즈 조정
kubernetes shared memory 사이즈 조정
2021.02.08리눅스 IPC는 System V와 POSIX 두가지 표준을 가지고 있는데, System V 모델을 따르는 Shared Memory는 IPC Namespace Isolatior가 제공하는 기능만으로 별도의 작업 없이 사용하는데 큰 문제가 없지만, POSIX 모델의 Shared Memory는 파일 기반으로 관리되는 구조이다. https://www.technovelty.org/linux/shared-memory-on-linux.html 문제는 쿠버네티스에서 POD가 생성되면 기본적으로 64MB사이즈의 shm 공유메모리 공간이 할당되는데, 이 공간만으로는 제약이 걸리는 상황이 많이 발생한다는 점이다. 이러한 현상과 관련하여 몇가지 상황을 이전에도 경험했었고, 본 글을 작성하는 시점에서는 컨테이너 내에서 tens..
CKA 공부 할때 끄적끄적
CKA 공부 할때 끄적끄적
2021.02.08아키텍쳐쿠버네티스 클러스터는 크게 Control Plane 컴포넌트와 Node 컴포넌트 그룹으로 구분지을 수 있습니다. Control Plane을 포함한 모든 클러스터의 구성 요소들은 컨테이너 기반으로 동작하도록 설치가 되고, 기본적으로 간단화하기 위해, 또 보안을 위해 Control Plane 컴포넌트들은 특정 노드에만 올라가고, 일반 사용자 그룹의 컨테이너는 배포가 되지 않도록 설정됩니다. 일반적인 쿠버네티스 클러스터의 아키텍쳐에서는 이렇게 Control Plane 컴포넌트로 구성된 Control Plane 노드와 사용자 컨테이너 배포를 위한 Worker 노드로 구분되어 구성됩니다. 설치 방법별 구성요소 관리 팁kubeadm 사용 배포시Control Plane 노드의 /etc/kubernetes/ma..