Category Archives: 개발

Elasticsearch 7.5.x AlreadyClosedException

7.5 이전 버전에서는 Closed 된 Index를 삭제하여도 위 에러가 나지 않았는데 7.5 이후 버전에서는 해당 워닝을 출력한다. 아마도 자체적으로 Index 삭제시 Close 로직이 추가된 것 같다. (아직 소스코드를 열어보진 않았음..+_+) 그래서 기존 curator에서 Close 후 Delete 하던 것을 Delete 만 하게 수정으로 해결.

ffmpeg 영상의 특정 부분 mp3 변환

영상 파일을 보다 보면 특정 부분을 mp3 같은 음악파일로 만들고 싶을때가 있다. 예를 들어 중간에 나오는 BGM이 좋다던가 노래가 좋다던가 할때 ffmpeg를 이용해서 특정 부분은 음악 파일로 만들 수 있다. 명령어도 아주 간단하다. (ffmpeg 이 설치되어 있다는 존건하에..) 옵션 설명 -i 변환할 원본 파일 -ss 시작 시간 -to 종료 시간 영상을 그대로 사용하면서 특정 부분만… Read More »

AWS ECR no basic auth credentials Error Mac

맥에서 AWS ECR 이미지를 가져오거나 올릴때 인증을 해야 하는데 어느순간 no basic auth credentials 에러를 리턴하기 시작했다. 보통 아래 명령으로 로그인 후 작업하는데 Linux 서버에서는 잘 되는데 로컬 Mac에서 잘 되지 않아 삽질을 좀 했다. (xxxxxxxxxxxx 는 aws ecr registry id를 넣어준다.) 로그인은 정상적으로 되었다고 메시지가 나오는데 docker image 를 pull 하면 no basic auth… Read More »

Kafka 1.x to 2.x Rolling Upgrade

현재 운영중인 Kafka 버전을 올려야하는 이슈가 생겼다. 뭐 크리티컬 하지는 않지만 그래도 필요한…. logstash를 6.4버전대로 올리려고 하니까 logstash kafka input plugin 버전도 같이 올라가서 새로 올라간 버전이 1.1.x 버전을 지원하지 않는다..;; logstash 버전을 올리 수 없는 문제가 있다. 그래서 결심했다 kafka를 2.3.0 (현재 최신) 으로 올려보자. 먼저 Kafka와 Zookeeper 종료 Kafka, Zookeeper 시작 브로커가 정상적으로… Read More »

Windows 10 잠깐(?) 공짜로 쓰기

Mac 을 사용하다 보면은 가끔 윈도우가 필요할 때가 있다. 필요한 특정 프로그램 윈도우에만 돌아간다던가…등등.. 그럴때 가상머신을 많이 사용하는데 문제는 라이선스이다. 잠깐 쓰기 위해서 구매하기도 그렇고.. 이럴때 좋은게 MS에서 제공하는 테스트용 가상머신 이미지이다. 이미지를 받으면 90일 동안 무료로 사용할 수 있다. 기본 영문 버전이지만 한글 Language 팩 설치 및 설정을 변경하여 한글 윈도우로 사용할 수 있다.… Read More »

logstash auto reload config

logstash 로 config 작성할때마다 맨날 까먹는 config auto reload config를 변경하고 logstash 를 다시 시작하지 않아도 config 파일이 변경되면 새로 로딩 해준다. 하지만 사용시 주의 할점은 모든 플러그인이 auto reload를 지원하지 않기 때문에 사용하는 플로그인이 지원하지 않을 경우 이슈가 발생할 수 있음.

AWS EC2 시간 동기화 chrony

AWS 환경에서 시간 동기화는 chrony 를 많이 사용한다. 설정도 간단하다. 우분투 기준 기타 다른 OS 및 자세한 정보는 아래 링크를 통해 확인할 수 있다. https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/set-time.html