AWS, Open Distro for Elasticsearch 설치
Serverless 환경은 장단점이 명확하다. 명확한 장점은 개발 및 관리 지만, 제공해 주는 주체(AWS)가 설정해 놓은 범위 밖에 있는 요구사항을 수용할 수 없다는 단점이 있다. RDS 의 Serverless 는 아직 Aurora 5.6(=MySQL 5.6)만 대응 가능하고,...
Serverless 환경은 장단점이 명확하다. 명확한 장점은 개발 및 관리 지만, 제공해 주는 주체(AWS)가 설정해 놓은 범위 밖에 있는 요구사항을 수용할 수 없다는 단점이 있다. RDS 의 Serverless 는 아직 Aurora 5.6(=MySQL 5.6)만 대응 가능하고,...
앞 포스트에서 AWS Lambda 에 MeCab 와 Python 스크립트를 통해 “아버지가방에들어가신다”를 성공적(?)으로 분석했다. 가장 기본적인 형태로 한글 형태소 분석기가 Lambda 에서 정상 동작 여부를 확인할 수 있었다. AWS, Lambda 기반 Serverless 한글 형태소 분석기(MeCab)...
지난 2017년 자사 문서를 분석하기위한 문서 요약 플랫폼을 개발했다. 핵심 문서를 추출하게 되면 가중치 높은 단어를 찾을 수 있다. 그 단어가 그 문서의 핵심 키워드라 가정하고, 통계를 작성했다. 이 통계가 바로 ‘트랜드’다. 사람이 직접...
요즘 사내 메신저를 개발하다 보니 데이터 저장 및 활용에 대해 관심도가 그 어느때보다 높다. 메신저의 특징상 사용자에게 쾌적함을 주지 않는다면 단순히 강제하기란 쉽지 않다. 가장 고민거리는 ‘검색’이다. 단도직입적으로 내가 원천소스 부터 개발했다면 일찌감치 Solr...
효율적인 MySQL 사용을 위해선 인덱스(index)가 필수다. 인덱스 지정에 따라 계산량이 얼마나 차이가 있는지 앞선 포스트에서 확인할 수 있다. 누구나 할 것같은 인덱스에 대해 조금 더 알아보자. MySQL 인덱스에 따른 산술적 계산량 차이 데이터베이스...
앞선 포스트에서 기본적인 Lambda Function 을 만들었고, 외부와 통신할 수 있는 인터페이스. API Gateway 를 생성해 랑데뷰함으로서, ‘나 살아있어요!’ 를 성공적으로 전달했다. 이제 한걸음 더 RDS/Aurora 와 연결해 볼 차례다. AWS, Lambda + API...
Cloud 서비스를 제공하는 업체 대부분은 Cloud 환경 구축에 주 목적을 On-Premise 환경 그대로 가상화(Virtualization) 하는데 주력했다. 이는 IDC 를 사용하고 있는 고객을 흡수 하기 위한 유일한 선택이었고, 그들(기존 IDC에서 서비스를 운영하는 업체)은 베어메탈 형태로서는...
앞선 글에서 LogStash 와 Fluentd 의 차이를 간단히 알아봤다. 이번엔 Fluentd 를 활용해 로그를 취합하고, 통계를 볼 수 있는 구조를 만들어보자. ElasticSearch, Fluentd, Kibana 조합으로 Nginx 의 Access Log 를 시각화 하는것이 목적이다. Fluentd...
얼마전 까지 로그를 수집하고 분석할 때 ELK Stack을 사용했다. 이중 L 은 LogStash를 의미했고, 다방면에서 로그를 수집할 때 매우 유용하게 사용해왔다. 개인적으로 AWS Aurora Slow-query 를 수집하고 분석할 때도 Fluentd를 사용하고 있다. LogStash 나...
MySQL 응용 프로그램을 개발한 개발자라면 빈번하게 요청되거나, 빠른 검색이 필요한 경우 인덱스(index) 지정이 필수라는걸 이미 알고 있을 것이다. 그 차이는 데이터 양이 많아질 수록 크게 차이가 나기 때문. 그렇다면 산술적으로 어느정도 차이가 있는걸까? MySQL의...