티스토리

Daily Tech Notes

검색하기

블로그 홈

Daily Tech Notes

hazel-developer.tistory.com/m

매일매일 개발하고 기록하기

구독자: 22

방명록 방문하기

주요 글 목록

[정리]AWS Cloudwatch에 EKS Log 전송하기 우선 해당 글은 로그 전송에 대한 실습이 아닌 해당 방법에 대한 정리글입니다! 이전에 정리한 내용에서 직접 실습하면서 조금 달라진 내용이 있어서 수정했습니다(2022.07.14 수정) 회사에서 EKS를 활용하게 되면서 어플리케이션 작업내역을 로깅 및 모니터링 해야할 필요가 있었고, 다른 오픈 소스를 활용하기보다 AWS cloudwatch를 활용해보고자 했다. AWS의 공식문서를 참고하여 가장 대표적으로 Fluentd와 Fluent Bit을 사용하는 것을 알게 되었다. (AWS 공식문서) 이번 글에서는 실질적인 실습보다는 로깅을 위해 Fluentd와 Fluent Bit을 어떻게 활용할 수 있는지 이 둘은 어떤 차이가 있는지 개념적으로 정리해보려 한다. 참고 자료는 AWS공식문서를 중심으로 정리해보았다. ✅.. 공감수 0 댓글수 0 2022. 7. 10.
[AWS]EMR(spark) Job 실행하기 EMR on EKS : spark job submit S3 -> EMR(spark) -> S3 1. cluster 정보 확인 aws emr-containers list-virtual-clusters 2. 기본적인 정보 등록 export EMR_EKS_CLUSTER_ID= export EMR_EKS_EXECUTION_ARN= export S3_BUCKET= -> role에는 이전에 emr on eks 세팅할 때 만들었던 role 정보(EMRContainers-JobExecutionRole)를 입력 -> S3 bucket은 필수정보는 아닌듯하다. 작업을 위한 pyspark파일이 담긴 s3 경로인 것이다. 3. pyspark 코드를 입력해서 위의 s3 버킷에등록 예시코드 import sys from rando.. 공감수 0 댓글수 0 2022. 6. 9.
[AWS]EMR on EKS 세팅 실습하기 EMR을 기본적으로 활용할 때, spark 작업을 진행하려면 기본적으로 제공하는 리소스 매니저인 yarn 보다는 k8s 즉 aws eks를 리소스 매니저로 활용하는 것이 좋다. 빠른 처리 속도를 지닌 spark에 대한 리소스 관리를 yarn보다 더 빠르고 효율적으로 해주기 때문이다. 리소스 매니저로서 yarn과 k8s에 대한 비교는 후에 좀 더 자세히 다뤄보는 것으로 하고, 이번에는 EMR을 EKS 위에 세팅하는 방법에 대해서 정리해보려 한다. aws에서 제공하는 개발가이드 문서(링크)를 참고해서 설정했다. 1. eks 클러스터 세팅 블로그 정리한 글 참고하여 세팅하기 2. emr 클러스터 세팅 블로그 정리한 글 참고하여 세팅하기 3. eks에서 emr에 대해 액세스 활성화하기 eks에서 emr이 클러스.. 공감수 2 댓글수 0 2022. 6. 3.
[AWS]EKS 세팅 Trouble Shooting 정리 [AWS]EKS 시리즈 1. EKS 세팅 실습하기(링크) 2. EKS 세팅 트러블슈팅 정리(현재글) 3. EKS 서비스 배포(링크) Error 1-1: add-on coredns status : degraded error message : InsufficientNumberOfReplicas description : it doesn't have the desired number of replicas -> 해당 글을 참고했다. kubectl describe deployment coredns --namespace kube-system 위의 명령어를 통해 coredns에 대해서 자세하게 살펴봄 replica가 두개 필요한데 사용불가한 상태이다. 아래 명령어로 replicas 조절 가능 * replicas = 파.. 공감수 0 댓글수 0 2022. 5. 31.
[AWS]EMR 접속해서 실습환경 구축하기 [AWS]EMR 시리즈 1. EMR 세팅하기(링크) 2. EMR 접속하기(현재글) EMR에 접속해서 작업하기 일반적으로 EMR도 하나의 서버이기 때문에 private subnet내에서 구성될 것이고 따라서 외부에서 직접적인 접속이 불가능하다. 이를 위해서는 내부망이나 VPN이 깔려야 하는데, 현재는 (인프라,보안 팀에서) VPN이나 사무실 네트워크 관련해서 추가 작업을 진행 중이라서, 별도의 방법으로 접속해서 작업을 하고 있다. trouble shooting EMR 생성 시, ec2spot role 관련 에러 링크에 따라서 role 만들어주고 iam policy에서 필요한 policy 생성해줌 aws cli로 role 만들어준 다음에 해당 role을 복붙해서 emr role안에 그대로 add permis.. 공감수 0 댓글수 0 2022. 5. 27.
[AWS] EKS 세팅 실습하기 [AWS]EKS 시리즈 1. EKS 세팅 실습하기(현재글) 2. EKS 세팅 트러블슈팅 정리(링크) 3. EKS 서비스 배포 k8s에 대한 정리는 별도로 했으니, 링크 참고(~ing) eks 생성 및 설정에 대해서는 eksctl 방식으로 설정하는 경우에 대한 글이 더많다. (실제로 aws에서 가이드를 주는 영상에도eksctl 방식으로 설정 및 세팅하는 경우를 알려주고 있다.) https://www.youtube.com/watch?v=O3znWPUdt18 https://www.youtube.com/watch?v=kb6s0Tmp2CA 그러나 eks 기능 파악 + 섬세한 설정을 위해서 aws 콘솔을 통해 세팅하고자 한다. 콘솔로 작업하면, role이나 vpc 등을 좀 더 명확하게 내가 원하는 것으로 설정할 수.. 공감수 0 댓글수 0 2022. 5. 27.
[AWS] EMR 세팅 실습해보기 [AWS]EMR 시리즈 1. EMR 세팅하기(현재글) 2. EMR 접속하기(링크) EMR 클러스터를 실제로 구축하면서, 세부적인 기능과 활용하는 방법에 대해서 정리해보려 한다. 우선 알아야할 사항은 emr은 delete 개념이 없다. 그리고 re-start 개념도 없다. 즉 terminate를 누르면 그 클러스터는 영원히 종료가 된다. 그리고 종료된 cluster를 삭제하거나 재시작할 수 없는 것이다. 따라서 test용 emr은 가장 저렴한 버전으로 셋팅했다. 이 후에도 계속 가공 테스트나 연결 테스트를 하기 위한 플랫폼으로 활용하려 한다. EMR 생성하기 aws console로 구축하되 세부적인 설정을위해 advanced option으로 설정하기 version은 가장 최신꺼는 불안정할거 같아서 5.x... 공감수 3 댓글수 0 2022. 5. 17.
AWS VS GCP AWS GCP 가격 시간당 분당 컨테이너 도커, 쿠버네티스 쿠버네티스 메인 기능 다양한 클라우드 기반 제품과 서비스를 제공함으로써 퍼블릭 클라우즈 시장을 장악 빅데잍와 같은 높은 컴퓨팅 오퍼링을 전문 주요 서비스 AWS의 주력 컴퓨팅 서비스는 Elastic Compute Cloud 또는 EC2 Compute Engine 비용 컴퓨팅 및 스토리지 비용 측면에서 조금 더 높다. AWS에 비해 경쟁력 있는 가격이다. 객체 저장 AWS S3 구글 클라우드 스토리지 VM 디스크 스토리지 Amazon Elastic Block Store(EBS) 영구 디스크(HDD 및 SSD 모두) 파일저장 Amazon Elastic File System(EFS) 클라우드 파일 저장소 아카이브 스토리지 S3 One Zone - 간헐.. 공감수 0 댓글수 0 2022. 3. 24.
VM(가상머신) VS Container(컨테이너) 도커와 쿠버네티스에 대해서 공부하다보니 가상서버에 대한 개념으로 가상머신기반 혹은 컨테이너 기반의 차이에 대한 언급이 많았다. 도커와 쿠버네티스는 기본적으로 컨테이너 기반의 가상화 플랫폼이다. 그렇다면 가상머신과 컨테이너 기반의 차이는 무엇일까? 가상머신(virtual machine) 가상머신은 컴퓨터 환경을 가상화하여 소프트웨어로 구현한 것이다. 이러한 가상머신들을 위의 그림과 같이 하이퍼 바이저가 가상화 하여서 guest OS와 함께 컴퓨터 환경이 구성된다. 컨테이너(Container) 가상머신보다 더 작은 단위이고 실제로 내부에서 처리하는 일도 더 적기 때문에 보다 간단하고 빠르고 효율적으로 애플리케이션을 실행할 수 있다. 그러나 가상머신처럼 가상의 guest os를 구성하여 여러 os를 사용할 수.. 공감수 0 댓글수 0 2022. 3. 1.
CI/CD란? CI/CD란 지속적통합(Continuous Integration)과 지속적 배포(Continuous Deployment)를 의미한다. 일반적으로 git을 개발 소스/버전 관리 시스템으로 많이 활용하므로, CI/CD를 현실에 빗대어 생각해보면, git에 코드를 커밋함과 동시에 수동으로 일일이 작업하지 않고 자동으로 빌드/테스트/배포되는 것이다. CI - 빌드/테스트 자동화과정 작업한 소스 코드를 깃에 커밋하자 마자 자동으로 빌드/테스트되어 여러 개발자들의 코드가 충돌되는 것을 방지하는 과정이다. 가령 CI 작업을 하지 않는다면, 한 개발자가 커밋 한 후에 수동으로 빌드와 테스트를 해주어야 하고, 만약 이 과정을 잊고 실행하지 않은 상태에서 다음 개발자가 다른 소스 코드를 커밋하고 통합한 후 빌드/테스트 한.. 공감수 0 댓글수 0 2022. 3. 1.
docker VS kubernetes docker VS kubernetes 가상서버, container application을 공부하다보면 가장 많이 들리는게 도커와 쿠버네티스이다. 이 둘을 선택의 대상으로 생각하고 개념을 이해해버리면 안된다. 컨테이너란 무엇일까? 가령 하나의 서비스를 이루는 구조가 FE는 react, 그리고 서버는 node.js / python / java로 구성되어있다고 하면 이 각각 하나가 컨테이너이다. 도커란? 컨테이너 기반의 오픈소스 가상화 플랫폼. 각 응용프로그램들인 컨테이너를 배치하고 이들의 배포와 관리를 단순하게 해준다. 이미지는 컨테이너 실행에 필요한 파일들과 설정을 가지고 있는 개념으로 보면된다. 이 이미지들로 컨테이너를 구축하고 실행한다. 위와 같은 구조를 여러번 배포해서 여러개의 서버에 동작하도록 하고.. 공감수 0 댓글수 0 2022. 2. 25.
Deploy- EC2 가상서버에서 서버연동(Nginx+flask) 진짜진짜 너무 중요한 마지막 단계! 이를 통해 얼추 실제 웹 서버의 통신 단계에 대해서 이해하게 되었다. 또한 다양한 설정을 하는 것에 있어서 구글에 힌트가 있지 그것들이 정답이 아닐 수 있으므로, 깊이 이해하고 사용해야겠다고 느꼈다. 이제 EC2로 만든 가상 컴퓨터 내에 웹서버를 설치하고, 실제로 서버가 작동될 수 있도록 여러가지 설정하는 과정을 진행할 것이다. 이 과정에서 해당 웹서버와 내가 만든 서버 애플리케이션을 연결해보려 한다. 웹서버에는 대표적으로 apache와 Nginx가 있는데, 이번엔 NginX로 웹서버를 설치하여 flask 서버와 연동할 것이다. 우선 블로그 내 이미 EC2 instance를 구축하는 것에 대해서도 정리했고, web server도 설치해보았으므로, 관련해서는 해당 글을 .. 공감수 1 댓글수 0 2021. 1. 14.
Deploy_AWS Route 53 / ACM으로 SSL 인증서 발급받기 전체적으로 생활코딩의 강의를 바탕으로 정리했습니다. DNS를 통해 도메인을 발급 및 관리하고 AWS에 등록해주는 과정은 3단계가 맞물려 있다. 1. 도메인 발급 받기 2. AWS - Route 53 3. ACM - SSL 인증서 이 글에서는 도메인 발급하고 난 이후, AWS Route 53 기능에 대해 설명하고 사용할 것이다. ->도메인을 Route 53에서도 구매할 수 있다. 하지만 나는 무료 도메인 사이트를 활용했다. 발급만 무료 사이트에서 하고 name server 기능부터 Route 53을 활용했다. Rout 53 사용하기 1. 호스팅영역 생성하기 -> 이미 도메인을 다른 곳에서 발급한 상태라면 우리는 Route 53에서 호스팅영역생성부터 진행할 것이다. -> 퍼블릭 호스팅으로 진행하자! 간단하게.. 공감수 1 댓글수 0 2021. 1. 14.
Deploy_DNS(Domain Name System)를 이해하고 사용하기 전체적으로 생활코딩의 강의를 바탕으로 정리했습니다. DNS를 통해 도메인을 발급 및 관리하고 AWS에 등록해주는 과정은 3단계가 맞물려 있다. 1. 도메인 발급 받기 2. AWS - Route 53 3. ACM - SSL 인증서 이 글에서는 전체적으로 DNS가 무엇인지를 알아볼 예정이다. 이에 대한 개념이 조금 헷갈릴 뿐, 도메인 발급하는 방법은 매우 간단하다! Intro 각 컴퓨터의 주소를 의미하는 IP를 통해 서로 다른 컴퓨터끼리 통신하면서 네트워크가 발전하게 되었다. 하지만 IP주소는 너무 기억하기 어려웠고 이를 해결하기 위해 등장한 것이다 DNS 이다. DNS의 핵심은 DNS server이다. 이 곳에는 각 IP주소들에 대응하는 도메인 주소가 저장되어 있다. 우리가 만약 어떤 도메인 주소를 입력하.. 공감수 0 댓글수 0 2021. 1. 14.
AWS - Elastic Load Balancer(ELB) 해당 과정에 대한 정리와 이해는 생활코딩 강의를 참고했다. ELB의 개념과 역할 실제 웹 구조에서 Load Balancer의 역할을 한다. 즉 서버의 과부하와 에러를 최소화 하기 위해 수평적 확장을 가능하게 해주는 기능을 제공하는 것이다. 실제로 이 말은 서버를 여러 컴퓨터에 나눠서 제공하고 있으며, ELB는 유저의 다양한 요청을 받으면 적절하게 연결된 서버 컴퓨터에 나눠서 통신하게 되는 것이다. ELB 사용하기 우선 AWS로 접속하여 EC2 인스턴스 즉 서버를 만들어야 한다. EC2 instance 서버 구축하는 건 해당 글 참고 그리고 EC2 서버 내에 web server 또한 설치한다.(해당 글 참고) 서버를 구축하고 난 다음에 다시 EC2화면에서 왼쪽의 사이드바를 보면 로드밸런서가 있다. 이곳에서.. 공감수 0 댓글수 0 2021. 1. 6.
Deploy - AWS API Gateway 사용하기 전체적인 웹 통신 흐름에 따른 배포에 대한 글은 해당 블로그 참고 이번엔 AWS API Gateway에 대해서 좀 더 자세하게 정리하고 실제로 사용해 보려 한다. 생활코딩의 영상을 참고하여 정리했다. API Gateway 란? 말 그대로 client에서 server로 통신할 때 사용하는 많은 api들의 대문과 같은 역할을 하는 것이다. 우리가 개발단계에서야 api 주소는 localhost / 127.0.0.1 이렇게 동일하게 진행하지만, 실제 서버는 여러 컴퓨터에서 운용되고, 서버 주소들도 제각각일 것이다. 따라서 이를 상황에 맞춰서 일일이 주소를 바꿔준다면??? 매우 귀찮아질 것이다. 위의 client side 배포에서 진행한 build 과정을 다시 다 겪어야 한다. (client 코드의 api 주소를.. 공감수 0 댓글수 0 2021. 1. 6.
Deploy Strategy 정리 프로젝트를 재배포 하려고 배포에 대해서 꼼꼼하게 준비하면서 내가 잘못 알고 있었던 개념에 대해서도 많이 알게 되었고, 전체적인 웹의 간략한 흐름도 정리할 수 있었다. 따라서 간단하게 배포의 가장 기본적인 단계들에 대해서 정리해보려 한다.(기준은 AWS 기준이다. 그러나 각 단계에 필요한 기능들은 다른 곳에서도 사용할 수 있다. 배포 과정을 공부하려 할 때 각 단계에 대한 설명은 쉽게 찾아볼 수 있어도 전체적인 그림을 그리는 것이 생각보다 시간이 오래 걸려서 이 참에 내가 정리해 보았다! 1. client side 이해하기 쉽게 client side라고 표현했다. 실제로 user가 web의 경우 도메인 주소나 ip 주소를 검색창에 입력해서 해당 서비스의 렌더링 된 화면을 보는 과정이다. 이 과정의 경우는 .. 공감수 2 댓글수 0 2021. 1. 6.
Deploy - AWS EC2 Instance 구축하기 실제 서비스를 배포하기 위해 기존에 heroku로 배포했던 것을 AWS로 다시 배포하려한다. 특별한 패키지 없이 우선 시작은 무료로 해서, 그 한도가 넘을 경우 과금되는 AWS에 비해, 정해진 패키지를 제공해서 원치 않으면 결제가 되지 않은 heroku가 개발 단계에서 테스트및 빌드하기에 용이 했었다. 그러나 실제 배포를 위해서는 heroku는 역시나 한계가 컸고, AWS로 재배포하기로 하였다. 해당 배포 과정에 대한 정리와 이해는 생활코딩 강의를 참고했다. INTRO 배포 즉, 실제 서비스가 동작하기 위해서 서버 단에서 진행해야 하는 것을 이해하기 위해서는 블로그에 이미 정리해둔 web architecture에 대한 글을 참고한다면 좀 더 이해하기가 쉬울 것이다. 실제 웹구조는 좀 더 복잡하게 돌아가지.. 공감수 1 댓글수 0 2021. 1. 5.
heroku pipeline devcenter.heroku.com/articles/pipelines#deployment-with-pipelines 코드 통일성을 위해 파이프라인을 활용하고/ 동시 사용을 위해서 레포에 연결 파이프 라인은 단어 그대로 서버들이 연결되어있는 것이다. 즉 하나의 레포에서 동일하게 코드 관리가 쉽다. 하나의 레포에 여러 서버를 연결해두면 물론 좋겠지만, 그럼 각자 빌드를 해주어야 하고 그러다가 각 서버 배포마다 코드가 달라질 수 있기 때문이다. 이를 위한 관리가 파이프 라인이다. 1. 파이프 라인 만들기 깃헙 연결은 안해도 된다. 아래와 같은 화면이 나오면, 각 서버app들을 파이프라인내에 세팅하는 것이다. 여기서 staging과 production의 차이는,,? staging은 말그대로 빌드를 해주는 다리.. 공감수 0 댓글수 0 2020. 12. 17.
Web server - apache vs NginX 배포를 공부하면서 지금에서야 반성하지만, 배포 과정을 많이 신경쓰지 못했다 ㅠㅠ 웹서버의 개념과 아파치 nginX에 대해서 그냥 듣고 흘려 버렸으니까... 실제로 서비스를 코드로 구현하고 가장 중요한 배포 부분에서 웹서버에 대해서 공부하며 정리해보고자 한다. 실제로 설치 후 운영하는 부분과 더 자세한 개념은 추가적으로 다뤄보았으니 해당 링크를 참고하면 된다! (곧 첨부할 예정) INTRO web 이란? 즉 web = 인터넷이 아니라, 인터넷의 범위에 web은 한 종류 인 것이다. 웹서버란? 웹서버란 두 가지 의미를 모두 지닌다. 그러나 우리가 사용할 웹서버의 개념은 소프트웨어 측면이 더 강하다. 1) 하드웨어 측면 web server는 website의 컴포넌트 파일들을 저장하는 컴퓨터이다. (컴포넌트 파.. 공감수 0 댓글수 0 2020. 11. 20.
Heroku mysql DB 생성해주기 배포에서 가장 핵심 중의 하나인 DB 또한 heroku에 생성하는 방법을 정리해보고자 한다. 일단 헤로쿠는 서버 배포를 하면 자동으로 postgres 배포용 디비를 만들어준다. 하지만 이왕 로컬 디비를 mysql 기반으로 세팅해주었다면 배포용 디비도 같은 기반인 것이 좀 더 낫지않을까? 그래서 mysql 기반인 clear DB를 내가 배포한 서버에 연동된 DB에 추가해주자. 1. DB를 생성하려면 헤로쿠의 clearDB를 쓰면 된다. 우선 헤로쿠사이트에서 회원 가입을 하고 카드 등록을 해야한다. dashboard.heroku.com/account/billing Heroku dashboard.heroku.com 회원가입후에 해당 링크로 들어가서, 카드를 등록하면 한달에 1,000시간을 무료로 쓸 수 있다... 공감수 1 댓글수 0 2020. 11. 10.
Heroku 이용해서 flask 서버 배포하기 1차 프로젝트와는 달리 이번에는 헤로쿠를 활용해서 서버와 DB 배포를 진행하기로 하였다. 그 이유에 대해서는 아래의 링크를 참고하여 결정하였다. incoffee.tistory.com/3 또한, flask 로 서버 구축을 한다는 특성상, 헤로쿠를 통한 배포가 좀 더 효율적인 것 같다는 결론을 내렸다. 이와 관련된 이야기는 블로그 내에 정리해두었으니 참고! hazel-developer.tistory.com/31?category=816054 heroku 배포하기 첫번째 방법 -> 내가 작업하는 git repo의 특정 branch에 pull/ merge 되면 자동 배포되도록 처음에 아래 두번째 방법대로 하는데 자꾸 push failed가 떴다. 가상환경을 맞추다 보니 다양한 빌드팩들(모듈)을 맞추는 과정에서 발.. 공감수 0 댓글수 1 2020. 11. 10.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.