티스토리

Daily Tech Notes

검색하기

블로그 홈

Daily Tech Notes

hazel-developer.tistory.com/m

매일매일 개발하고 기록하기

구독자: 22

방명록 방문하기

주요 글 목록

[Data Governance]데이터 거버넌스란? 개념에 대한 간단한 정리 Intro 데이터 거버넌스..! 요즘 참 은근하게 많이 들리는 개념이다. 거버넌스라는 용어만 잘라서 정의를 살펴보면 "관리, 통합, 정책" 등의 용어와도 관련이 있어 보인다. 이전에는 대략적으로 데이터를 관리하기 위한 어떠한 업무나 프로세스겠구나 생각을 했었는데, 회사에서 데이터 거버넌스 담당자로 이에 대해 운영을 하고 정책에 대해서 고민하면서 본질적으로 데이터 거버넌스는 무엇일까? 어느 범위까지가 데이터 거버넌스일까?하는 고민을 많이 하게 되었다. 그래서 이 참에 본질로 돌아가서 데이터 거버넌스라는 용어에 대해 정리하고 내 나름대로 정의를 내려 정리해보려 한다. 데이터 거버넌스가 중요한이유? 명확하게 정의를 내리기 어려운 개념에 대해서 억지로 정리하려하기 보다는 해당 개념이 어디에서 쓰이고 왜 필요한지.. 공감수 0 댓글수 0 2023. 5. 2.
[데이터 중심 애플리케이션 설계] CH 03. 저장소와 검색(2) Point 트랜잭션 처리와 분석 OLTP와 OLAP 분석용 데이터 웨어하우스 분석에 용이한 칼럼지향 저장소 트랜잭션 처리 혹은 분석 초창기 비즈니스 데이터 처리는 판매, 발주, 급여 발주와 같은 커머셜 트랜잭션 즉 상거래와 같은 데이터 쓰기가 대부분 데이터베이스 처리가 확장되었어도 트랜잭션이란 용어는 그대로 사용되어 이제는 논리 단위 형태로서 읽기와 쓰기 그룹을 나타낸다. 트랜잭션이 반드시 ACID(원자성, 일관성, 격리성, 지속성)을 가질 필요는 없다. 트랜잭션 처리는 주기적으로 수행되는 일괄처리 작업과 달리 클라이언트가 지연시간이 낮은 읽기와 쓰기를 가능하게 한다는 의미이다. 즉 주기적으로 스케줄처리가 되는것과 달리 요청에 따른 응답을 최대한 빠르게(실시간에 가깝게)처리하는 것이 트랜잭션 처리이다. .. 공감수 1 댓글수 0 2023. 4. 11.
[Apache Spark]Spark Shuffle에 대해서 Intro 이전에 두번이나 spark에 대해서 글을 정리 했었는데, [Apache Spark]Join Strategy(조인 수행 전략/방식) [Apache Spark]Spark Partition에 대한 간단한 정리 해당 개념에 대해서 정리하다보니 spark shuffle에 대해 자주 언급이 되길래 개인적으로 이 개념에 대해서 내가 얼마나 이해를 하고 있는걸까? 라는 생각이 들면서 한번 정리할 필요성을 느꼈다. 어째 다시 back to basic 하는 느낌이 들기는 하지만, 정석대로 차차 공부해가기엔 너무나 공부할 양이 많은 spark에 대해서 이렇게 관련된 개념들에 대해서 추가적으로 정리해가면서 공부하는 것도 나쁘지는 않겠다는 생각도 들었다. 이번에는 spark의 shuffle에 대한 개념에 대해서 정리.. 공감수 0 댓글수 0 2023. 4. 9.
[데이터 중심 애플리케이션 설계] CH 02. 데이터 모델과 질의 언어 데이터 모델은 소프트웨어가 어떻게 작성됐는지 뿐아니라, 해결하려는 문제를 어떻게 생각해야하는지에 대해서도 지대한 영향을 미치므로 개발에서 중요한 부분이다. 아래와 같은 고민을하고 결정을 하면서 데이터 모델을 표현하게 된다. 개발자는 객체나 데이터 구조, 그리고 이러한 데이터 구조를 다루는 API를 모델링한다. 데이터 구조를 저장할때는 JSON이나 XML 문서, 관계형 데이터베이스 테이블이나 그래프 모델같은 범용 데이터 모델로 표현한다. 데이터베이스 소프트웨어를 개발하는 엔지니어는 데이터를 메모리나 디스크 또는 네트워크 상의 바이트 단위로 표현하는 방법을 결정한다. 그렇다면 더 하위 계층의 하드웨어 엔지니어는 자기장 등의 관점에서 바이트를 표현하는 방법을 알아낸다. 위의 예시에서 아래로 내려갈수록 더 하위.. 공감수 0 댓글수 0 2023. 3. 27.
[Apache Spark]Spark Partition에 대한 간단한 정리 Intro 지난번에는 spark join에 대해서 정리를 해보았는데, 공부할 때마다 은근 많이 언급되는 개념이 spark partition이었다. partiton/partitioning에 대해서 대략적으로는 어떤 느낌인지 이해는 가지만 명확하게 어떤 개념인지 설명하기가 어렵다는 생각이 들어서, 이번에는 spark partition에 대해서 간단하게 정리를 하고 넘어가려 한다. 사실 spark partition에 대해서도 깊이 파고들면 끊임없이 공부할 부분이 많은 개념이다보니 이번에는 partition의 개념과 종류에 대해서, 그리고 그 각 파티션에 대한 간단한 개념만 짚고 넘어가려한다. Spark Component spark partition에 대해서 이해하고자 할때 먼저 이해하고 넘어가면 좋은 부분이 .. 공감수 0 댓글수 0 2023. 3. 26.
[데이터 중심 애플리케이션 설계] CH 01. 신뢰할 수 있고 확장 가능하며 유지보수하기 쉬운 애플리케이션 요즘 대부분의 애플리케이션은 계산중심(CPU 성능)이 아닌 데이터 중심(데이터 복잡도, 변화 속도 등)이다. 즉, CPU성능은 더이상 애플리케이션의 동작을 제한하는 요소가 아니며, 이제는 데이터의 양, 복잡도, 변화속도 그리고 이를 처리할 수 있는 방안과 기술이다. 이러한 데이터 중심 애플리케이션은 기본적으로 "데이터베이스. 캐시, 검색 색인, 스트림처리, 일괄처리" 등을 필요로 한다. 이들을 데이터 시스템이라고 묶으며, 이러한 데이터 시스템의 활용에 대한 고민과 구조 설계는 애플리케이션 서비스 개발자들 또한 고민해야 하는 사항이다. (가령 클라이언트에서 A라는 정보에 대한 조회를 요청했을때, 실제 서버에서는 해당 api를 받고난 이후에, 캐시를 확인하고 데이터가 있으면 반환, 없으면 메인DB를 조회 하.. 공감수 0 댓글수 0 2023. 3. 21.
[Apache Spark]Join Strategy(조인 수행 전략/방식) Intro 회사에서 작년 말부터 업무적으로 spark를 많이 사용하게 되면서, 기존에 대략적으로만 이해하고 있던 spark에 대해서 이제 본격적으로 공부할 때가 되었다고 생각했다. spark 공부의 정수인 [spark 완벽가이드]를 읽으면서 업무를 하던 와중에, spark join을 유독 많이 사용하게 되었고 이에 대해서 좀 더 자세하게 이해할 필요가 있었다. 따라서 spark 중에서도 join, 그리고 이 join에는 어떤 전략들이 존재하는지를 공부해보았다. 일단 본인이 spark로 업무를 하면서 대부분의 작업들이 join인데, 무작위로 작업하면서 OOM에러도 많이 발생시키고 심지어 cluster들을 수없이 죽여서 cluster 살인마라는 별명까지 얻기에 이르른...😂 따라서 이번글에서는 spark에서.. 공감수 3 댓글수 0 2023. 2. 25.
[글또] 새로운 한 해의 시작, 그리고 글또8기! 글또를 또 한 번 시작하며 약 일년만에 글또 7기 다짐글을 보면서 한 번 시작해볼까? 글또 7기 다짐글 글또7기 다짐글을 읽으면서 가장 처음 드는 생각은 일년이란 시간이 참으로 짧은데 길다였다. 일년도 채 안된 시간동안 나라는 사람은 엄청 많은 변화를 겪으며 성장해있었고, 새로운 방향과 목표가 생겨있었다. 이런 변화의 속도라면 내년의 나는 도대체 또 어떻게 살고 있을까 하는 설렘과 기대와 함께 약간의 걱정이..? 2022년 글또 7기를 처음 시작했을 때의 나는, 개발자로 전향을 해서 일년간 일을 하긴 했는데 뭐가 뭔지 모르겠고 자신도 확신도 없던 그런 상태였던거 같다. 개발적인 지식을 좀 더 쌓고 글로 쓰다보면 뭔가가 보이겠지? 이러한 기대감으로 글또를 무작정 시작했던 것 같다. 그리고 주변에 개발자 지.. 공감수 7 댓글수 0 2023. 2. 1.
[하둡 완벽 가이드]Ch07. 맵리듀스 작동방법 하둡 완벽가이드를 읽으며 정리한 내용입니다. 7.1 맵리듀스 잡 실행 상세 분석 클라이언트 노드에서 맵리듀스 잡을 제출 YARN 리소스 매니저 클러스터 상에 계산 리소스의 할당을 제어 YARN 노드 매니저 각 머신에서 컨테이너를 시작하고 모니터링 MRAppMaster MR잡을 수행하는 각 태스크를 제어한다. AppMaster와 MR task는 컨테이너 내에서 실행되며 리소스 매니저는 잡을 할당하고 노드 매니저는 태스크를 관리하는 역할 공유 파일 시스템 서로 다른 단계 간의 잡 리소스 파일들을 공유하는데 사용된다.(보통 HDFS) 7.1.1 잡 제출 클라이언트 노드에서 맵리듀스 잡을 제출할 때의 과정을 상세하게 정리 내부의 JobSubmitter 인스턴스 생성 리소스 매니저에 MR 잡 ID로 사용될 새로운.. 공감수 0 댓글수 0 2022. 10. 23.
[하둡 완벽 가이드]Ch04. YARN 하둡 완벽가이드를 읽으며 정리한 내용입니다. YARN은 하둡의 클러스터 자원관리 시스템이다. 맵리듀스의 성능을 높이기 위해 하둡2에서 처음 도입되었으나 맵리듀스뿐만 아니라 다른 분산 컴퓨팅 도구도 지원한다. 분산 컴퓨팅 프레임 워크는 위의 그림과 같이 계산 계층(YARN)과 저장계층(HDFS, HBASE)위에서 YARN 애플리케이션을 실행한다. 피크, 하이브 같은 애플리케이션은 맵리듀스, 스파크에서 구동되는 처리 프레임 워크이며 YARN에 직접 접근하지 않는다. 4.1 YARN 애플리케이션 수행 해부해보기 [YARN의 구조] YARN은 기본적으로 Resource Management 기능과 Job Scheduling/Monitoring 기능을 분리된 데몬에서 처리한다. 이를 구현하기 위해서 Global R.. 공감수 4 댓글수 1 2022. 10. 9.
[하둡 완벽 가이드]Ch03. 하둡분산 파일 시스템 하둡 완벽가이드를 읽으며 정리한 내용입니다. 네트워크로 연결된 여러 머신의 스토리지를 관리하는 파일 시스템을 분산 파일시스템이라고 한다. 즉 분산 파일 시스템은 네트워크 기반이므로 네트워크 프로그램의 복잡성을 모두 가지고 있다. 하둡은 HDFS라는 분산 파일 시스템을 제공한다. 3.1 HDFS 설계 HDFS 사용이 적절한 경우는? 매우 큰 파일 수백 메가바이트, 기가바이트, 테라바이트 크기의 파일을 다룬다. 스트리밍 방식의 데이터 접근 ‘가장 효율적인 데이터 처리 패턴은 한번쓰고 여러번 읽는 것’. 한번 생성되면 이후에 다양한 목적으로 여러번 읽히게 된다. 특정 데이터 하나를 읽는데 걸리는 지연시간보다, 많은 데이터를 읽을 때 걸리는 시간이 더 중요하다 이 말은 소수의 데이터를 하나하나 읽어들이는 작업과.. 공감수 3 댓글수 0 2022. 10. 4.
[Index]검색엔진에서의 SS테이블/LSM트리인덱스 활용(2) - ES의 세그먼트 Intro 1~2주 전에 "검색엔진에서(특히 ElasticSearch) LSM트리 인덱스가 활용되고 있다."는 특성에 이해가 가지 않아서, LSM트리인덱스 방식에 대해서 정리를 했었다. [Index]검색엔진에서의 SS테이블/LSM트리인덱스 활용(1) 이전 글은 위의 링크를 참고하면 된다. 그러나 결국 해답을 찾지 못했고, 그래서 검색엔진에서도 대표격인 ElasticSearch에 대해서 좀 더 정리해야겠다고 느꼈다. 이번 글은 어떻게 보면 ElasticSearch에 대해 정리한 글이라기 보다는, ElasticSearch가 어떤 개념인지, 어떤 구조를 지니고 특징을 가졌기에 데이터를 효율적으로 관리(읽고 쓰는 일련의 작업)하기 위한 알고리즘 방식으로 LSM트리 방식을 활용하고 있는지에 대한 의문을 해결하는 .. 공감수 3 댓글수 0 2022. 9. 24.
[하둡 완벽 가이드]Ch01. 하둡과의 만남 & Ch02. 맵리듀스 하둡 완벽가이드를 읽으며 정리한 내용입니다. 1.1 데이터 빅데이터의 등장, 즉 활용할 수 있는 데이터가 점차 늘어나고 중요해지고 있으며, 이에 대한 저장과 분석 즉 다루는 기술의 어려움에 대해서 언급하고 있다. 즉 "하둡"이라는 기술이 사용되어야 하는 이유를 설명하고 있다. 1.2 데이터 저장소와 분석 디스크의 용량과 성능이 아무리 좋아진다고해도, 하나의 디스크에서 모든 데이터를 읽기보다 여러 디스크에서 분산되어 병렬로 작업하는 것이 훨씬빠르다. 책에서의 예시에서는 1테라바이트를 읽는데, 하나의 디스크는 전체 데이터를 읽는데 두시간 반이 걸린다. 그러나 여러 디스크, 가령 10개의 디스크에서 데이터를 읽는다면 약 18분이 걸릴 것이다. → 1테라 바이트 : 1개 : 180분 ⇒ 1,024 기가 바이트 .. 공감수 0 댓글수 5 2022. 9. 20.
[Index]검색엔진에서의 SS테이블/LSM트리인덱스 활용(1) Intro 몇 달전에 "데이터 중심 어플리케이션" 책을 읽다가 CH 03에서 등장하는 Index(색인)개념에서 책을 아무리 읽어도 도저히 이해가 가지 않아서 책을 더 읽는 것을 멈추고 책에 등장하는 인덱스에 대해서 더 공부를 했었다. 기본적으로 해시나 B+Tree에 대해서는, 인덱스를 공부할 때나 평소에 들어본 개념이고, 알고리즘 자체도 익숙한 알고리즘이라서 이해가 쉬웠다. 그러나 SS테이블와 LSM트리에 대한 개념은 책에서 처음 접했을 때 너무 생소했어서 이해하는데 시간이 꽤나 걸렸던 기억이 난다. 그리고 얼마 전 인덱스 개념에 대해서 복습을 하려고 당시 공부한 글을 살펴보는데, 이해가 더 되는 부분이 있는 반면, 이해가 잘 되지 않는 부분이 생겼고 SS테이블/LSM트리의 개념보다는 이해가 되지 않는 .. 공감수 0 댓글수 0 2022. 9. 11.
[Hadoop_기초]Udemy course - 섹션 11-12. 마무리(현실시스템 설계하기) 94강. 다양한 시스템 소개 하둡과 직접적인 연관이 없더라도 관련된 기타 기술들에 대해 간략하게 소개하는 섹션이었다. Impala cloudera 버전의 hive이다. 따라서 cloudera를 사용하려 한다면 impala사용을 고려하는 것이 좋다. impala도 오픈소스이긴 하나 cloudera에서 관리 중이다. hive와 동일하게 대규모 병렬처리 SQL엔진 이다. hive가 가지고 있는 실시간성 쿼리 성능 문제를 해결하기 위해 구글의 Dremel논문에서 영감을 받아 cloudera에서 개발함. hive와의 차이점 쿼리를 실행하기 위해 항상 실행중이다.(hot start) 반면에 hive는 쿼리를 하면 작동이 되고, 어떻게 실행할 지 알아낸 후에 계산한다.(cold start) 이건 impala의 아키텍.. 공감수 2 댓글수 1 2022. 9. 11.
[Hadoop_기초]Udemy course - 섹션 10. Spark Streaming & Storm & Flink 86강. Spark Streaming 소개 수집되는 데이터를 일괄적으로 처리하기 보다는, 수집되는 순간 그때그때 처리하기 위한 기술이다. 이전 강의에서 나온 kafka 클러스터의 processing 쪽의 기능을 한다고 보면 된다. Spark Streaming을 사용하는 이유 웹 서버 로그에 감지된 사용자 활동 데이터를 가져온다면 항상 데이터가 들어올 것이고, 이러한 데이터를 일괄적으로 처리하기에는 확장성 등의 여러 한계가 발생한다. 따라서 이러한 경우에는 데이터가 수집되는 즉시 실시간으로 처리하면 된다. Spark Streaming 작동방식 Flume이나 Kafka 혹은 어떤 서버 집단의 TCP 연결 소켓을 수신하는 데이터 수신기(receivers)를 가진다. 이렇게 수신된 데이터를 spark strea.. 공감수 1 댓글수 1 2022. 9. 3.
[Hadoop_기초]Udemy course - 섹션 9. Kafka & Flume 80강. Kafka 설명 스트리밍이란? 스트리밍은 웹로그나 센서 데이터 등의 소스에서 데이터를 가져오는 것으로, 데이터를 거의 실시간으로 수집하는 것을 말한다. 즉 기존의 hive, pig , spark 등은 이미 데이터 스토리지에 데이터가 들어와있는 상태이며 이를 다른 곳으로 이관하는 상황에서 사용되었다. 그러나 클러스터에 담겨있는 것이 아닌 실시간으로 데이터가 들어오고 즉시 처리되어야 하는 경우가 있는데, 이럴 때 스트리밍 기술을 사용하는 것이다. 스트리밍 활용 시 고민해야 할 부분 어떻게 많은 데이터 소스에서 클러스터로 데이터를 전달할 수 있을까? 따라서 이를 위해 안정적이며 규모있는 클러스터와 그 메커니즘이 필요하다. 이렇게 수집한 로그 데이터를 어떻게 활용할 것이냐? 즉 첫 번째는 기술적인 고민.. 공감수 1 댓글수 1 2022. 8. 29.
Partitioning(파티셔닝)과 Sharding(샤딩) 이번에는 정말 기초적인 개념에 대해서 공부를 하고 정리를 해보았다. partitioning과 sharding을 많이 들어보기도 했고, 실제로 사용도 해보았지만, 막상 이걸 설명을 하려고 하고 partitioning과 sharding의 차이에 대해서 정리해보려고 하니까 잘 안되더라..그래서 이 참에 한 번 정리를 쭉 해보았다. (부끄럽..이거 외에도 기초지식을 좀더 탄탄히 잡아야할 필요성을 요즘 많이 느끼고 있다.) Intro 파티셔닝과 샤딩을 사용하는 목적은 실질적으로 동일하다. DBMS에 너무 큰 용량이 데이터를 다루게 되면서 이에 대한 성능을 향상시키기 위해서 데이터베이스를 분할하여 데이터를 저장하고 활용하고자 하는 것이 바로 파티셔닝과 샤딩이다. 실질적으로 파티셔닝 혹은 샤딩을 사용했을 경우 얻을 .. 공감수 1 댓글수 0 2022. 8. 21.
[Hadoop_기초]Udemy course - 섹션 8-2. Oozie & Zeppelin & Hue 73강. Oozie 설명 최근 데이터 배치 작업 관련하여 스케줄링 등 orchestration tool은 airflow를 많이 사용하는 추세라 oozie는 거의 사용하지 않는 추세인듯 하다... 하둡 클러스터의 주기적인 작업을 관리하는 역할 하둡에서 실행되는 다양한 액션을 정리하고 한 데 묶어서 워크플로로 만들고 이 워크플로가 주기적으로 실행되도록 스케줄 한다. Workflows oozie의 첫번째 중요한 개념은 워크플로이다. 한 개 이상의 서로 의존하는 작업들을 묶은 것이 워크플로라고 할 수 있다. 그리고 각 작업들이 서로 다른 엔진에 의해 작동되는 것이어도 같은 워크플로로 묶을 수 있다. 이렇게 다양한 작업 간에 필요한 종속성 구조를 설정할 수 있다. DAG(방향성 비순환 그래프)방식을 구축하여 서로.. 공감수 0 댓글수 1 2022. 8. 14.
[Hadoop_기초] Udemy course - 섹션 8-1. Yarn & Tez & Mesos & Zookeeper 67강. Yarn 설명 이번 섹션에서는 전반적으로 클러스터를 작동하게 만드는 리소스들을 관리하는 툴에 대해서 다루었다. 기본적으로 yarn이 있고 그 위에 작동하는 tez가 있고, 클러스터의 작업을 관리하는 oozie와 zepplin 그리고 관리 콘솔인 hue에 대해서 정리했다. Yarn이란? Yet Another Resource Negotiator 하둡2에서 소개되었으며 핵심 요소이다. 하둡 클러스터의 모든 리소스를 관리한다. 맵리듀스와 클러스터의 리소스 관리에 따른 문제를 분리시켰다. 하둡1에서는 맵리듀스와 리소스 교섭자까지 모두 하나의 덩어리였다. 리소스 교섭자로서 yarn을 분리함으로써 yarn위에 spark와 tez같은 맵리듀스의 대안이 개발되었다. 위의 그림과 같이 yarn이 작동하고 있으며 .. 공감수 0 댓글수 0 2022. 8. 8.
Apache Sqoop의 등장과 은퇴(feat. Apache Sqoop projects moved to the Apache Attic) 이번 글은 "Apache Sqoop project was retired and imoved to the Apahce Attic" 이란 소식을 보고 개인적 호기심에 의해 시작한 글이다. Apache Sqoop을 사용하는 이유, 그리고 그 사용에 대한 한계점과 해당 프로젝트가 Apache Attic으로 이동하게 된 의미는 무엇인지 정리해 보았다. 시작하기 전에... 일반적으로 RDB에서 데이터를 추출하여 분산 데이터 스토리지(HDFS, S3 등..)에 이관하기 위해서 Apache Sqoop을 활용한다. 회사에서도 Oracle DB와 Postgresql에서 데이터를 추출하기 위해서 큰 고민없이 당연히 Sqoop 사용으로 결정이 되었는데, 순간 Sqoop이 정말 최선의 방법일까? 라는 고민이 들기 시작했다. 기.. 공감수 5 댓글수 0 2022. 8. 1.
[Hadoop_기초] Udemy course - 섹션 7-2. Presto 64강. Presto 개요 Presto란? drill과 유사한 개념이다. drill과 같이 다양한 빅데이터 데이터베이스와 연결하고 모든 데이터 베이스에 쿼리작업을 할 수 있다. 특히 drill은 카산드라와는 연결이 불가한데 presto는 가능하다. drill처럼 다양한 데이터베이스에 걸쳐서 더 복잡한 쿼리를 위해 Join할 수 있다. 익숙한 SQL문 제공 어떠한 데이터 스토어가 수평적으로 확장된다면 presto를 통해 단일 접근 지점을 만들어서 데이터가 어디에 있든 상관없이 쿼리를 실행할 수 있다. presto자체는 데이터베이스가 아니다. SQL쿼리와 조직 전체에 걸쳐 분산된 다양한 데이터 스토어 사이의 레이어이다. 메모리 기반 쿼리 엔진이다 JDBC 드라이버를 통해서, 기존의 애플리케이션과 내부 데이터.. 공감수 0 댓글수 0 2022. 7. 26.
[Hadoop_기초] Udemy course - 섹션 7-1. Drill & Phoenix 58강. Drill 개요 Drill의 장점 하둡 뿐 아니라 분산 클러스터에 저장된 데이터들에 대해 SQL쿼리를 실행할 수 있게 하는 쿼리엔진 몽고DB나 HDFS, S3, hive, Hbase 등과 소통하며 단일 SQL쿼리로 통합할 수 있음 카산드라와 소통 불가(presto는 가능) 관계형 데이터베이스가 아닌 것에 SQL쿼리를 하기 위해 존재한다. 스키마 자체가 없는 데이터에서도 가능 다양한 비관계형 데이터베이스와 데이터파일에 SQL쿼리가 가능. flat JSON 형식이나 parquet 파일과 aws S3, azure, GCP 혹은 로컬 파일 시스템까지 지원 google dremel 이라는 논문 기반 실제 SQL SQL 2003 표준 버전을 기반으로 개발 일반 텍스트 파일에도 SQL 쿼리 실행 가능 물론 .. 공감수 0 댓글수 0 2022. 7. 17.
[Hadoop_기초] Udemy course - 섹션 6-2.MongoDB & 데이터베이스 선택하기 53강. MongoDB 개요 mongoDB는 다른 오픈소스로 제공되는 데이터베이스 시스템과 달리 기업 차원에서 개발 및 지원되고 있다. mongoDB는 거대하다는 뜻의 humongous에서 유래되었다. Mongo DB의 특징 mongoDB의 핵심은 빅데이터를 다룬다는 것만이 아니라 문서형 데이터 모델을 갖고 있다는 것 구조화될 필요가 없다.(No Schema) 저장되는 문서마다 같은 스키마를 가질 필요도 없다. cassandra와 다른 점은 고유식별자가 필요하지 않다. mongoDB는 자동으로 ID필드를 만들고 PK처럼 사용한다. 만약 sharding을 하고 싶다면 색인을 만들 수 있다. 검색이나 쿼리를 위해 유연하게 색인할 수 있다. 데이터 구조 즉 스키마는 필요없지만 색인을 위해서는 미리 고민할 필요.. 공감수 0 댓글수 0 2022. 7. 12.
[정리]AWS Cloudwatch에 EKS Log 전송하기 우선 해당 글은 로그 전송에 대한 실습이 아닌 해당 방법에 대한 정리글입니다! 이전에 정리한 내용에서 직접 실습하면서 조금 달라진 내용이 있어서 수정했습니다(2022.07.14 수정) 회사에서 EKS를 활용하게 되면서 어플리케이션 작업내역을 로깅 및 모니터링 해야할 필요가 있었고, 다른 오픈 소스를 활용하기보다 AWS cloudwatch를 활용해보고자 했다. AWS의 공식문서를 참고하여 가장 대표적으로 Fluentd와 Fluent Bit을 사용하는 것을 알게 되었다. (AWS 공식문서) 이번 글에서는 실질적인 실습보다는 로깅을 위해 Fluentd와 Fluent Bit을 어떻게 활용할 수 있는지 이 둘은 어떤 차이가 있는지 개념적으로 정리해보려 한다. 참고 자료는 AWS공식문서를 중심으로 정리해보았다. ✅.. 공감수 0 댓글수 0 2022. 7. 10.
[Hadoop_기초] Udemy course - 섹션 6-1.Hbase & Cassandra 45강. 왜 NoSQL인가? 기본적으로 관계형 데이터베이스와 이를 바탕으로 SQL이라는 분석쿼리언어로 데이터를 활용하여 비즈니스 문제를 해결할 수 있다. 그러나 데이터의 양이 많아지고, 동시에 그 데이터를 "탐색"해야하는 경우가 많아진다면? 가령 '이 고객에게 어떤 영화를 추천해야 하는지' 혹은 '이 고객이 과거에 어떤 웹 페이지를 방문했는지' 등의 특정 질문에 대한 답을 신속하고 빠르게 처리해야한다면? 이런 경우에 대비해서 NoSQL이 등장한 것이다. NoSQL = Not only SQL = 비관계형 데이터베이스 수평적 확장성이 크다 빠르다 실패회복성도 갖춤 사용해야 하는 경우 대용량 데이터 세트에 주어지는 아주 간단한 질의에 대한 답을 빠르게 찾아야 할 때 해당 강의에서는 '행성만한 데이터에 무작위로.. 공감수 0 댓글수 0 2022. 7. 6.
[Hadoop_기초] Udemy course - 섹션 5.Hive udemy - hadoop 기초강의 내용을 정리하면서 추가적으로 공부한 내용들을 정리했다. 다섯번째 섹션에서는 Hadoop의 관계형 데이터 저장소인 Hive에 대한 대략적인 설명으로 이루어졌다. 36강. Hive란? hive를 통해 SQL쿼리로 데이터를 다루는 작업들이 MR 또는 TEZ로 번역되어 작동하고 cluster에 있는 데이터를 다룰 수 있다. 즉 hadoop 클러스터를 관계형 데이터베이스처럼 사용할 수 있다. 이는 이전과 달리(Pig, MR) 사용자에게 익숙한 SQL쿼리로 Hadoop 클러스터에 있는 데이터를 쿼리하고 처리할 수 있다는 의미이다. hive는 구조화된 쿼리언어이다. ✅Pig의 경우, 작업시 보여지는 모습이 스크립트 언어였지, 그 내부 구조는 MR이었던것에 비해서 hive는 자체적으.. 공감수 0 댓글수 0 2022. 6. 26.
[Hadoop_기초] Udemy course - 섹션 4.Spark udemy - hadoop 기초강의 내용을 정리하면서 추가적으로 공부한 내용들을 정리했다. 네 번째 섹션에서는 Apache Spark에 대한 대략적인 설명으로 이루어졌다. 28강. Why Spark What is Spark? spark 공식 웹사이트 : https://spark.apache.org/ Apache Spark is a multi-language engine for executing data engineering, data science, and machine learning on single-node machines or clusters. 즉 spark는 대규모 데이터 처리에 사용되는 신속하고 보편적인 엔진이다. MapReduce의 단점을 개선하기 위해 등장. ✅ MapReduce의 단점은 .. 공감수 1 댓글수 0 2022. 6. 19.
[AWS]EMR(spark) Job 실행하기 EMR on EKS : spark job submit S3 -> EMR(spark) -> S3 1. cluster 정보 확인 aws emr-containers list-virtual-clusters 2. 기본적인 정보 등록 export EMR_EKS_CLUSTER_ID= export EMR_EKS_EXECUTION_ARN= export S3_BUCKET= -> role에는 이전에 emr on eks 세팅할 때 만들었던 role 정보(EMRContainers-JobExecutionRole)를 입력 -> S3 bucket은 필수정보는 아닌듯하다. 작업을 위한 pyspark파일이 담긴 s3 경로인 것이다. 3. pyspark 코드를 입력해서 위의 s3 버킷에등록 예시코드 import sys from rando.. 공감수 0 댓글수 0 2022. 6. 9.
[Hadoop_기초] Udemy course - 섹션 3.Pig udemy - hadoop 기초강의를 보면서 정리한 내용입니다 세 번째 섹션에서는 Apache Pig에 대한 대략적인 설명으로 이루어졌다. Apache Pig 이전 섹션에서 공부한 맵리듀스는 Hadoop의 가장 오래된 데이터 처리 기술이고 가장 어렵기도 하다. 이러한 맵리듀스의 어려움을 조금 해결하기 위해 나온 것이 Apache Pig이며, Pig를 사용해 더 쉽게 데이터를 처리할 수 있다 이는 Pig Latin이라는 스크립팅 언어이고 Hadoop과 MapReduce 위에 구축되었다. 이를 통해 매퍼와 리듀서를 작성하지 않고 MapReduce 작업을 할 수 있는 것이다. MapReduce의 한계 지난 섹션에서는 MapReduce가 어떻게 작동하는지 살펴봤다 Python을 사용하며 STREAMING을 사용.. 공감수 0 댓글수 0 2022. 6. 6.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.