TIL_220601_스터디 추가 공부 및 정리

• OLTP VS OLAP(블로그에 별도로 정리)
  • 더 나아가면 색인과도 관련
  • 왜 읽기에 최적화? 쓰기에는 비효율적? 인지에 대해서 더 잘 이해할 수 있다. 
• Hbase에 대해서
  • 분산 컬럼 기반의 데이터베이스
  • 단일로우 트랜잭션 보장 -> 이러한 이유로 api 단위의 단일 트랜잭션에는 용이하다는 것 같다.
  • but 트랜잭션이 존재하지 않음
    • 따라서 ACID 트랜잭션이 요구되는 시스템에는 적절하지 않다.
  • 비 일반화된 데이터가 적재된다.
  • 덜 구조화된 데이터가 적합
  • 즉 빅데이터를 다룰 때 단일시간 단위로 빠르게 데이터에 액세스 하기 위해서 탄생
  • 비슷한 류로 카산드라, 다이나모DB,몽고DB
  • 하둡의 경우 순차적으로 만들어진 데이터에만 엑세스할 수 있었고 간단한 작업이라도 전체 데이터 셋을 검색해야 하는 단점이 존재.
  •  쿼리를 사용하지 못한
    • 이러한 이유로 등장한 것이 Phoenix

 

hive VS impala

• 하이브 메타스토어디비와 관련
• hive : 느리고 무겁다. delete가 안돼거나 힘들어서 개인정보 관련 처리 할때는 사용하기 힘들다. yarn 리소스 기반으로 scoop이랑 같이 동작해도 리소스 관리가 잘된다.
• impala : 인메모리 기반이라 빠르다. 리소스 관리가 impala 자체에서 별도로 한다. 그래서 hive나 다른 프레임워크랑 같이 못 돌린다.

• Kafka → 주키퍼 제거하고 라프트(raft) 알고리즘으로
  • 실제로 k8s에서 활용중
  • apache unicorn

 

 

참고자료

https://cyberx.tistory.com/164

HBase 개념 정리

https://loustler.io/data_eng/what-is-hbase/

[Apache HBase] HBase가 무엇일까

https://blog.voidmainvoid.net/236

NoSQL강의) HBase 개요, 특징, client 설명 + Apache Phoenix