Sqoop(아파치 스쿱)
기존에 쓰던 관계형 데이터베이스에 있는 데이터를 Hadoop(HDFS)으로 대량으로 옮기거나, 반대로 Hadoop에서 처리한 결과를 다시 관계형 데이터베이스로 내보낼 수 있게 해주는 데이터 전송 도구입니다.
한눈에 보는 정의
Sqoop(아파치 스쿱)은 관계형 데이터베이스와 하둡(Hadoop) (Hadoop) 사이에서, 대량의 데이터를 손쉽게 주고받을 수 있게 해주는 데이터 전송 도구입니다.
자세히 알아보기
- 예문: "기존 영업 시스템의 관계형 데이터베이스에 쌓인 몇 년 치 데이터를, Sqoop으로 한 번에 HDFS로 옮겨 분석에 활용했다."
- 데이터베이스 커넥터를 이용해 대량의 데이터를 병렬로 나눠 옮기기 때문에, 일반적인 방식으로 하나씩 내보내고 불러오는 것보다 훨씬 빠르게 대용량 데이터를 이관할 수 있습니다.
- 기존 시스템에 오랫동안 쌓여 있던 데이터를 새로운 빅데이터 분석 환경으로 옮겨올 때, 초기 데이터 이관 도구로 자주 활용되어 왔습니다.
- 실시간으로 계속 흘러들어오는 이벤트성 데이터를 옮기는 데는 적합하지 않아, 그런 경우에는 Kafka(아파치 카프카) (Kafka)나 Flume(아파치 플룸) (Flume) 같은 도구가 더 널리 쓰입니다.