1. 데이터 적재
(1) 도구 :플루언티드, 플럼, 스크라이브, 로그스태시
- NoSQL, DBMS의 내재된 도구를 이용하여 데이터 적재
- 관계형 DBMS의 데이터를 NoSQL, DBMS 적재
(2) 잘 적재되고 있는지 테스트 : 테스트용 케이스를 개발해 활용할 수 있다. 결과는 보고서 작성
2. 데이터 저장
(1) 빅데이터 저장시스템
- 파일시스템 저장방식
- 데이터베이스 저장방식
(2) 분산 파일 시스템
- 하둡
- 구글
(3) NoSQL (RDBMS와 비교)
- 스키마 없음, 탄력성, 질의기능, 캐싱
- 키값 데이터베이스, 열기반 데이터베이스, 문서기반 데이터베이스
'소프트웨어 공부 > python 그런데 빅데이터를 곁들인' 카테고리의 다른 글
| 파이썬 기초공부 #2. COS 샘플문제풀기 2차 (0) | 2024.01.01 |
|---|---|
| 파이썬 기초공부 #1. COS 샘플문제풀기 1차 (0) | 2023.12.31 |
| 빅데이터 이론공부 1-3. 데이터 수집 (1) | 2023.08.29 |
| 빅데이터 이론공부 2. 데이터 분석계획 (0) | 2023.08.06 |
| 빅데이터 이론공부 1. 빅데이터의 의미와 기술 및 제도 (0) | 2023.07.27 |