Hadoop Ecosystem
PLC 장비를 통해 여러가지 데이터를 실시간으로 수집하여 하둡에 저장하며
데이터 샘플링을 통해 수집된 데이터를 모니터링 합니다.
여러 장비에서 실시간으로 들어오는 빅데이터는 하나의 DB서버에 저장하기 어렵습니다.
따라서 분산처리 시스템을 통해 여러 서버에 나누어 저장할 필요가 있으며
이 서버 및 데이터를 실시간으로 모니터링 할 수 있어야 합니다.
| PLC | 스마트 팩토리 데이터 수집 장비 |
| PLC Simulator | PLC 데이터를 가상으로 생성 |
| FLUME | 대용량 로그 데이터 수집 · 전달 시스템 |
| kafka | 대용량 데이터를 위한 분산 메시지 큐 |
| hadoop | 대용량 데이터 분산처리 · 저장 시스템 |
빅데이터 수집 실시간 모니터링
데이터를 수집하는 것 만큼 확인하는 것도 중요합니다.
대시보드에서 실시간으로 수집중인 데이터를 확인할 수 있습니다.
- PLC 장비별 데이터
- PLC 장비별 데이터 수집 속도
- 수집되는 데이터의 종류
- 시간별 그래프
- 서버별 헬스체크 모니터링
DATA 유입속도
META
SPY
하둡 - HA Configuration
kafka - HA Configuration
flume
