OH LAB - Offer Outstanding Opportunity

빅데이터 수집 및 모니터링 시스템

PLC 장비를 통해 여러가지 데이터를 실시간으로 수집하여 하둡에 저장하며 데이터 샘플링을 통해 수집된 데이터를 모니터링 합니다.
여러 장비에서 실시간으로 들어오는 빅데이터는 하나의 DB서버에 저장하기 어렵습니다.
따라서 분산처리 시스템을 통해 여러 서버에 나누어 저장할 필요가 있으며 이 서버 및 데이터를 실시간으로 모니터링 할 수 있어야 합니다.
PLC스마트 팩토리 데이터 수집 장비
PLC SimulatorPLC 데이터를 가상으로 생성
FLUME대용량 로그 데이터 수집 · 전달 시스템
kafka대용량 데이터를 위한 분산 메시지 큐
hadoop대용량 데이터 분산처리 · 저장 시스템
빅데이터 수집 실시간 모니터링
데이터를 수집하는 것 만큼 확인하는 것도 중요합니다.
대시보드에서 실시간으로 수집중인 데이터를 확인할 수 있습니다.
  • PLC 장비별 데이터
  • PLC 장비별 데이터 수집 속도
  • 수집되는 데이터의 종류
  • 시간별 그래프
  • 서버별 헬스체크 모니터링
DATA 유입속도
META
SPY
개발 콘솔
Configuration Files
broker.id=1
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/app/log/kafka
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
#log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=bms-zk01:2181,bms-zk02:2181,bms-zk03:2181/bms-kafka
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://mycluster</value>
	</property>

	<property>
		<name>ha.zookeeper.quorum</name>
		<value>bms-zk01:2181,bms-zk02:2181,bms-zk03:2181</value>
	</property>
</configuration>
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/app/data/hadoop/dfs/namenode</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/app/data/hadoop/dfs/datanode</value>
	</property>
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/app/data/hadoop/dfs/journalnode</value>
	</property>
	<property>
		<name>dfs.nameservices</name>
		<value>mycluster</value>
	</property>
	<property>
		<name>dfs.ha.namenodes.mycluster</name>
		<value>nn1,nn2</value>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
		<value>bms-s02:8020</value>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn2</name>
		<value>bms-s03:8020</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.mycluster.nn1</name>
		<value>bms-s02:50070</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.mycluster.nn2</name>
		<value>bms-s03:50070</value>
	</property>
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://bms-s02:8485;bms-s03:8485;bms-s04:8485/mycluster</value>
	</property>
	<property>
		<name>dfs.client.failover.proxy.provider.mycluster</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/bms/.ssh/id_rsa</value>
	</property>
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>bms-s02:2181,bms-s03:2181,bms-s04:2181</value>
	</property>
</configuration>
하둡 - HA Configuration
kafka - HA Configuration
flume

BigData Collection and Monitoring System Using Hadoop-Ecosystem, Machine Learning
2018


-

Credits Client ETRI
Development OH LAB
Design OH LAB

-
OH LAB 오랩
www.ohlab.kr
ohlab.kr@gmail.com

Copyright ⓒ2018 Oh lab. All Rights Reserved.