Hadoop Ecosystem, Big Data

BIG DATA

하둡에코시스템 기반의 빅데이터 수집 및 모니터링 시스템
2018,Hadoop & Ecosystem

Hadoop Ecosystem

PLC 장비를 통해 여러가지 데이터를 실시간으로 수집하여 하둡에 저장하며
데이터 샘플링을 통해 수집된 데이터를 모니터링 합니다.

여러 장비에서 실시간으로 들어오는 빅데이터는 하나의 DB서버에 저장하기 어렵습니다.
따라서 분산처리 시스템을 통해 여러 서버에 나누어 저장할 필요가 있으며
이 서버 및 데이터를 실시간으로 모니터링 할 수 있어야 합니다.

PLC 스마트 팩토리 데이터 수집 장비
PLC Simulator PLC 데이터를 가상으로 생성
FLUME 대용량 로그 데이터 수집 · 전달 시스템
kafka 대용량 데이터를 위한 분산 메시지 큐
hadoop 대용량 데이터 분산처리 · 저장 시스템

빅데이터 수집 실시간 모니터링

데이터를 수집하는 것 만큼 확인하는 것도 중요합니다.
대시보드에서 실시간으로 수집중인 데이터를 확인할 수 있습니다.

DATA 유입속도

META

SPY

개발 콘솔

Configuration Files

                
                broker.id=1
                num.network.threads=3
                num.io.threads=8
                socket.send.buffer.bytes=102400
                socket.receive.buffer.bytes=102400
                socket.request.max.bytes=104857600
                log.dirs=/app/log/kafka
                num.partitions=1
                num.recovery.threads.per.data.dir=1
                offsets.topic.replication.factor=1
                transaction.state.log.replication.factor=1
                transaction.state.log.min.isr=1
                log.retention.hours=168
                #log.retention.bytes=1073741824
                log.segment.bytes=1073741824
                log.retention.check.interval.ms=300000
                zookeeper.connect=bms-zk01:2181,bms-zk02:2181,bms-zk03:2181/bms-kafka
                zookeeper.connection.timeout.ms=6000
                group.initial.rebalance.delay.ms=0
            
        
                
                <?xml version="1.0" encoding="UTF-8"?>
                <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
                <configuration>
                <property>
                <name>fs.defaultFS</name>
                <value>hdfs://mycluster</value>
                </property>

                <property>
                <name>ha.zookeeper.quorum</name>
                <value>bms-zk01:2181,bms-zk02:2181,bms-zk03:2181</value>
                </property>
                </configuration>
            
        
                
                    <?xml version="1.0" encoding="UTF-8"?>
                    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
                    <configuration>
                    <property>
                    <name>dfs.replication</name>
                    <value>2</value>
                    </property>
                    <property>
                    <name>dfs.namenode.name.dir</name>
                    <value>/app/data/hadoop/dfs/namenode</value>
                    </property>
                    <property>
                    <name>dfs.datanode.data.dir</name>
                    <value>/app/data/hadoop/dfs/datanode</value>
                    </property>
                    <property>
                    <name>dfs.journalnode.edits.dir</name>
                    <value>/app/data/hadoop/dfs/journalnode</value>
                    </property>
                    <property>
                    <name>dfs.nameservices</name>
                    <value>mycluster</value>
                    </property>
                    <property>
                    <name>dfs.ha.namenodes.mycluster</name>
                    <value>nn1,nn2</value>
                    </property>
                    <property>
                    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
                    <value>bms-s02:8020</value>
                    </property>
                    <property>
                    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
                    <value>bms-s03:8020</value>
                    </property>
                    <property>
                    <name>dfs.namenode.http-address.mycluster.nn1</name>
                    <value>bms-s02:50070</value>
                    </property>
                    <property>
                    <name>dfs.namenode.http-address.mycluster.nn2</name>
                    <value>bms-s03:50070</value>
                    </property>
                    <property>
                    <name>dfs.namenode.shared.edits.dir</name>
                    <value>qjournal://bms-s02:8485;bms-s03:8485;bms-s04:8485/mycluster</value>
                    </property>
                    <property>
                    <name>dfs.client.failover.proxy.provider.mycluster</name>
                    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
                    </property>
                    <property>
                    <name>dfs.ha.fencing.methods</name>
                    <value>sshfence</value>
                    </property>
                    <property>
                    <name>dfs.ha.fencing.ssh.private-key-files</name>
                    <value>/home/bms/.ssh/id_rsa</value>
                    </property>
                    <property>
                    <name>dfs.ha.automatic-failover.enabled</name>
                    <value>true</value>
                    </property>
                    <property>
                    <name>ha.zookeeper.quorum</name>
                    <value>bms-s02:2181,bms-s03:2181,bms-s04:2181</value>
                    </property>
                    </configuration>
                
            

하둡 - HA Configuration

kafka - HA Configuration

flume

BigData Collection and Monitoring System Using Hadoop-Ecosystem, Machine Learning
2018


-


Credits

Client ETRI

Development OH LAB

Design OH LAB


-


OH LAB 오랩

www.ohlab.kr

ohlab.kr@gmail.com


Copyright ⓒ2018 Oh lab. All Rights Reserved.