아나콘다 - https://anaconda.com/app/

파이슨 - http://localhost:8888/tree

랭귀지 ; 프로그래밍언어

001. Python

002. C

003. C++

004. Java

005. C#

006. JavaScript

007. PHP

008. Visual Basic

009. SQL

010. Assembly language

011. Scratch

012. Fortran

013. Go

014. MATLAB

015. Kotlin

016. Delphi/Object Pascal

017. Swift

018. Ruby

019. R

020. Rust

파이슨 실습

https://youtube.com/shorts/xgyW5eadR2c?si=hzjN9scGhHuyGIsc

https://youtube.com/shorts/omXbIVFlhpc?si=T4H7M-lnYYecjHbS

# 주피터 노트북 사용법- https://pasus.tistory.com/134

주피터 노트북은 웹 브라우저에서 파이썬 코드를 작성하고 실행할 수 있는 대화형 환경입니다. 사용 방법은 아나콘다 프롬프트 또는 터미널에서 jupyter notebook 명령어로 실행한 후, 웹 브라우저에서 New 버튼을 눌러 새 노트북을 만들고, 코드 셀에 파이썬 코드를 작성한 뒤 Shift+Enter로 실행하는 것입니다. 또한, 마크다운 셀을 사용하여 코드에 대한 설명이나 이미지를 추가할 수 있으며, Ctrl+S로 저장하여 파이썬 파일(ipynb) 형식으로 저장할 수 있습니다.

1. 주피터 노트북 실행하기

아나콘다 프롬프트/터미널 사용:
- 윈도우 시작 메뉴에서 Anaconda Prompt 또는 Jupyter Notebook을 검색하여 실행합니다.

2. 새 노트북 만들기 및 파일 저장하기

새 노트북 생성:

웹 브라우저의 주피터 노트북 페이지에서 New 버튼을 클릭하고 Python 3 (또는 사용하려는 파이썬 버전)를 선택합니다.

파일 저장:

코드나 마크다운을 작성한 후 Ctrl+S를 눌러 현재 노트북 내용을 저장합니다. 파일은 .ipynb 확장자로 저장됩니다.

3. 코드 셀 활용하기

코드 작성: 노트북에 표시되는 셀에서 파이썬 코드를 작성합니다.

코드 실행: 작성된 코드를 실행하려면 해당 셀을 선택한 상태에서 Shift+Enter를 누릅니다.

셀 추가/삭제:

B 키를 누르면 아래쪽에 셀이 추가됩니다.

A 키를 누르면 위쪽에 셀이 추가됩니다.

휴지통 아이콘을 클릭하거나 D 키를 두 번 눌러 현재 셀을 삭제할 수 있습니다.

4. 마크다운 셀 활용하기

설명 추가:

코드 셀 위 또는 아래에 있는 셀 유형을 '마크다운'으로 변경하여 코드에 대한 설명, 이미지, 수식 등을 포함할 수 있습니다.

실행:

마크다운 셀을 선택한 후 Shift+Enter를 누르면 서식이 적용된 텍스트를 확인할 수 있습니다

빅데이터 1) 빅데이터란 2) 빅데이터 배경 3) 빅데이터 종류 4) 빅데이터 분석(AI) 5) 스마트공장과 빅데이터 AI 6) 아두이노PLC 와 스마트공장 사례

기관//주요 개념/주요 특징

IDC고속 캡쳐, 발견, 분석이 가능한 다양한 데이터

빅데이터 기술에 대한 정의

기술 : 경제적 가치의 추출이 가능한 새로운 기술 및 아키텍처

큰 규모, 빠른 속도, 다양한 형태의 정보자산

빅데이터 특징 및 기술의 상세화

Gartner 기술: 새로운 형태의 처리기술, 의사결정 및 통찰력 향상, 프로세스 최적화

인프라와 기술의 역할

Oracle 전통적인 DB기반의 데이터와 비구조화 데이터

데이터 원천의 중요성 300TB/주 이상 데이터가 생성되는 조직에서의 활용

Intel RDB 트랜잭션 데이터, 이메일, 센서데이터, 블로그, 소셜미디어 등

컴퓨팅 파워의 활용 측면

Microsoft • 기술: 대용량, 복잡한 정보처리 프로세스, 기계학습, 인공지능

빅데이터 자체에 대한 정의

Wikipedia 크고 복잡한 데이터의 집합

기술: 전통적인 데이터베이스 관리 툴 및 기술의 한계를 벗어남

HorizonWatch 기업 내 의사결정에 중요역할을 할 수 있는 데이터

빅데이터 가치와 역할에 집중

기술: 정보의 수집, 저장, 관리 기술

MIKE2.0 • 데이터들의 복잡성, 특히 조합, 상호연관 수준의 중요성

데이터의 복잡성 강조

NIST 기존의 방식이나 시스템의 한계와 역량을 넘어서는 데이터

현존하는 상용기술과의 간극

KV Store Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB) KV Store -Eventually consistent Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB KV Store -Hierarchical GT.m, Cache KV Store -Ordered TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord KV Cache Memcached, Repcached, Coherence, Hazelcast, Infinispan, EXtremeScale, JBossCache, Velocity, Terracotta Tuple Store Gigaspaces, Coord, Apache River Object Database ZopeDB, DB40, Shoal Document Store CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-Databases, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris Wide-Column Store BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI Graph Database Neo4j,AgensGraph[6

빅데이터 종류

분류형태

연관 데이터베이스

KV Store

Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)

KV Store Eventually consistent

Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB

KV Store Hierarchical

GT.m, Cache

KV Store Ordered

TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord

KV Cache

Memcached, Repcached, Coherence, Hazelcast, Infinispan, EXtremeScale, JBossCache, Velocity, Terracotta

Tuple Store

Gigaspaces, Coord, Apache River

Object Database

ZopeDB, DB40, Shoal

Document Store

CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-Databases, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris

Wide-Column Store

BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI

Graph Database

Neo4j, AgensGraph[6]

모아폼 서식: https://www.moaform.com/ko/exit/Mj1yoD

http://www.openwith.net / http://www.openwith.net/?page_id=53

pdf: openstack-map-v20191001 (출처: https://www.openstack.org/software/)

Python으로 할 수 있는 것 • 웹개발 • 게임 개발 • 업무 자동화 • 데이터 분석 • 기계 학습 • 과학 계산 • 텍스트 처리 • 이미지 처리 • 멀티 미디어 • 데이터 베이스

스톤패스 -

App Store에서 제공하는 StonePASS

Apple

https://apps.apple.com › app › stonepass

'간편인증', 생체인증'을 위한 통합인증앱입니다. 스톤패스는 지문, 얼굴, PIN, 패턴 등을 이용해 사용자인증(로그인)이 가능하도록 하나의 APP으로 통합한 간편인증 ...

# 하둡 에코시스템-Hadoop에는 다음의 소프트웨어 모듈이 포함됩니다.

Hadoop Common: 공통으로 이용되는 utilities 소프트웨어.
Hadoop Distributed File System (HDFS™): application 데이터를 이용하기 위해 제공되는 분산 파일시스템.
Hadoop YARN: cluster의 자원관리를 통해 job scheduling.
Hadoop MapReduce: YARN 기반의 병렬처리 시스템.

Apache에는 Hadoop 그 자체 외에도 많은 관련된 프로젝트가 진행중입니다.

Avro™: 데이터 serialization 시스템.
Cassandra™: scalable multi-master 데이터베이스 (즉, no single points of failure).
Chukwa™: 데이터 수집 시스템
HBase™: scalable, 분산 데이터베이스 (대형 table에 대한 structured 저장공간을 제공).
Hive™: 데이터웨어하우스 (DW :data warehouse)를 위한 infrastructure로서 data summarization 및 ad hoc query를 지원.
Mahout™: 기계학습 (machine learning) 및 데이터마이닝 (data mining) library.
Pig™: high-level data-flow 언어 내지 병렬처리 실행 framework.
ZooKeeper™: 분산 application을 위한 고성능의 coordination service .

Hadoop의 특징은
분산시스템으로서의 장애극복(fault-tolerance) 기능과 애플리케이션 로직을 분리하여 주는 데 있습니다.

Apache에는 Hadoop 그 자체 외에도 많은 관련된 프로젝트가 진행중입니다.

Avro™: 데이터 serialization 시스템.
Cassandra™: scalable multi-master 데이터베이스 (즉, no single points of failure).
Chukwa™: 데이터 수집 시스템
HBase™: scalable, 분산 데이터베이스 (대형 table에 대한 structured 저장공간을 제공).
Hive™: 데이터웨어하우스 (DW :data warehouse)를 위한 infrastructure로서 data summarization 및 ad hoc query를 지원.
Mahout™: 기계학습 (machine learning) 및 데이터마이닝 (data mining) library.
Pig™: high-level data-flow 언어 내지 병렬처리 실행 framework.
ZooKeeper™: 분산 application을 위한 고성능의 coordination service .

?page_id=90

하둡 에코시스템은 HDFS(분산 저장), YARN(자원 관리), MapReduce(분산 처리)와 같은 핵심 기술을 기반으로 데이터 수집, 처리, 분석, 시각화 등 빅데이터 작업을 지원하는 다양한 도구와 프레임워크의 집합입니다. 주요 구성 요소로는 데이터 저장소(HDFS), 분산 처리 엔진(MapReduce, Spark), 데이터베이스(HBase), 데이터 수집(Sqoop), 워크플로우 관리(Oozie) 등이 있으며, 이 외에도 다양한 도구가 있습니다.

하둡 에코시스템의 주요 종류

1. 저장소
HDFS (Hadoop Distributed File System): 클러스터 내의 모든 노드에 데이터를 분산하여 저장하는 하둡의 핵심 분산 파일 시스템입니다.
2. 자원 관리
YARN (Yet Another Resource Negotiator): 클러스터의 리소스(CPU, 메모리 등)를 관리하고, 다양한 애플리케이션을 스케줄링하여 실행하는 역할을 합니다.
3. 데이터 처리 및 분석
MapReduce: 분산된 대규모 데이터를 병렬로 처리하는 프로그래밍 모델 및 실행 프레임워크입니다.
Spark: 인메모리(In-memory) 처리를 지원하여 MapReduce보다 훨씬 빠르고 효율적으로 데이터를 처리할 수 있는 분산 처리 엔진입니다.
Hive: HDFS에 저장된 데이터를 SQL과 유사한 쿼리(HiveQL)로 처리할 수 있게 해주는 데이터 웨어하우스 시스템입니다.
4. 데이터베이스 및 NoSQL
HBase: HDFS 위에서 동작하는 분산 데이터베이스로, 대규모 데이터를 효율적으로 관리하고 실시간으로 접근할 수 있도록 돕습니다.
5. 데이터 수집 및 전송
Sqoop: RDBMS(관계형 데이터베이스)와 HDFS 사이에서 대용량 데이터를 효율적으로 전송하는 도구입니다.
Chukwa: 대규모 데이터의 수집, 모니터링 및 분석을 위한 프레임워크입니다.
6. 워크플로우 관리
Oozie: 워크플로우(작업들의 순서)를 정의하고 관리하는 워크플로우 스케줄링 시스템입니다.
7. 분산 코디네이터
Zookeeper: 분산 시스템의 설정 정보를 관리하고, 노드들 간의 동기화를 돕는 분산 코디네이터입니다.