아나콘다 - https://anaconda.com/app/
파이슨 - http://localhost:8888/tree
랭귀지 ; 프로그래밍언어
001. Python
002. C
003. C++
004. Java
005. C#
006. JavaScript
007. PHP
008. Visual Basic
009. SQL
010. Assembly language
011. Scratch
012. Fortran
013. Go
014. MATLAB
015. Kotlin
016. Delphi/Object Pascal
017. Swift
018. Ruby
019. R
020. Rust
파이슨 실습
https://youtube.com/shorts/
https://youtube.com/shorts/
# 주피터 노트북 사용법- https://pasus.tistory.com/134
jupyter notebook 명령어로 실행한 후, 웹 브라우저에서 New 버튼을 눌러 새 노트북을 만들고, 코드 셀에 파이썬 코드를 작성한 뒤 Shift+Enter로 실행하는 것입니다. 또한, 마크다운 셀을 사용하여 코드에 대한 설명이나 이미지를 추가할 수 있으며, Ctrl+S로 저장하여 파이썬 파일(ipynb) 형식으로 저장할 수 있습니다. - 아나콘다 프롬프트/터미널 사용:
- 윈도우 시작 메뉴에서
Anaconda Prompt또는Jupyter Notebook을 검색하여 실행합니다. - 원하는 폴더로 이동한 후,
Shift를 누른 상태에서 마우스 오른쪽 버튼을 클릭하여PowerShell 창 열기를 선택합니다. - 열린 창에
jupyter notebook이라고 입력하고 엔터를 누릅니다. - 웹 브라우저에서 주피터 노트북이 실행되며, 파일 탐색기 창이 나타납니다.
- https://m.blog.naver.com/towards-ai/222182455430
- 윈도우 시작 메뉴에서
- 웹 브라우저의 주피터 노트북 페이지에서
New버튼을 클릭하고Python 3(또는 사용하려는 파이썬 버전)를 선택합니다. - 코드나 마크다운을 작성한 후
Ctrl+S를 눌러 현재 노트북 내용을 저장합니다. 파일은.ipynb확장자로 저장됩니다.
- 코드 작성: 노트북에 표시되는 셀에서 파이썬 코드를 작성합니다.
- 코드 실행: 작성된 코드를 실행하려면 해당 셀을 선택한 상태에서
Shift+Enter를 누릅니다. - 셀 추가/삭제:
B키를 누르면 아래쪽에 셀이 추가됩니다.A키를 누르면 위쪽에 셀이 추가됩니다.- 휴지통 아이콘을 클릭하거나
D키를 두 번 눌러 현재 셀을 삭제할 수 있습니다.
- 코드 셀 위 또는 아래에 있는 셀 유형을 '마크다운'으로 변경하여 코드에 대한 설명, 이미지, 수식 등을 포함할 수 있습니다.
- 마크다운 셀을 선택한 후
Shift+Enter를 누르면 서식이 적용된 텍스트를 확인할 수 있습니다
빅데이터 1) 빅데이터란 2) 빅데이터 배경 3) 빅데이터 종류 4) 빅데이터 분석(AI) 5) 스마트공장과 빅데이터 AI 6) 아두이노PLC 와 스마트공장 사례
기관//주요 개념/주요 특징
IDC고속 캡쳐, 발견, 분석이 가능한 다양한 데이터
빅데이터 기술에 대한 정의
기술 : 경제적 가치의 추출이 가능한 새로운 기술 및 아키텍처
큰 규모, 빠른 속도, 다양한 형태의 정보자산
빅데이터 특징 및 기술의 상세화
Gartner 기술: 새로운 형태의 처리기술, 의사결정 및 통찰력 향상, 프로세스 최적화
인프라와 기술의 역할
Oracle 전통적인 DB기반의 데이터와 비구조화 데이터
데이터 원천의 중요성 300TB/주 이상 데이터가 생성되는 조직에서의 활용
Intel RDB 트랜잭션 데이터, 이메일, 센서데이터, 블로그, 소셜미디어 등
컴퓨팅 파워의 활용 측면
Microsoft • 기술: 대용량, 복잡한 정보처리 프로세스, 기계학습, 인공지능
빅데이터 자체에 대한 정의
Wikipedia 크고 복잡한 데이터의 집합
기술: 전통적인 데이터베이스 관리 툴 및 기술의 한계를 벗어남
HorizonWatch 기업 내 의사결정에 중요역할을 할 수 있는 데이터
빅데이터 가치와 역할에 집중
기술: 정보의 수집, 저장, 관리 기술
MIKE2.0 • 데이터들의 복잡성, 특히 조합, 상호연관 수준의 중요성
데이터의 복잡성 강조
NIST 기존의 방식이나 시스템의 한계와 역량을 넘어서는 데이터
현존하는 상용기술과의 간극
빅데이터 종류
분류형태
연관 데이터베이스
KV Store
Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
KV Store Eventually consistent
Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
KV Store Hierarchical
GT.m, Cache
KV Store Ordered
TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
KV Cache
Memcached, Repcached, Coherence, Hazelcast, Infinispan, EXtremeScale, JBossCache, Velocity, Terracotta
Tuple Store
Gigaspaces, Coord, Apache River
Object Database
ZopeDB, DB40, Shoal
Document Store
CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-Databases, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
Wide-Column Store
BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI
Graph Database
Neo4j, AgensGraph[6]
모아폼 서식: https://www.moaform.com/ko/exit/Mj1yoD
http://www.openwith.net / http://www.openwith.net/?page_id=53
Python으로 할 수 있는 것 • 웹개발 • 게임 개발 • 업무 자동화 • 데이터 분석 • 기계 학습 • 과학 계산 • 텍스트 처리 • 이미지 처리 • 멀티 미디어 • 데이터 베이스
App Store에서 제공하는 StonePASS
# 하둡 에코시스템-Hadoop에는 다음의 소프트웨어 모듈이 포함됩니다.
- Hadoop Common: 공통으로 이용되는 utilities 소프트웨어.
- Hadoop Distributed File System (HDFS™): application 데이터를 이용하기 위해 제공되는 분산 파일시스템.
- Hadoop YARN: cluster의 자원관리를 통해 job scheduling.
- Hadoop MapReduce: YARN 기반의 병렬처리 시스템.
Apache에는 Hadoop 그 자체 외에도 많은 관련된 프로젝트가 진행중입니다.
- Avro™: 데이터 serialization 시스템.
- Cassandra™: scalable multi-master 데이터베이스 (즉, no single points of failure).
- Chukwa™: 데이터 수집 시스템
- HBase™: scalable, 분산 데이터베이스 (대형 table에 대한 structured 저장공간을 제공).
- Hive™: 데이터웨어하우스 (DW :data warehouse)를 위한 infrastructure로서 data summarization 및 ad hoc query를 지원.
- Mahout™: 기계학습 (machine learning) 및 데이터마이닝 (data mining) library.
- Pig™: high-level data-flow 언어 내지 병렬처리 실행 framework.
- ZooKeeper™: 분산 application을 위한 고성능의 coordination service .
Hadoop의 특징은
분산시스템으로서의 장애극복(fault-tolerance) 기능과 애플리케이션 로직을 분리하여 주는 데 있습니다.
Apache에는 Hadoop 그 자체 외에도 많은 관련된 프로젝트가 진행중입니다.
- Avro™: 데이터 serialization 시스템.
- Cassandra™: scalable multi-master 데이터베이스 (즉, no single points of failure).
- Chukwa™: 데이터 수집 시스템
- HBase™: scalable, 분산 데이터베이스 (대형 table에 대한 structured 저장공간을 제공).
- Hive™: 데이터웨어하우스 (DW :data warehouse)를 위한 infrastructure로서 data summarization 및 ad hoc query를 지원.
- Mahout™: 기계학습 (machine learning) 및 데이터마이닝 (data mining) library.
- Pig™: high-level data-flow 언어 내지 병렬처리 실행 framework.
- ZooKeeper™: 분산 application을 위한 고성능의 coordination service .
Hadoop 개요/ http://www.openwith.net/?page_id=90
하둡 에코시스템은 HDFS(분산 저장), YARN(자원 관리), MapReduce(분산 처리)와 같은 핵심 기술을 기반으로 데이터 수집, 처리, 분석, 시각화 등 빅데이터 작업을 지원하는 다양한 도구와 프레임워크의 집합입니다. 주요 구성 요소로는 데이터 저장소(HDFS), 분산 처리 엔진(MapReduce, Spark), 데이터베이스(HBase), 데이터 수집(Sqoop), 워크플로우 관리(Oozie) 등이 있으며, 이 외에도 다양한 도구가 있습니다.
- HDFS (Hadoop Distributed File System): 클러스터 내의 모든 노드에 데이터를 분산하여 저장하는 하둡의 핵심 분산 파일 시스템입니다.
- HDFS (Hadoop Distributed File System): 클러스터 내의 모든 노드에 데이터를 분산하여 저장하는 하둡의 핵심 분산 파일 시스템입니다.
- YARN (Yet Another Resource Negotiator): 클러스터의 리소스(CPU, 메모리 등)를 관리하고, 다양한 애플리케이션을 스케줄링하여 실행하는 역할을 합니다.
- YARN (Yet Another Resource Negotiator): 클러스터의 리소스(CPU, 메모리 등)를 관리하고, 다양한 애플리케이션을 스케줄링하여 실행하는 역할을 합니다.
- HBase: HDFS 위에서 동작하는 분산 데이터베이스로, 대규모 데이터를 효율적으로 관리하고 실시간으로 접근할 수 있도록 돕습니다.
- HBase: HDFS 위에서 동작하는 분산 데이터베이스로, 대규모 데이터를 효율적으로 관리하고 실시간으로 접근할 수 있도록 돕습니다.
- Oozie: 워크플로우(작업들의 순서)를 정의하고 관리하는 워크플로우 스케줄링 시스템입니다.
- Oozie: 워크플로우(작업들의 순서)를 정의하고 관리하는 워크플로우 스케줄링 시스템입니다.
- Zookeeper: 분산 시스템의 설정 정보를 관리하고, 노드들 간의 동기화를 돕는 분산 코디네이터입니다.
댓글 없음:
댓글 쓰기