전략품목
공급망 관점
세부기술
금융
은행의 경우 은행 간 자금 경제를 관리하거나 현금/외환/투자 현황 보고서를 작성하거나 이상탐지거래를 분석하고 자금세탁 거래 모니터링 기술
비재면 고객 대응 분야, 보험사의 고객 및 계약 관리에 적용
Robotic Process Automation (RPA)
제조업
거래처에 대한 정보를 등록하거나 견적대사 작업을 자동화 시키는 기술
제조한 물품의 출하 검사 성적서 자동 생성 및 입력 업무를 자동화 하는 기술
연구개발, 구매, 영업 등에 적용하여 기업의 생산성을 높이거나 서비스 영역의 주문 대형 및 시장가 분석 등에 도입가능한 경쟁력 강화 기술
경영
상품/고객별 수익성을 분석하고 재무 데이터를 관리하는 기술
회계와 같은 경영 지원 쪽으로 활용가능한 기술
인사
데이터 입력 업무 자동화 예를 들어 직원의 입사 절차나 대외보고, 복리후생 등의 업무를 자동으로 처리 가능한 기술
https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=sundooedu&logNo=221358102098
시각화의 유형- 꺽은선 그래프, 히스토그램(대략적인 분포 파악), 막대그래프(범주형데이터인 경우)
- 테이블 형태 (히트맵, 상관관계) , 지도
❖ 시각화 도구 : 시각화 패키지 사용, Python, Matplotlib, Seaborn, Plotly, 태블로, Spotfire, Qlikview 등
❖ 대시보드 : BI Tool ( Tableau, Power BI, Google Analytics 등 )
국내공공분야 (공공데이터 포털)- www.data.go.kr
• 국내민간분야 (네이버데이터랩)- www.datalab.naver.com
• 해외공공분야 (OECD Data)- www.data.gov
• 해외민간분야 (Kaggle, AWS)- www.kaggle.com/datasets
http://www.nongsaro.go.kr/portal/ps/psv/psvr/psvre/curationDtl.ps?menuId=PS03352&srchCurationNo=1362&totalSearchYn=Y
빅데이터 개념과 용어 이해
데이터 세트 • 관련 데이터의 모음이나 그룹을 일반적으로 데이터 세트라고 함
- 플랫파일의 저장된 트윗 , 디렉토리에 있는 이미지 파일, CSV / Excel / XML / Database 등
데이터 분석 • 사실, 관계, 패턴, 인사이트, 트랜드를 찾기 위해 데이터 검토 과정
데이터 애널리틱스 • 데이터 분석을 포괄하는 더 광범위한 용어
• 데이터 수집, 정리, 구성, 저장, 분석, 관리 포함해서 데이터 수명주기 전체 관리
• 4개의 일반적인 분석 범주 존재 (과학적 기법, 자동화된 도구 활용/개발)
- 서술 분석 (Descriptive) , 진단 분석(Diagnostic), 예측 분석(Predictive), 처방 분석(Prescriptive)
비즈니스 인텔리전스 (BI)
• 조직이 비즈니스 프로세스 및 정보시스템에서 생성된 데이터를 분석함으로써 기업의 성과에 대한
인사이트를 얻을 수 있게 한다
• BI는 분석 쿼리를 실행하기 위해 기업데이터 DW 활용
핵심성과지표(KPI)
• 특정 비즈니스 상황에서 성공을 측정하는 데 사용하는 지표
• KPI는 비즈니스의 전반적인 성과를 측정하기 위한 정량화가 가능한 기준점 역할
• KPI는 대시보드를 통해 표시
다양한 유형의 데이터
• 정형데이터 : 숫자, 관계형 데이터
• 비정형 데이터 : 이미지, 소리, 영상
• 반정형 데이터 : 계층적, 그래프 기반, 소셜네트워크, XML, JAON파일, EDI
• 메타데이터 : 데이터세트의 특성, 구조 정보
데이터분석 소프트웨어
❖ 데이터분석 소프트웨어 이용하는 것이 Python, R 프로그래밍 처럼 자유롭지 않고 고난도의 데이터 분석에 한계
는 존재 함. 그러나 분석 목표, 방식이 정해져 있고, 난이도가 높지 않고, 반복적으로 수행될 때, 짧은 시간에 결과
도출 시 효율적 활용이 가능 함
❖ 데이터 애널리스트, 시티즌 데이터 사이언티스트는 필수적으로 활용 가능해야 함
❖ KNIME, RapidMiner, Orange3, SAS 등
프로그래밍
❖ 특정 목적을 달성하기 위해 설계된 알고리즘을 프로그램 언어를 사용하여 구체적인 프로그램으로 작성하는 과정
- 데이터 사이언티스트, 데이터 리서처는 코딩이 필수 요건
- 선호도 조사 : JS, HTML/CSS, SQL, Python, Java
- 시각화 패키지 : Matplotlib, Seaborn, Plotly, Ggplot 등
- 자주 사용하는 머신러닝 프레임워크 : scikit-learn, Tensorflow, Keras, Pytoch 등 ( 안드로이트 – 코틀린 )
웹 크롤링
❖ 웹크롤링 또는 웹 스크래핑은 ‘웹 크롤러＇를 활용해서 원하는 정보를 수집하는 작업
❖ 데이터에 접근하는 방식에 따라 크게 세가지로 분류
- HTTP와 HTML을 활용 : HTTP통신 방식으로 원하는 HTML소스 코드 다운로드후 파싱해서 데이터 추출
- 웹 URL 주소를 모를 때 웹 브라우저를 이용해 사람이 직접 데이터를 받는 모습을 따라하는 프로그램을 만들어 데이터를 다운로드
- 데이터를 다운로드 할 수 있도록 만들어진 인터페이스 API 활용
웹 크롤러
- 웹 크롤링을 수행하는 프로그램을 말함
- Python 관련 패키지
. HTTP방식 ➔ ‘BeautifulSoup’ 패키지
✓ 주의사항
- 페이지 요청 사이에 어느정도 간격을 둬라
(사람 속도보다 빠르면 차단)
- 개인정보 등 법적인 이슈 고려
체
데이터 마이닝
❖ 데이터 디스커버리라고도 함. 대규모 데이터를 대상으로 하는 특수한 형태
❖ 일반적으로 대규모데이터에서 패턴과 경향을 찾아내는 자동화된 소프트웨어 기술
❖ 이전에 알려지지 않은 패턴을 식별할 의도로 데이터의 숨겨진 패턴 또는 알려지지 않은 패턴을 추출하는 작업
❖ 데이터마이닝은 예측 분석 및 비즈니스 인텔리젼스의 기반이 됨
❖ 데이터 마이닝과 KDD(Knowledge Discovery in Database)
- 데이터로부터 유용한 지식을 찾아내는 과정
- 데이터 추출, 사전 처리, 변환 과정, 분석 (Data Mining), 결과를 해석
❖ 데이터 마이닝 분석 과정
- CRISP-DM(Cross Industry Standard Process for Data Mining)
- 비즈니스 이해, 데이터 이해, 데이터 준비, 모형, 평가, 적용
체크포인트
전문 소프트웨어 사용이 필수 적임
✓ 데이터 마이닝 활용분야
- 패턴인식 (pattern recognition) : 방위산업, 의료진단 분야
- 금융분야 : 신용등급에 따라 대출규모 및 이자 결정
- 신용카드 사기, 보험회의사의 보험사기 등에도 활용
- 고객관계관리(CRM)과 밀접한 관계 : 고객의 행동 파악
시각화
❖ 시각화의 유형
- 꺽은선 그래프, 히스토그램(대략적인 분포 파악), 막대그래프(범주형데이터인 경우)
- 테이블 형태 (히트맵, 상관관계) , 지도
❖ 시각화 도구 : 시각화 패키지 사용, Python, Matplotlib, Seaborn, Plotly, 태블로, Spotfire, Qlikview 등
체
수학/통계학
❖ 데이터 애널리스트 : 통계학 기초 수준 알아두면 좋다
❖ 데이터 사이언티스트, 데이터 리서처 : 수학, 통계학, 정보이론 필수
❖ 데이터 엔지니어 : 프로그래밍 집중
❖ 시티즌 데이터 사이언티스트 : 통계학 기초 수준, 데이터분석 소프트웨어 활용 역량 집중
Google Analytics는 처음부터 웹서비스 사용자 분석만을 목적으로 만든 시스템. 공정 데이터 등 웹서비스 이외의 용도를 가진 데이터는 Google Analytics 로 분석하기에 적합하지 않음.
1. BI 솔루션
❖ 데이터 분석 플랫폼
❖ 데이터 수집, 처리, 분석, 시각화까지 모두 가능한 소프트웨어
❖ Power BI 와 마찬가지로 직관적인 인터페이스 (GUI로 구성됨) 사용성이 좋음
❖ 버라이즌, 레노버, 루프트한자 등 많은 대기업들이 사용 중
❖ 시각화할 때 정말 다양하고 쉽게 간편하게 구현할 수 있음
❖ 현재 Power Bi와 같이 데이터 시각화 소프트웨어의 선두주자로 달리고 있음
❖ 유료이며, 한달 70달러
BI 솔루션 –
1. BI 솔루션
❖ Power BI는 셀프 서비스 및 엔터프라이즈 비즈니스 인텔리전스(BI)를 위한 확장형 통합 플랫폼
❖ 모든 데이터를 연결하고 시각화 하며 매일 사용하는 앱에 시각적 개체를 원활하게 삽입 및 활용이 가능
❖ 마이크로소프트에서 개발한 데이터 시각화 소프트웨어
❖ 다양한 데이터 소스를 지원한다. (클라우드, 엑셀, sql 등)
❖ 실시간으로 대시보드로도 사용 가능
❖ 롤스로이스, 월마트 대기업에서도 많이 사용 함
❖ 현재 테블로와 같이 데이터 시각화 소프트웨어의 선두주자로 달리고 있음
1. BI 솔루션
❖ 구글에서 개발한 웹사이트 트래픽 분석 플랫폼
❖ 특정 웹사이트에 방문자 수, 얼마나 머물렀는가, 어떤 페이지에 방문자수가 높은가 등의 정보를 실시간
대시보드 형태로 보여줌
❖ 위 두 소프트웨어(Power BI, tableau) 다르게 특정 웹사이트의 트래픽과 관련된 정보만 분석 가능
❖ 웹사이트의 이용자들의 특성(나이, 지역, 접속 시간 등)등의 정보들을 시각화하여 보여줌.
❖ 주로 마케팅 분석 시 사용
2. 통계 기반 분석 솔루션
❖ 통계분석 소프트웨어이며, 사용자 친화적인 인터페이스(GUI로 구성됨)를 갖고 있기 때문에 사용성이 아주 좋음
❖ 1968년부터 개발되어 현재는 IBM에 인수되었음
❖ 엑셀이랑 비슷한 인터페이스를 갖고 있지만, 엑셀에는 워크시트가 있는 반면 SPSS는 그런 개념 없이 한 워크
시트에서 여러 데이터를 갖고 작업할 수 있음
❖ 많은 시각화 툴도 제공하지만, 디자인 면에서는 다소 떨어지는 면이 있다.
❖ 프로그램 특성상 많이 무겁기 때문에 빅데이터 분석 같은 업무는 처리하기 힘들 수 있다
2. 통계 기반 분석 솔루션
❖ 통계 분석 시스템 (Statistical Analysis System) 의 약자.
❖ SPSS 와 다르게 명령어 기반으로 사용해야 한다. (SPSS, Excel 처럼 마우스를 이용하는 것이 아님.)
❖ 하지만 빅데이터의 경우 SPSS 보다 SAS 가 훨씬 처리속도가 빠르다.
❖ 현재 사용자 친화적으로 업데이트를 지속적으로 진행하기에 사용성이 점점 좋아지고 있다.
❖ 유료 소프트웨어이며, 1년 사용시 8700달러(약 1006만원)를 지불해야 한다.
2. 통계 기반 분석 솔루션
❖ 기존 SAS의 명령어 작성 방법이 아닌, 사용자 친화적인 방법으로 사용성이 좋음
❖ 통계 분석 기능과 더불어 데이터 분석 툴들도 제공
❖ 통계분석 패키지 중 가장 BI 에 가까운 특징일 갖고 있음
❖ 타 시스템 대비 데이터 마이닝 기능이 강력함
3. AI 플랫폼
❖ 삼성SDS에서 개발한 통합 AI플랫폼
❖ 주요 서비스
- 자동화된 분석 가이드 제공 : 각 단계별 분석 과정을 설명하고 누구나 쉽게 분석 할 수 있도록 친절한 가이드를 제공
- 최적의 분석 모델 추천 : 분석 환경과 데이터에 최적의 알고리즘 추천으로 현장 전문가도 원하는 분석 결과를 내기 위한 모델링을
손 쉽게 할 수 있음
- 대용량 데이터 고속 처리 및 시각화
- 검증된 BP 기반의 Pre-Built 활용으로 인사이트 확보 : 현장에 적용되어 이미 검증된 분석 모델을 바로 업무에 활용 가능
❖ 특장점
- 시각화된 분석화경 제공 : 복잡한 코딩없이 Drag & Drop을 통해 WorkFlow로 시각화하고 입출력 데이터와 적용된 알고리즘을
한눈에 확인 가능
- 최적의 알고리즘 추천 : 데이터에 최적의 알고리즘과 적합한 파라미터 값을 제시하는 알고리즘 추천 기능 제공
- 현장 전문가들도 쉽게 모델링 가능
- 자동화된 분석 가이드 제공 : 각 단계에서 수행하는 분석의 과정을 상세히 설명하는 Guided Analytics 서비스 제공
- 분석 결과 배포의 신속성 : 분석 결과를 즉시 Report로 편집하고 배포 가능
3. AI 플랫폼
❖ RapidMiner사에서 개발한 머신러닝 / 분석 툴
❖ Visual programming : 완전 GUI 방식을 통한 코딩없는 분석 진행
❖ 쉽게 확인 가능한 EDA : 데이터 탐색을 위한 기초 통계량 및 변수타입을 확인 할 수 있는 Summary View
30가지가 넘는 다양한 기본 차트 및 사용자 설정 차트 기능 존재
❖ 사용자 편의를 위한 Reference 제공
❖ 분석하고자 하는 데이터의 가장 적합한 알고리즘을 추천해 주는 서비스 존재
❖ 다수의 RapidMiner User의 사용 이력 정보를 제공
❖ 모델링을 위한 다양한 분석 Algorithm 제공
❖ 기본적인 통계함수 뿐만 아니라 ML Algorithm 제공
❖ 모델 최적화 및 검증을 위한 Optimization & Validation Operator를 제공
❖ 유연한 확장성
- SAS, SPSS, DB, URL등 30여 종류의 데이터 타입 입력 가능
- R / Python에 익숙한 사용자들을 위한 해당 Script 직접 작성 가능
- RapidMiner에 생성된 모델을 타 솔루션 및 시스템에 사용 가능
친절한 AI / 엘리쌤
❖
Orange에서 개발한 데이터 분석 / 머신러닝 툴
❖ 사용자 친화적인 GUI환경 제공
❖ 데이터에 대한 기초 통계량 및 다양한 분석 툴 존재
❖ 초보자들이 쉽게 사용 가능
❖ 스크립트 수정을 통해 숙련자들을 위한 확장성 제공
클라우드 컴퓨팅 서비스
- 정보처리를 자신의 컴퓨터가 아닌 인터넷으로 연결된 다른 컴퓨터로 처리하는 기술
- 필요한 시스템을 구축하기 위해 값비싼 하드웨어 어플리케이션을 구입 할 필요 없이 이미 구축 되어진 환경을 빌려 사용하는 기술
- AWS 와 MS Azure은 대표적인 클라우드 서비스
3. AI 플랫폼
❖ 마이크로소프트사에서 제공하는 실시간 대용량 데이터 분석 플랫폼
❖ 데이터 수집, 쿼리, 시각화, 관리를 위한 엔드투엔드 솔루션 제공
❖ 특성
- 데이터 속도, 다양성, 볼륨
. 밀리초에서 몇 초 이내에 결과가 반환되는 페타바이트 규모의 데이터를 쿼리할 수 있으며 원시데이터 뿐만 아니라 다양한 파이프라인과 소스에서 유입되는 다양한 형식과 구조의 데이터를 수집 가능
- 사용자에게 친숙한 쿼리 언어
. 자체 개발한 KQL(Kusto Query Language)를 사용해 Data 쿼리 진행
. 쿼리언어를 공부하지 않아도 쉽게 사용 가능
- 분석
. 시계열 추가 및 필터링, 회귀 등 다양한 기능을 사용해 분석이 가능하며 KQL쿼리에 python코드를 추가 가능해 확장성 존재
- 사용하기 쉬운 마법사
. 데이터 수집 프로세스를 쉽고 빠르고 직관적으로 수행할 수 있으며, 직관적인 안내형 환경을 제공해 쉬운 분석 환경 제공
- 다목적 데이터 시각화
. 다양한 차트 및 시각화 및 대시보드 제공 (Power BI와의 통합 및 Tableau 등 여러 시각화 툴에 대한 지원)
- 자동 수집, 처리 , 내보내기
1.1 LLM 모델
강의 내용 작성
너는 지금부터 강의 커리큘럼의 각 세션 내용을 구체적으로 설계하는 전문 강사야.
너의 목표는 제공된 커리큘럼 세부안을 실제 강의 교안 형태로 변환하는 것이야.
아래 지침을 모두 따라 강의 교안을 작성해줘. 우선 M1의 내용을 먼저 작성해줘
글
