TECH/Data
*본 포스팅은 '데이터 중심 애플리케이션 설계(위키북스)' 책을 참고하여 학습한 내용을 요약 정리한 것입니다* 트랜잭션(Transaction) 데이터베이스 관리 시스템 또는 유사한 시스템에서 상호작용의 단위 (위키백과) 데이터베이스의 상태를 변환시키는 하나의 논리적 기능을 수행하기 위한 작업의 단위 또는 한꺼번에 모두 수행되어야 할 일련의 연산 (참조 - coding-factory.tistory.com/226) [데이터 중심 애플리케이션 설계] 논리 단위의 형태로서 읽기와 쓰기 그룹을 나타낸다. 트랜잭션이 반드시 ACID(원자성), 일관성, 격리성, 지속성 등 속성을 가질 필요가 없다. 트랜잭션 처리는 주기적으로 수행되는 (예를 들어 하루에 한 번) 일괄 처리 작업과 달리 클라이언트가 지연 시간이 낮은 ..
* 본 포스팅은 '파이썬 라이브러리를 활용한 데이터 분석' 책 스터디 및 수업 내용 정리를 위한 것입니다* 7) 그룹화 행열을 재구성하여 숫자 칼럼에 대한 연산을 진행 groupby 특정 범주형 데이터들이 있을 경우 이 범주형 데이터를 기준으로 하여 특정 연산을 처리하고 싶을 때, 특정 범주로 데이터를 쪼개서 연산을 처리한 후에 다시 하나로 묶어서 데이터를 병합하는 것 [groupby 도식화] 참조 : https://wikidocs.net/46757 groupby뒤에 연산을 하고 싶은 칼럼과 산식(sum, mean 등)을 넣는다. 산식 없이 print하면 그룹핑되었다는 것을 나타내는 object 결과만 나오게 된다. data = {'name':['수정','서영','수정','서영'], 'price':[35..
* 본 포스팅은 '파이썬 라이브러리를 활용한 데이터 분석' 책 스터디 및 수업 내용 정리를 위한 것입니다* 아래 코드로 만들어진 DataFrame으로 테스트 진행 import numpy as np df = DataFrame(np.arange(12).reshape(4,3), index=['1월','2월','3월','4월'], columns = ['강남','강북','서초']) print(df) print(df['강남']) print(df['강남']>3) #3보다 작으면 0으로 채운다 df[df
* 본 포스팅은 '파이썬 라이브러리를 활용한 데이터 분석' 책 스터디 및 수업 내용 정리를 위한 것입니다 지난 번 dataframe이 내용이 너무 많아 여기에 이어서 작성 2-1)DataFrame 그 외 기능 from pandas import DataFrame data = { 'name':['이익준','안정원','채송화','양석형','김준완'], 'address': ('신당동','역삼동','한남동','역삼동','신사동'), 'age': [38,35,33,29,34] } 행/열 변경, values 속성 values 속성은 DataFrame에 저장된 데이터를 2차원 배열로 반환한다. #행과 열이 바뀜 print(df2.T) #values 속성 print(df2.values) print(df2.values[0..
* 본 포스팅은 '파이썬 라이브러리를 활용한 데이터 분석' 책 스터디 및 수업 내용 정리를 위한 것입니다* Pandas 고수준의 자료 구조와 파이썬에서 빠르고 쉽게 사용할 수 있는 데이터 분석 도구를 포함하고 있다. pandas는 다른 산술 계산 도구인 Numpy, Scipy, 분석 라이브러리인 statsmodels와 scikt-learn, 시각화 도구인 metplotlib과 함께 사용하는 경우가 흔하다. pandas는 for 문을 사용하지 않고 데이터를 처리한다거나 배열 기반의 함수를 제공하는 등 Numpy의 배열 기반 계산 스타일을 많이 차용했다. Pandas와 Numpy의 가장 큰 차이점은 pandas는 표 형식의 데이터나 다양한 형태의 데이터를 다루는 데 초점을 맞춰 설계했다는 것! Numpy는 ..
* 본 포스팅은 '파이썬 라이브러리를 활용한 데이터 분석' 책 스터디 및 수업 내용 정리를 위한 것입니다* 1) random numpy.random 모듈은 파이썬 내장 random 함수를 보강하여 다양한 종류의 확률 분포로부터 효과적으로 표본값을 생성하는 데 주로 사용된다. (한마디로 효율적으로 무작위 샘플을 만들 수 있다) 복권 추첨, 음악 CD의 재생 순서 섞기 등등... (잘 몰랐던 용어) 난수 : 파이썬에서 random number라고 하는 것. >random은 주사위를 던지는 상황을 생각해보면 된다. 주사위 각 면에 1부터 6까지 눈이 있어 던질 때마다 그 중 하나의 숫자가 선택되는데 직접 던지기 전에는 다음 번에 어떤 숫자가 나올지 알 수가 없다. 그런데 주사위를 600번 정도 던져보면 각 숫..
* 본 포스팅은 '파이썬 라이브러리를 활용한 데이터 분석' 책 스터디 및 수업 내용 정리를 위한 것입니다* Overview Numpy 개념, 장점 및 활용 개념 및 구성요소 Numpy Numerical Python. 파이썬에서 산술 계산을 위한 가장 중요한 수치 해석용 파이썬 패키지이다. 다차원의 배열자료 구조인 ndarray 클래스를 지원하며, 벡터와 행렬을 사용하는 선형대수 계산에 주로 사용한다. Numpy자체는 모델링이나 과학 계산을 위한 기능을 제공하지 않기 때문에 먼저 Numpy 배열과 배열 기반 연산에 대한 이해한다. ndarray Numpy의 핵심 기능 중 하나로, 다차원의 배열 객체로 파이썬에서 사용할 수 있는 대규모 데이터 집합을 담을 수 있는 빠르고 유연한 자료 구조 배열 리스트나 튜플..
