열심히 코딩

오늘 부터는 데이터분석을 위한 파이썬 기초문법정리를 시작하려 한다. 각 분야별로 사용하는 기술이고 내가 몰랐던 분야는 임베디드 분야네??. 임베디드 분야란: 작은 혹은 어떠한 기기에 들어가서 실행되는 기기라고 생각하면될 거 같다. 예를들면 스마트냉장고 스마트 전구등 말이다. ! 하지만 내가 주로 사용해야한 분야는 데이터 분야이기에 python 을 사용해서 배워 볼 것이다. 아직은 잘 모르겠지만 python이 굉장히 많이 쓰이는데 다들 왜이렇게 다른 언어들을 쓰는지.....아마 각 언어마다 장단점이 있기 때문이겠지...? ㅎ [참고] React,Next.js: 자바스크립들 가지고 만들어진 프레임워크라고 한다. 그리고 요즘에 앱은 Kotlin 이 대세라고 한다... 1.프로그래밍 언어와 컴파일러 이해 프..

자 이전에 한 글에서 문제점이 있다!!! 무엇일까?? 기존에 기입한 49개 데이터를 보두 학습시켰기 때문에 예측률이 100%가 나온것이다. 다른 값을 넣어도 그 값이 정답인지 아닌지 모른다. 그렇기에 우리는 진짜 데이터를 대략30프로정도 제외시키고 70프로 정도 데이터만 학습 시켜서 검증하는데 30프로데이터를 사용해야하 더 정확한 알고리즘인 것이다. [참고]평가에 사용하는 데이터를 테스트 세트test set, 훈련에 사용되는 데이터를 훈련 세트train set라고 부릅니다. 📜 결론: 왜 넘파이를 쓰는가?질문파이썬 리스트넘파이 배열2차원 배열 지원불편함편리함성능느림빠름라이브러리 호환별도 변환 필요바로 사용 가능코드 간결성수작업 구현 필요내장 함수로 간단 처리오류 가능성높음낮음import numpy ..

자 이제 머신러닝을 본격적으로 배워 볼 것이다. 물론 쉬운 거 부터 차근 차근 해보자 첫 번째로 다룰 데이터는 생선 데이터이다 .캐글에서 가지고 온 데이터로 생선을 잘 분류하는 프로그램을 만들어 보겠습니다.!!! 일단 도미의 데이터부터 저장해보자(가짜 데이터)bream_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0] bream_weight = [242.0, 290..

머신러닝 모델이란 무엇일까?? 머신런이 모델만들기란 함수만들기라고 생각하면 된다. 어떤 값을 집어 넣었을 때 어떠한 결과가 예측 될 수 있는 절차를 만드는 것이라고 보면되는 것이다. 규칙을 찾아 만드는 함수를 머신러닝이라고 보면 되는 것이다. 머신러닝 모델을 만들 때 두 종류의 변수를 사용합니다.•예측 변수(predictor variable): 예측하는 데 활용하는 변수 또는 모델에 입력하는 값을 예측 변수라 합니다. •타겟 변수(target variable): 예측하고자 하는 변수 또는 모델이 출력하는 값을 타겟 변수라 합니다. 1.소득 예측 모델 만들기 전처리 adult 데이터를 이용해 인적 정보로 소득을 예측하는 의사결정나무 모델을 만들어 보겠습니다. import pandas as pddf =..

오늘은 통계분석 기법을 이용한 가설 검정을 해볼 것이다.데이터분석을 하기전에는 이러한 결과들이 어떤 원인에 의해서 일어난 것인지 알아야하고, 또 그러한 원인에 의해서 어떠한 결과가 앞으로 일어날 지 알고 싶어 데이터 분석을 하는 것이다. 그렇다면 그 원인이 진짜 그 결과를 만들어내는 것인지 알고싶으면 가설검증을 해야한다.! 다음 우리가 할 것은 통계분석 기법을 이용해 가설 검정하는 방법이다. 먼저 통계분석은 첫 번째로 기술통계로 두 번째로는 추론 통계로 나눌 수 있다. 1.기술통계 : 데이터를 요약해 설명하는 통계분석기법2.추론통계: 단순히 숫자를 요약하는 것을 넘어 어떤 값이 발생할 확률을 계산하는 통계기법(일반적인 통계분석) 다음 첫 번 째로 할 것은 t- test 이다. 1. T- test..

1.인터랙티브 그래프1) 산점도 마우스 움직임에 반응해 실시간으로 모양이 변하는 인터랙티브 그래프를 만드는 방법을 알아봅시다!!!!!!!!!아래처럼 약간 그런 느낌??? ㅎㅎpip install plotlypip install jupyter-dash위의 패키지를 설치하고 산점도를 만들어 보자 늘 하던 것처럼 csv파일 read 하자!! import pandas as pdmpg = pd.read_csv('mpg.csv')# 산점도 만들기import plotly.express as pxpx.scatter(data_frame = mpg, x = 'cty', y = 'hwy', color = 'drv') 원래는 seaborn을 사용했는데 여기선 인터랙티브 차트를 사용하기에 express 를 import 해서 ..

지도 시각화 아래처럼 지역별 특징을 지도에 색깔로 표현한 단계 구분도를 만드는 방법을 알아봅시다!! 1-1)시군구별 인구 단계 구분도 만들기import jsongeo = json.load(open('SIG.geojson', encoding = 'UTF-8')) 먼저, 시군구별로 인구 관련 데이터는 json 형태로 되어 있다. 그렇기에 json을 `import 해주고 json.load()로 파일을 불러와주자!!! # 행정 구역 코드 출력geo['features'][0]['properties']{'SIG_CD': '42110', 'SIG_ENG_NM': 'Chuncheon-si', 'SIG_KOR_NM': '춘천시'}SIG.geojson은 아래의 형태를 하고 있고 geo의 첫번째 배열의 그 featu..

1.성별 직업 빈도 - 성별로 어떤 직업이 가장 많을까? 먼저 남성 직업 빈도 상위 10개 추출 해보자job_male = welfare.dropna(subset = ['job']) \ .query('sex == "male"') \ .groupby( 'job' , as_index =False) \ .agg(n = ('job' , 'count')) \ .sort_values('n' , ascending = False) \ .head(10)job_male결측치 제거해주고 성별은 male로 고정시키자 그리고 job별로 그룹을 해주고 데이터값은 job의 빈도로 고정시키자. 이후 내림차순으로 나열하자.# 여성 직업 빈도 상위 10개 추출job_female = welfare.dropna(..

welfare['age_range'].value_counts()우리가 첫 번 째로 분석할 데이터는 '한국복지패널 데이터"를 분석하는 것이다. raw_welfare = pd.read_spss('Koweps_hpwc14_2019_beta2.sav')# 복사본 만들기welfare = raw_welfare.copy()일단 전체적으로 컬럼 수랑 행이 굉장히 많다 . 그리고 컬럼 자체가 이해할 수 없기에 이해할 수 있게 변수명 부터 바꿔보자! welfare = welfare.rename( columns = {'h14_g3' :'sex', 'h14_g4' : 'birth', 'h14_g10' : 'marriage_type', 'h14_..

이때까지 데이터를 가공해보았으니 진짜 그래프를 만들어보자!! 먼저 그래프를 쉽게 만들 수 있는 seaborn 패키지를 사용해야한다. 1. 산점도 - 변수 간 관계 표현하기# x축은 displ, y축은 hwy를 나타낸 산점도 만들기import seaborn as snssns.scatterplot(data = mpg, x = 'displ', y = 'hwy')# x축 범위 3~6, y축 범위 10~30으로 제한sns.scatterplot(data = mpg, x = 'displ', y = 'hwy') \ .set(xlim = (3, 6), ylim = (10, 30))위에 코드처럼 x와 y 값에 limit를 두어서 필요부분만 상관관계를 분석할 수 있다.2. 막대그래프- 집단간 차이 표현하기 1) drv 그..