판다스

    [머신러닝] KNN으로 데이터 분류하기 (with Scikit-Learn)

    [Pandas] 6. 폴더 내 여러 데이터 프레임(파일) 합치기 [Pandas] 5. 조건에 맞춰 데이터 추출하고 수정하기 (Kaggle 에서 가져온 Gear Defection 데이터 이용) Kaggle 이라는 사이트가 있습니다. 데이터 사이언스 커뮤니티입니다. 유명한 IT 기업들이 데이터 분석 senti-mech.tistory.com 앞선 글에서 각 Defection 별로 나뉘어져있던 변위 데이터를 한 곳으로 모았다. 이 데이터를 이용하면 새로운 값을 넣었을 때, 그 것이 어떤 Defection인지 예측하는데 도움이 될 수 있다. 하지만 Defection 당 데이터가 150,000개다. 너무 많다. 그래서 나는 머신러닝을 사용해보기로 했다. 머신러닝 분류 모델에는 여러가지가 있다. 나이브 베이즈, De..

    [Pandas] 6. 폴더 내 여러 데이터 프레임(파일) 합치기

    [Pandas] 5. 조건에 맞춰 데이터 추출하고 수정하기 (Kaggle 에서 가져온 Gear Defection 데이터 이용) Kaggle 이라는 사이트가 있습니다. 데이터 사이언스 커뮤니티입니다. 유명한 IT 기업들이 데이터 분석 Competition을 열기도 합니다. 많은 데이터들이 올라와있고, 사람들이 그 분석방법을 공유합니 senti-mech.tistory.com 위 글에서 소개한 데이터를 머신러닝으로 분류하기 앞서, 각 파일로 나뉘어져있는 데이터를 하나로 합쳐보자. 나는 데이터가 담긴 총 6개의 파일이 있고, 각 파일의 Column Head는 모두 동일하다. 이 데이터들에서 조건에 맞는 데이터들만 꺼내어 하나로 합칠 예정이다. 1. 폴더 내 csv 파일 모두 읽어오기 import pandas a..

    [Pandas] 5. 조건에 맞춰 데이터 추출하고 수정하기 (Kaggle 에서 가져온 Gear Defection 데이터 이용)

    Kaggle 이라는 사이트가 있습니다. 데이터 사이언스 커뮤니티입니다. 유명한 IT 기업들이 데이터 분석 Competition을 열기도 합니다. 많은 데이터들이 올라와있고, 사람들이 그 분석방법을 공유합니다. 공공데이터 말고 재밌는 게 없을까 하고 찾다 발견했습니다. 한국에는 비슷한 사이트로 데이콘(Daycon)이 있습니다. Mechanical Gear Vibration Dataset Vibration of six gear types are measured under various working conditions www.kaggle.com 제가 오늘 사용할 데이터입니다. 기어의 진동 데이터이고, 문제가 발생했을 때의 값이 모두 적혀있습니다. 데이터 파일은 6개로 나뉩니다. 각각 Eccentricity,..

    [Pandas] 3. Dataframe과 Series 정보 확인

    이제 정말 약간이나마 데이터 분석으로 가까워집니다. 1. Dataframe 정보 확인 a. df.describe() import pandas as pd data = { '이름' : ['채치수', '정대만', '송태섭', '서태웅', '강백호', '변덕규', '황태산', '윤대협'], '학교' : ['북산고', '북산고', '북산고', '북산고', '북산고', '능남고', '능남고', '능남고'], '키' : [197, 184, 168, 187, 188, 202, 188, 190], '국어' : [90, 40, 80, 40, 15, 80, 55, 100], '영어' : [85, 35, 75, 60, 20, 100, 65, 85], '수학' : [100, 50, 70, 70, 10, 95, 45, 90], ..