본문 바로가기

전체 글

10주차 TIL 1일차 (회귀 알고리즘 - RandomizedSearchCV) 2023. 3. 20. 23:11 실습의 목표/ 데이터셋 ● 회귀 알고리즘의 사용 => Bike Sharing Demand | Kaggle ● 회귀의 평가방법 ✅ 1에 가깝고 클수록 예측 잘 됨 => R Squared (결정계수) ✅ 오차 측정하기 때문에 작을수록 예측 잘 됨 => MAE, MSE, RMSE, RMSLE, MAPE ✅ 평가 목적에 따라 다른 평가지표 사용 ● Label Smoothing ✅ 로그 변환 통해 한쪽에 치우치고 뾰족한 분포 -> 정규분포 형태 ✅ 데이터 정규화(Regularization)에 많이 사용되는 테크닉 & 모델의 일반화 성능을 높여주기도 합 ✅ 회귀 모델에서 사용할 수 있는 레이블 스무딩(Label Smoothing) 기법. ⇒ log1p log 적용 -> exp 적용 -> 원래 값으로 복원 ● Hyp..
0501 실습 (Telco- baseline) 2023. 3. 18. 16:40 📌 개념 및 코드 복습 ✅ index_col 📝데이터 로드할 때, 원하는 열로 인덱스 지정하여 불러오기 ✅ to_numeric 📝 데이터 형태를 숫자형태로 변경 pd.to_numeric(df["TotalCharges"],errors='coerce') 📝errors errors : {'ignore', 'raise', 'coerce'}, default 'raise' - If 'raise', then invalid parsing will raise an exception. - If 'coerce', then invalid parsing will be set as NaN. - If 'ignore', then invalid parsing will return the input. "raise" : 에러 발생 "co..
9주차 TIL 1일차 머신러닝( One-hot encoding, Random Forest ) 2023. 3. 13. 12:54 실습내용 정리 ✅ 0501실습 머신러닝의 지도학습의 분류를 사용하는 Scikit-learn API 기초와 DecisionTree 실습 => (수치데이터만 사용) ✅ 0502 실습 💡범주형 데이터 => 수치 데이터 (인코딩) 💡One-Hot-Encoding(pd.get_dummies) 💡RandomForest 더보기 🤔loss ❓ 예측값과 실제값(레이블)의 차이 💡손실함수(Loss function)는 예측값과 실제값(레이블)의 차이(loss)를 구하는 기준. => 머신러닝 모델 학습에서 필수 구성요소 => 손실함수로 인해 모델의 성능이 달라짐 이러한 이유로 머신러닝 모델을 구현하는 사람들은 어떠한 손실함수가 최적일지 고민 🤔df["Churn"].value_counts(1) df["Churn"].value_..
8주차 TIL 머신러닝 2023. 3. 9. 00:41 초반 실습목적 ✅ 머신러닝 모델을 실행하는 기본 과정을 이해하기 (학습 => 예측 => 평가) ✅ Scikit-learn API 기본 사용법 익히기 ✅ 학습을 하기 위해 학습, 예측 데이터를 나누는 방법 ✅ 학습(train, 기출문제, 정답이 있음), 예측(test, 실전 문제, 정답이 없음) ✅ 학습(fit)과 예측(predict)을 하고 평가(evaluate)를 하는 방법 ✅ 머신러닝 알고리즘 중에 최근 사용자가 많고 좋은 성능을 내는 DecisionTree 를 사용 ✅ DecisionTree 의 기본적인 원리 - 트리계열의 알고리즘은 분류, 회귀에서 모두 사용 📌df['TotalCharges'] dtype ( Object => Float ) ✅ 공백포함된 숫자로 된 문자열 범주형 변수 => 수치형 ..
8주차 TIL ( Clustering / 상관관계 ) 2023. 3. 7. 13:16 Clustering 1. Clustering ( 클러스터링 : 군집화) ✅ R (Recency), F (Frequemcy), M (MonetaryValue) 2. 로그함수 ✅로그(log)는 지수 함수의 역함수 ✅어떤 수를 표현하기 위해 고정된 밑을 몇 번 곱하여야 하는지를 나타냄 # rfm_cluster log 변환 rfm_cluster_log = np.log(rfm_cluster + 1) rfm_cluster_log.head(2) 💡 log 를 취할 때 왜 1을 더하고 로그를 적용할까 ? => x 값이 1보다 작을 때 마이너스 무한대로 수렴을 하기 때문에 가장 작은 값인 1 더하기 💡 np.log1p(x) = np.log(1+x) ▼ 더보기 💡 💡음수에 로그를 적용하려면 ? 더보기 ✅ Min-max s..
8주차 WIL (Online_Retail 실습 복습) 2023. 3. 2. 17:25 👨‍💼Key Word 더보기 ✅ MAU 📝"Monthly Active Users*"의 약자 📝 한 달 동안 특정 앱이나 웹사이트를 사용한 총 사용자 수 💡 만약 어떤 앱이 한 달에 1000명의 MAU를 가지고 있다면, 그 앱은 한 달 동안 1000명의 사용자가 앱을 사용한다는 것을 의미 ✅ 요일별 & 월별, 시간대별 구매 빈도수 지표가 중요한 이유 ❓ 📝 중요한 segment(세분화) 📝 특정 시간대나 요일 => 서버 증설 또는 알림 , 프로모션, 광고 등 구매율을 높이기위한 Action Plan 가능 📝 조회수 증가 -> 서비스 개선에 활용 ✅ 리텐션 📝 연도, 월, 일, 주별로 구하기도 함 📝 관점에 따라 주기 변경 💡예시 게임을 오픈했는데 1~2달 정도 되었다면 연도, 월별로 구해서 보더라도 큰 의..
8주차 비즈니스 데이터 분석 2023. 2. 28. 21:06 👨‍💼 SaaS 대시보드 템플릿 ✅ 오거닉(Organic) : 자연유입 ✅ 취소율(Churn rate) : 이탈률 💡 서비스(비즈니스)의 특징에 따라 봐야하는 지표가 다름! 비즈니스마다 유입인원수가 중요한지 이탈률이 중요한지가 달라짐 회원가입에 집중? 돈을 쓰는 고객에 집중? 신규 고객 유치에 집중? 광고, 프로모션, 오프라인 행사 등 여러가지 마케팅을 실시 구독형 서비스 같은 경우는 이탈률이 굉장한 지표 ✅ 오아시스 쇼핑몰(마켓컬리와 비슷) 시작 : 슈퍼마캣 => 현재 : 유기농 식자재를 싼 가격에 매입(상장 논의중) 👨‍💼 CAC, CPA, CPL CAC(Customer Acquisition Cost) : 고객 확보 비용 CPA(Cost Per Acquisition) : 확보 고객당 비용 CPL(Co..
0302 실습(FinanceDataReader를 통한 여러종목의 수익률 비교) 2023. 2. 18. 16:39 ✅ pd.read_html(url) url = https://finance.naver.com/sise/entryJongmok.naver?&page=1 # 네이버증권 상위종목 표 형태의 데이터 가져올 땐 read_html..까먹지 말자💡 ✅ fdr.StockListing('KRX') KRX => 한국거래소 전체 상장목록 ex ) 코스피 , 코스닥, S&P500, 나스닥등등.... ✅ fdr.DataReader fdr.DataReader('코드','시작날짜')['종가'] # OHLCVC ( Open:시가, High:고가, Low:저가, Close:종가, Volume, Cahnge:전일대비변화량) ✅matplotlib plt.style.available # 사용가능한 matplotib style들 불러옴 pl..
0301 실습 (Seoul-Covid-19 -EDA) 2023. 2. 17. 23:44 ✅ df.sample() =>데이터 프레임내의 임의의 행에 대해 컬럼값을 보여줌(랜덤) ✅ '연도-월' 파생변수 (문자열 슬라이싱) df['확진일'].astype(str).str[:7] 1) '확진일' 데이터가 현재 datetime이므로 astype(str) 로 형태 변환 2) str. accessor 사용하여 슬라이싱(마스킹)해오기 ✅ '요일명' (map함수) df['요일'].map(finddayofweek) 1) Series 뒤에 map 함수로 메서드 체이닝(map 함수는 Series형태에만 가능) 2) map ( 함수 ) 3) 함수 뒤에 ()는 작성 안 해줘도 됨 ✅'연도'컬럼의 비율 df['요일명'].value_counts(normalize=True # or =1 ) 빈도수의 비율 구하는 para..
7주차 통계학 TIL (3일차) 2023. 2. 15. 22:09 📝 2일차 개념 정리 문제 더보기 💁‍♂️ 1번문제) 신뢰구간이란? 💡요약 신뢰구간 : 통계량 ± 오차범위 📝해설 신뢰구간 = 구간 추정 방법 통계량: 표본에서 계산한 값 통계량은 모수와 차이가 있다 -> 표본 오차 오차가 어느 정도 날지를 이론적으로 예측하거나 시뮬레이션을 해서 오차범위를 구하면 통계량 ± 오차범위로 신뢰구간을 구하여 추정 💁‍♂️ 2번문제) 신뢰수준이 높을수록 신뢰구간은? 💡요약 신뢰수준 : 얼마나 많은 경우를 포함하는지 ( 치킨 배달을 예로 들면 모든 말도 안되는 경우의 수 다 포함 생각. 개구리비,사랑도피 등등... 당연히 그런 경우 다 반영하면 그런 경우가 일어날 일은 매우 희박하므로 오차의 범위는 늘어남) 📝해설 (신뢰수준이 높다 = 별의별 경우를 다 생각 -> 오차 범위가 더..

티스토리툴바