TIL 110일차 : 데이터 전처리 시작

2024. 4. 7. 14:14회고/TIL(매일)

 

✏️도전한 점


1. 크롤링 그만하고 데이터 전처리 시작

2. 백준 파이썬 알고리즘 문제 1개 완료

 

01 크롤링 완료 > 데이터 전처리 > 통합파일 제작


 

04.07 크롤링은 끝났다. 데이터 전처리 시작한다.

01 문제 해결 과정 1. 어제(중구,동대문구,강남구,성북구,마포구) 오늘(은평구), 서대문구 그냥 쓰기해서 크롤링 완료. 2. 중복 업체로 인한 겹치는 데이터 제거 3. 카테고리 "식당" 관련 데이터 제

specialda.tistory.com

 

02 알고리즘 인사이트


# input()으로 입력을 받을 때 문자열로 받는다는 것 기억하기!

 

✏️깨달은 점


1. 웹크롤링이 일주일만에 끝날 줄 알았는데 끝이 아니었다.

2. 애초에 불가능할 거라 생각했던 첫 날에서 많이 발전했다.

3. 웹과 모바일 접속이 혼용되기 때문에 주소 이중체크가 필수라는 걸 깨달았다.

4. 산을 하나 넘으면 또 산이 있다는 게 웹크롤링 관련 속담이 아닐까.

5. 어렵지만 어떻게든 풀리니까 안된다고 말도 못꺼내겠다.

6. 와이파이 연결과 랜선 연결의 속도차가 크다는 점도 깨달았다.