TIL 130일차 : CRON, 최종 프로젝트 발표회 19:00

2024. 4. 29. 02:06회고/TIL(매일)

 

✏️도전한 점


1. 빅쿼리 여분, cron 빠르게 학습

2. 크론 안되는 점 여쭤보기

3. 이력서 상담

4. 거의 2시에 빅쿼리 트러블 슈팅 완료

5. cron 공부하고 정리하기

6. 최종 프로젝트 발표회

 

01 이력서 상담


- 포트폴리오에 이미지 넣어야 한다. 단정한 사진이면 굿.
- 텍스트 정리가 됐으니까 서비스 했던거 이미지 같은거 추가
- 사용했던 툴 이런거 이미지 캡쳐해서 살 붙임 (로고)
- 프로젝트 망해도 넣는 게 좋음.
- 프로필 이미지를 추가하는게 좋다. 증사 아니어도 된다.
- cv example 검색해서 툴을 봐보는 것도 좋다.
- 썼던 기법들은 빨간색으로 강조도 해본다.
- 과제 주는 대기업이 있음, 파이썬 언어로, 일주일간
- 이상치, 결측치 처리부터 모델 제작까지 시킬 듯.
- 영어 SQL은 그렇게 권하지 않음. 즉 76번까지는 풀어라.
- 코테는 모두 SQL로 보니까 진짜 중요함.
- 현재 2기에 강조하고 있는 파트, 추가된 것: SQL의 중요성

 

02 빅쿼리 상담


# 스케줄링으로 그래프 보내는 방법은?
- 슬랙이 더 쉬움, 메일은 가능한데 복잡, 스트림릿을 생각했음.
# VM인터턴스 정지와 중지의 차이는?

- 일시정지 기간이 끝나면 중지된다.
# 이런거 어디서 배우셨는지?
- 구글이나 독스(공식 문서)
# Google BigQuery에 대한 액세스 권한이 부족한 문제
- VM인스턴스를 '중지'시키고 '수정'에서 해결했다.

 

03 Cron을 이용한 스케줄링


 

[개인] cron을 이용한 스케줄링(3)

01 리눅스와 친해치기 복습<figure data-ke-type="opengraph" data-og-title="TIL 118일차 : 리눅스 명령어 공부, 특성컬럼값 검수" data-ke-align="alignCenter" data-og-description="✏️도전한 점 1. 9시까지 리눅스 명령어

specialda.tistory.com

 

04 최종 발표회


<하이브레드 조 (우리팀) 피드백>
- 직접 "크롤링"한 점.
- "비정형 데이터를 핫한 llm을 활용해서 분석이 가능한 데이터로 변환" 얼추 해낸 점.
- "프롬프트 엔지니어링" 하느라 고생 많았음.
- "클러스터링" 실행, 검증까지 해냈음.
- "ux, ui 디자인적 관점"으로 스트림릿 고민 많이한 점도 고생했다.
- llm 활용해서 비정형데이터 전처리한 부분 잘 녹이면 "최근 트렌드 반영"한 프로젝트가 될 것.

 

<채용공고조 피드백>
- 주제를 선정할 때 시간을 오래 잡음.
- 데이터가 없으면 수집하는데 시간을 써야한다.
- 이렇게 직관적으로 시간을 갈면 내가 원하는 정보를 수집할 수 있는 걸 보여줌.
- 지금 4월 채용 공고의 스냅냣.
- 알고리즘에 대해서 얘기를 해주셨는데 이부분 복습 예약!!
- TF-DIF 텍스트 마이닝

<A11조 피드백>
- 본인은 디테일하게 알려주지 않고 가이드만 주는 스타일임.
- 내가 대표라면 이 주제로 발표하면 너무 좋을 것 같음.
- 이탈이라는 주제를 어떻게 관찰할 수 있는지 3가지로 잘 얘기함.
- 원인 분석을 다양한 각도로 봤음.
- 포트폴리오 올릴 만큼 가치있는 프로젝트라고 생각한다.

<문튜터님 피드백>
- 아쉬운 점: 결과가 안좋았다면 분석가로서 어떤 과정에서 문제가 있었을까 한번 더 짚어본다.
- why를 찾아보는 게 중요할 것 같다. why!
- 예측 분석이 지금 잡은 주제랑 무슨 연관이 있는 건지 놓치면 안된다.
- 이 모델링이 주제와 무슨 연결이 있는지 말을 하면서
- 앞으로 모델링, 예측모델을 할 때도 이 의의를 놓치지 않으면서 하길 바란다.

<민주님 발표>
- 유의미한 변수를 발견하기 위해 다중선형회귀모델을 사용한다.
- 전체 17개 변수부터 시작하여 aic가 낮아지는 변수를 제거한다.

<기타 피드백>
- 모델링에 관심 많아보임. 학습모델 최적화, 인퍼런스 이런 딥러닝까지 넓혀보길 바란다.

<마지막 피드백>
- 현업에서도 적응 잘할 만큼 결괏값이 잘 나왔다.
- 이 조 말이 없다. 근데 항상 결과를 보면 너무 잘한다.
- 개념을 너무 잘 이해하고 있다.
- 프로세스 중에서도 인사이트를 내는 게 제일 중요하다.
- 능동적인 데이터분석가가 되어야 한다.
- 데이터분석가는 요청하는 데이터만 뽑아주는 데분가가 되면 안된다.
- 쿼리몽키가 되면 안된다.
- 설득력 있게 다른 팀을 아우를 수 있어야지 내 자산이 되고 내 커리어가 된다.
- 이런 자세가 중요하니까 이런 마인드를 잘 가져주면 좋겠다.
- 이팀이 현업에서는 한달 안에 다 했다는 게 놀랍다.