[NEW] airflow 파이썬 버전 추가

[seoyeong200]

요건 파악

*DE 요청관리에 있는 내용 기반으로 요청 담당자와 커뮤니케이션을 통해 자세히 요건 파악을 진행해주세요.

virtualpythonoperator로 필요한 라이브러리 버전을 명시해서 task 실행 -> 3.7에서 지원하지 않는 라이브러리 버전이 있어 설치에서 문제 발생, 3.7에 맞춰서 라이브러리 버전을 조정하면 소스코드에서 문제가 발생함

사용하려는 라이브러리 목록

python = "^3.10"
ipykernel = "^6.29.5"
selenium = "^4.24.0"
webdriver-manager = "^4.0.2"
pandas = "^2.2.2"
bs4 = "^0.0.2"
beautifulsoup4 = "^4.12.3"
lxml = "^5.3.0"
numpy = "<2.0"
paddleocr = "^2.8.1"
pytz = "^2024.1"
tqdm = "^4.66.5"

소스코드
https://github.com/seoyeong200/ETL/blob/main/brickstudy_ingestion/dags/viral/instagram_crawler.py

정리

🔗 관련 링크

📌 진행상황

*진행상황에 예상 마감 일정까지 함께 기재해주세요!!

• 요건파악(~기간)
• 내용