개발/ETC

[python] [Errno 54] Connection reset by peer 크롤링

[Errno 54] Connection reset by peer 크롤링하다가 에러가 났다. 요청헤더를 추가해보라고 해서 아래와같이 추가하였다. 그리고도 안된다면 예외처리를 진행해주고 진행되지 않은 링크는 따로 저장한다!!..... https://pythonq.com/so/python/57190 python - Python 처리 socket.error : [Errno 104] 피어에 의한 연결 재설정 - IT 툴 넷 python - Python 처리 socket.error : [Errno 104] 피어에 의한 연결 재설정 기사 출처 python ubuntu python-2.7 urllib2 pythonq.com

[python] 여러개의 엑셀 파일 CSV 변환 ( 한번에 불러오기 )

각각의 원본 파일을 받았는데 모두가 엑셀 자료였다. 씨에스브이로 변환이 필요하여 폴더 안에 있는 원본 파일을 모두 변환 한 뒤 각각의 파일을 데이터 프레임으로 가져왔다. 파일에 있는 엑셀을 csv 파일로 변환한 뒤 저장 후 csv파일을 다시 데이터프레임으로 불러오기! # 1️⃣ xlsx to csv import xlrd def to_csv(): for i in range(1, 7): wb = xlrd.open_workbook('경로작성/%d.xlsx'%(i)) #파일명을 숫자로 통일 후 전체 불러옴 sh = wb.sheet_by_name('Sheet1') #엑셀 시트 이름 csv_file = open("경로/%d.csv"%(i), 'w',encoding='UTF8') #csv 저장할 곳 wr = csv...

[python] 공휴일 데이터 추출하기_API 활용

공휴일 데이터를 api 활용하여 쉽게 가져오는 방법 1. 공공데이터 포털 접속 후 한국천문연구원_특일 정보 검색 2. 활용신청 3. 인증키 인코딩 정보를 하단 my_key란에 입력 끝! #api import requests from bs4 import BeautifulSoup import datetime import pandas as pd # 오류 Exceeded 30 redirects response = requests.get(url, allow_redirects=False) holiday_list = [] response = requests.get(url, allow_redirects=False) def get_request_query(url, operation, params, serviceKey):..

[python] 반올림,반내림 (0.5 사사오입 문제 해결)

python의 round 함수를 이용해 보통 반올림/반내림을 하게 되는데 round( )는 정수부분이 짝수이냐 홀수있냐에 따라 0.5에서 반올림/반내림이 달라진다. 때문에 수식을 새로 만들어서 0.5부분도 제대로 계산이 될 수 있도록 만들어줘야한다. 람다를 사용하여 계산식을 만들어준 뒤 데이터 프레임에 적용하였다. .apply(lambda x:int(x) + 1 if (x - int(x)) >= 0.5 else int(x))) 아래는 두개 코드의 출력물이다. 데이터프레임을 아래와 같이 만든 이유는 최대한 현업에서 보는 엑셀 화면과 동일하게 만들기 위해서였다. 자세한 영업일자 계산식은 추후 업로드!!!! 🥨