반응형
파이썬 : 압축 된 텍스트 파일에서 줄 읽기
파일을 완전히 추출하지 않고 python을 사용하여 gz- 압축 텍스트 파일에서 한 줄을 읽는 것이 쉬운가요? 200MB의 text.gz 파일이 있습니다. 추출하면 7.4GB가됩니다. 그리고 이것은 내가 읽어야하는 유일한 파일이 아닙니다. 전체 프로세스를 위해 10 개의 파일을 읽어야합니다. 순차적 인 작업 이겠지만 전체 정보를 소멸시키지 않고하는 것이 현명한 일이라고 생각합니다. 나는 그것이 가능한지조차 모릅니다. 파이썬을 사용하여 어떻게 할 수 있습니까? 텍스트 파일을 한 줄씩 읽어야합니다.
gzip.GzipFile을 사용해 보셨습니까 ? 인수는 open
.
gzip.GzipFile 사용 :
import gzip
with gzip.open('input.gz','rt') as f:
for line in f:
print('got line', line)
참고 : gzip.open(filename, mode)
은의 별칭입니다 gzip.GzipFile(filename, mode)
. with open(...) as f:
압축되지 않은 파일을 여는 데 사용되는 것과 비슷해 보이기 때문에 전자를 선호 합니다.
파이썬에서 표준 gzip 모듈을 사용할 수 있습니다. 다음을 사용하십시오.
gzip.open('myfile.gz')
파일을 다른 파일로 열고 해당 행을 읽습니다.
여기에 더 많은 정보 : Python gzip 모듈
참고 URL : https://stackoverflow.com/questions/10566558/python-read-lines-from-compressed-text-files
반응형
'code' 카테고리의 다른 글
Unix ls 명령 : 옵션 사용시 전체 경로 표시 (0) | 2020.12.11 |
---|---|
환경별로 config.action_controller.default_url_options = {: host = '#' '} 설정 방법 (0) | 2020.12.11 |
파일 업로드를 위해 Express BodyParser를 비활성화하는 방법 (Node.js) (0) | 2020.12.11 |
PowerShell 또는 C #에서 프로세스에 대한 명령 줄 정보를 가져 오는 방법 (0) | 2020.12.11 |
Selenium에서 요소의 속성을 얻는 방법은 무엇입니까? (0) | 2020.12.11 |