code

파이썬 : 압축 된 텍스트 파일에서 줄 읽기

codestyles 2020. 12. 11. 08:14
반응형

파이썬 : 압축 된 텍스트 파일에서 줄 읽기


파일을 완전히 추출하지 않고 python을 사용하여 gz- 압축 텍스트 파일에서 한 줄을 읽는 것이 쉬운가요? 200MB의 text.gz 파일이 있습니다. 추출하면 7.4GB가됩니다. 그리고 이것은 내가 읽어야하는 유일한 파일이 아닙니다. 전체 프로세스를 위해 10 개의 파일을 읽어야합니다. 순차적 인 작업 이겠지만 전체 정보를 소멸시키지 않고하는 것이 현명한 일이라고 생각합니다. 나는 그것이 가능한지조차 모릅니다. 파이썬을 사용하여 어떻게 할 수 있습니까? 텍스트 파일을 한 줄씩 읽어야합니다.


gzip.GzipFile을 사용해 보셨습니까 ? 인수는 open.


gzip.GzipFile 사용 :

import gzip

with gzip.open('input.gz','rt') as f:
    for line in f:
        print('got line', line)

참고 : gzip.open(filename, mode)은의 별칭입니다 gzip.GzipFile(filename, mode). with open(...) as f:압축되지 않은 파일을 여는 데 사용되는 것과 비슷해 보이기 때문에 전자를 선호 합니다.


파이썬에서 표준 gzip 모듈을 사용할 수 있습니다. 다음을 사용하십시오.

gzip.open('myfile.gz')

파일을 다른 파일로 열고 해당 행을 읽습니다.

여기에 더 많은 정보 : Python gzip 모듈

참고 URL : https://stackoverflow.com/questions/10566558/python-read-lines-from-compressed-text-files

반응형