silentbrain

GCP Dataflow : Raw data 가공 후 Big Query 입력 Apache Beam(Python) 샘플 코드

Google Cloud storage에 위치한 샘플 csv파일 읽어들인 후 Insertvaules라는 정의된 전처리 코드를 ParDo를 사용한 병렬처리를 통해 파이프라인 수행하는 코드 당연히 적절한 권한을 보유한 GOOGLE_APPLICATION_CREDENTIALS 환경 변수가 설정되어 있어야 한다! #-*- coding: utf-8 -*-from __future__ import absolute_import import argparseimport loggingimport reimport apache_beam as beamfrom apache_beam.io import ReadFromTextfrom apache_beam.io import WriteToTextfrom apache_beam.metrics i..