GCS 데이터를 빅쿼리로 가져오기: gsutil, bq 커맨드 Tip
빅쿼리를 사용하게 되면 로컬 또는 GCS에 업로드된 CSV 파일을 테이블로 로드하는 경우가 있다. 최근에 이러한 작업을 많이 하게되어 자주 사용한 명령어들에 대해서 정리를 해보았다. gsutil gsutil은 명령줄에서 Cloud Storage에 액세스하는 데 사용할 수 있는 Python 애플리케이션이다. gsutil을 사용하면 콘솔에서 직접 조작하는 것보다 간단하고 다양한 기능들을 수행할 수 있다. gsutil cp 로컬의 파일을 전송하거나 gcs에 있는 파일을 다운로드한다. gsuitl cp [source] [dest] 로컬에 있는 파일을 gcs의 test-hyunlang이라는 버킷으로 업로드 하였다. 다운로드 할때는 위치를 바꿔서 [source]쪽에 gcs 경로를 위치하고 [dest] 쪽에 다운로드..
bq CLI - bq load로 csv 업로드
먼저 bq load 명령어에 대한 자세한 설명은 여기를 참고하면 된다. 로컬에서 간단한 csv 파일을 저장하여 big query 테이블로 저장해보자. dataset 생성 작업을 하기 전에 작업 프로젝트에서 dataset을 먼저 생성해주어야 한다. 콘솔에서 바로 작업을 해주어도 되지만 문서를 참고하여 간단히 cli를 사용해서 생성해보았다. gcloud init으로 기본 프로젝트를 설정해주었기 때문에 location이나 project_id는 따로 적어주지 않았다. bq mk -d \ --default_table_expiration 3600 \ --description "This is my dataset." \ mydatasetbq ls로 현재 dataset을 확인할 수 있다. ╰─ bq ls datasetI..