본문 바로가기 메뉴 바로가기

낭뎁

프로필사진
  • 글쓰기
  • 관리
  • 태그
  • 방명록
  • RSS

낭뎁

검색하기 폼
  • 분류 전체보기 (13)
    • 회고 (2)
    • GCP (2)
    • Java (2)
    • Python (4)
    • k8s (3)
  • 방명록

GCS (1)
GCS 데이터를 빅쿼리로 가져오기: gsutil, bq 커맨드 Tip

빅쿼리를 사용하게 되면 로컬 또는 GCS에 업로드된 CSV 파일을 테이블로 로드하는 경우가 있다. 최근에 이러한 작업을 많이 하게되어 자주 사용한 명령어들에 대해서 정리를 해보았다. gsutil gsutil은 명령줄에서 Cloud Storage에 액세스하는 데 사용할 수 있는 Python 애플리케이션이다. gsutil을 사용하면 콘솔에서 직접 조작하는 것보다 간단하고 다양한 기능들을 수행할 수 있다. gsutil cp 로컬의 파일을 전송하거나 gcs에 있는 파일을 다운로드한다. gsuitl cp [source] [dest] 로컬에 있는 파일을 gcs의 test-hyunlang이라는 버킷으로 업로드 하였다. 다운로드 할때는 위치를 바꿔서 [source]쪽에 gcs 경로를 위치하고 [dest] 쪽에 다운로드..

GCP 2024. 1. 20. 13:00
이전 1 다음
TAG
  • Airflow
  • bq cli
  • 퇴사
  • GitHub
  • 회고
  • GCS
  • Kubernetes
  • K8S
  • Helm
  • kakfa
  • 주니어개발자
  • BigQuery
  • GCP
  • Xcom
  • Java
more
최근에 올라온 글
링크
  • LinkedIn Profile

Blog is powered by Tistory / Designed by Tistory

티스토리툴바