wonpick
devvon
wonpick
방문자🌱
오늘
어제
  • 분류 전체보기 (146)
    • 개발 (42)
      • Spark (7)
      • Hadoop (3)
      • ML&DL (4)
      • Paper Review (0)
      • ETC (24)
    • STUDY (77)
      • Data Engineering (54)
      • Cloud (4)
      • Algorithm (5)
      • SQL (10)
      • Toy Project (1)
    • Android (2)
    • Backend (14)
    • 인턴 (0)
    • 공모전 (0)

블로그 메뉴

  • 홈
  • 태그
  • 방명록

인기 글

태그

  • cka
  • 최신 데이터 인프라 이해하기 #7
  • Python
  • 쿠버네티스
  • 인턴강연
  • 데이터엔지니어링
  • kodekloud
  • 최신 데이터 인프라 이해하기
  • 자연어처리
  • SQL

최근 댓글

최근 글

티스토리

Designed By.hELLO
wonpick

devvon

개발/Spark

[spark] Build step 'Execute shell' marked build as failure 권한 오류 (Permission denied)

2022. 10. 5. 23:48

Jenkins에서 다음과 같이 build 전 shell 명령어를 실행시키도록 했는데, 아래와 같이 Permission denied 오류가 났다. 

 ./파일명.sh: Permission denied
Build step 'Execute shell' marked build as failure

찾아보니 권한 오류라고 하여 스크립트 파일의 권한을 확인해보았더니, 제한이 되어있었다. -> 이건 왜 랜덤하게 이렇게 되는지는 모르겠다.. 

그래서 아래와 같이 권한 변경하여 해결했다.

>> ll #(ls -l와 동일, 권한, 소유자, 갱신일 확인)권한 확인 후
>> chmod 777 파일명.sh # 일단 아무나 쓰고 읽을 수 있게 권한 변경

또는 스파크 옵션 변경으로 매번 권한 부여 가능

#spark 실행 옵션 변경하면
#해당 프로그램이 실행되면서 저장하는 파일/폴더의 권한 부여 가능 (755권한)
--conf spark.hadoop.fs.permissions.umask-mode={mask}

리눅스 파일/폴더 권한에 대한 정보 참고한 곳

1.[Linux] 리눅스 파일과 폴더의 권한 (Permission) 알아보기

 

[Linux] 리눅스 파일과 폴더의 권한 (Permission) 알아보기

 

www.fwantastic.com

'개발 > Spark' 카테고리의 다른 글

[Spark] Parquet 파일을 읽는 동안 Dataframe의 메타데이터 변경 에러  (0) 2023.07.16
[Spark] Spark deploy mode 설정(Cluster/Client)  (0) 2023.03.26
[Spark DEBUG] partiton path load 오류  (0) 2023.02.26
[Spark DEBUG] Refresh for Dataframe while reading file 오류  (0) 2022.11.16
Spark 이해하기(RDD, DAG, Lazy Evaluation)  (0) 2022.02.07
    wonpick
    wonpick

    티스토리툴바