Jenkins에서 다음과 같이 build 전 shell 명령어를 실행시키도록 했는데, 아래와 같이 Permission denied 오류가 났다.
./파일명.sh: Permission denied
Build step 'Execute shell' marked build as failure
찾아보니 권한 오류라고 하여 스크립트 파일의 권한을 확인해보았더니, 제한이 되어있었다. -> 이건 왜 랜덤하게 이렇게 되는지는 모르겠다.. 그래서 아래와 같이 권한 변경하여 해결했다.
>> ll #(ls -l와 동일, 권한, 소유자, 갱신일 확인)권한 확인 후
>> chmod 777 파일명.sh # 일단 아무나 쓰고 읽을 수 있게 권한 변경
또는 스파크 옵션 변경으로 매번 권한 부여 가능
#spark 실행 옵션 변경하면
#해당 프로그램이 실행되면서 저장하는 파일/폴더의 권한 부여 가능 (755권한)
--conf spark.hadoop.fs.permissions.umask-mode={mask}
리눅스 파일/폴더 권한에 대한 정보 참고한 곳
'개발 > Spark' 카테고리의 다른 글
[Spark] Parquet 파일을 읽는 동안 Dataframe의 메타데이터 변경 에러 (0) | 2023.07.16 |
---|---|
[Spark] Spark deploy mode 설정(Cluster/Client) (0) | 2023.03.26 |
[Spark DEBUG] partiton path load 오류 (0) | 2023.02.26 |
[Spark DEBUG] Refresh for Dataframe while reading file 오류 (0) | 2022.11.16 |
Spark 이해하기(RDD, DAG, Lazy Evaluation) (0) | 2022.02.07 |