AWS의 Lambda 서비스와 Cloudwatch 이용하면 Batch job 역할을 할 수 있다.
덧 붙여 Python Lambda Python Package 배포 하는 방법을 해보자.
AWS ElasticBeanStalk을 이용한 배포(Spring boot) 바로가기
1. 2018/10/26 - [Develop/Spring Boot] - Spring Boot AWS Elastic BeanStalk을 이용한 배포
1. 먼저 AWS Lambda서비스를 생성합니다.
2. 그리고 AWS CloudWatch 서비스의 규칙에서 규칙생성을 합니다.
3. 이벤트 소스의 일정에 들어가 고정비율 또는 Cron식을 이용하여 시간을 선택합니다.
그리고 대상에서 아까 만든 Lambda 함수를 선택하고 생성을 합니다.
(저의 크론식은 Batchjob을 위해 매일 하루 자정마다 실행을 하는 것입니다.)
Cron식은 아래 링크의 AWS CloudWatch 레퍼런스에서 확인 할 수 있습니다.
https://docs.aws.amazon.com/ko_kr/lambda/latest/dg/tutorial-scheduled-events-schedule-expressions.html
4. 다시 Lambda로 들어와 아까만든 것의 편집합니다.
왼쪽 Designer 창에서 CloudWatch Events를 클릭하고
트리거 구성에 방금 만든 CloudWatch 규칙을 입력하고 추가합니다.
5. 규칙을 추가하였다면 생성한 함수의 이름을 클릭하여 함수코드 적는 란으로 돌아옵니다.
6. 직접 코드를 입력할 수도 있고, zip파일로 추가와 s3에 있는 것을 사용할 수 있습니다. 저는 .zip파일을 추가해보겠습니다.
.zip 파일을 업로드하고 저장을 하면
아래와 같이 Find not found 경고와 코드편집기가 나옵니다. 이 경고 메세지는 실행할 수 있는 핸들러(파이썬 메소드) 이름을 못찾아서 입니다. 이제 곧 수정할 예정입니다.
7. 저의 프로젝트 같은 경우는 app.py에서 실행하므로 app.py에 클릭합니다.
또한 저는 def main 메소드에서 프로그램이 실행됩니다.
이제 핸들러 정보에서 핸들러(파이썬 메소드)를 입력합니다.
먼저 실행할 메인 파이썬파일의 이름을 적고 뒤엔 실행할 메소드 이름을 적습니다
(ex app.py 의 main() 메소드를 실행한다면 app.main 이라고 적음)
그리고 가장 중요한 실행하는 메인 메소드의 인자에 (event, context)라고 적어주어야 합니다.
Lambda 레퍼런스에 따르면 아래와 같습니다.
event - AWS Lambda는 이 파라미터를 사용하여 이벤트 데이터를 핸들러에 전달합니다. 이 파라미터는 일반적인 Python dict 유형입니다. 또한 list, str, int, float 또는 NoneType 유형이 될 수 있습니다.
context - AWS Lambda는 이 파라미터를 사용하여 실행 시간 정보를 핸들러에 제공합니다. 이 파라미터는 LambdaContext 유형입니다.
8. 그리고 가장중요한 Python Package 추가하는 방법입니다.
저는 사진에 이미 위 사진들에 추가가 되어있습니다.(pymysql)
저는 venv를 사용하기 때문에.
윈도우 기준
%VIRTUAL_ENV%\Lib\site-packages
리눅스/mac 기준
$VIRTUAL_ENV/lib/python3.6/site-packages
site-packages 안에 있는 패키지 폴더들을 전부 복사하여 최상위 폴더에 붙여넣습니다. 그리고 배포할땐 압축파일에 venv파일을 제외하면 됩니다.
저 같은 경우는 mysql패키지만 사용하므로 site-packages안에 있는 mysql패키지(pymysql, PyMySQL-0.8.0.dist-info, pip-10.0.1-py3.7.egg)를 아래와 같이 최상위 폴더에 붙여놓고 venv폴더를 제외하고 .zip파일로 압축을 하였습니다.
9. 환경 변수 설정. (필요하신 분들만 사용안하시는 분들은 그냥 저장하셔도 무관함.)
저의 config.py 파이썬 파일입니다.
아래와 추가하시면 됩니다.
10. 위의 설정을 다 하셨으면 저장하시면 끝이납니다.
그리고 CloudWatch의 로그에서 필터에 아래와 같이 검색하시면 로그가 나옵니다. 그 로그를 보고 지정한 시각에 실행이 정상적으로 되었는지 확인하시면됩니다.
마지막으로. 파이썬파일에 외부 파일을 저장하는 소스가 있으면 READ_ONLY에러가 나오면서 되지않습니다. 예를 들어 log를 파일로 남기기 위해 파일 저장하는 소스가 있는데. 이는 Lambda에서 파일 저장을 제공하지 않으므로 에러가 발생합니다.
사실 Lambda의 /tmp폴더에 경로를 지정하여 저장되게 하면, 저장되나 /tmp폴더를 확인할 수 있는 방법이 없습니다. 물론 S3를 이용하여 확인 할 수 는 있습니다.
그러므로 로그를 많이 확인하셔야 한다면 로그파일이 S3에 저장되게 할 수 있습니다. 물론 여기선 다루지 않습니다.(레퍼런스에서 확인)
또한, Lambda의 IP가 동적이므로 데이터베이스에서 IP 허용제한을 걸어 뒀을 경우. Lambda 파이썬 프로젝트에서 데이터베이스에 접근할 경우 동적ip로 인해 접근이 안 될 수 도있습니다. 그럴경우 VPC라는 것을 통해 허용할 수있습니다. 이것 또한 여기서 다루진 않습니다.(레퍼런스에서 확인)
참고
파이썬배포- https://docs.aws.amazon.com/ko_kr/lambda/latest/dg/python-programming-model-handler-types.html
파이썬배포 - https://docs.aws.amazon.com/ko_kr/batch/latest/userguide/batch_cwet.html
파이썬배포 - https://docs.aws.amazon.com/ko_kr/lambda/latest/dg/lambda-python-how-to-create-deployment-package.html
파이썬배포 - https://docs.aws.amazon.com/ko_kr/lambda/latest/dg/with-s3-example-deployment-pkg.html#with-s3-example-deployment-pkg-python
CRON 시간 -https://docs.aws.amazon.com/ko_kr/lambda/latest/dg/tutorial-scheduled-events-schedule-expressions.html
VPC구성- https://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/logs/DocumentHistory_cwl.html
VPC구성 - https://docs.aws.amazon.com/ko_kr/lambda/latest/dg/vpc.html
S3로그 - https://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/logs/S3ExportTasksConsole.html
S3로그 - https://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/logs/S3ExportTasks.html
