当前位置：首页 > news >正文

aws(学习笔记第二十二课) 复杂的lambda应用程序(python zip打包)

news 2025/6/27 23:28:30

aws(学习笔记第二十二课)

开发复杂的lambda应用程序(python的zip包)

学习内容：

练习使用CloudShell
开发复杂lambda应用程序(python)

1. 练习使用`CloudShell`

CloudShell使用背景
复杂的python的lambda程序会有许多依赖的包，如果不提前准备好这些python的依赖包，那么在lambda程序在执行的时候，会出现mudule not found错误，导致程序不能执行，因此，需要将python的主程序和依赖的包都一起打包成zip文件，这里因为要是用linux环境，进行zip打包，所以使用CloudShell进行操作。
什么是CloudShell
Shell 和开发工具
使用为AWS CloudShell会话创建的Shell，可以在首选的命令行Shell之间无缝切换。更具体地说，可以在 Bash、PowerShell 和 Z shell 之间切换。还可以访问其他预安装工具和实用程序。其中包括git、make、pip、sudo、tar、tmux、vim、wget 和zip。
Shell环境已预先配置为支持几种主要软件语言，例如Node.js 和 Python。这意味着，例如，无需先执行运行时安装即可运行Node.js和Python 项目。
可以将上传到 AWS CloudShell 或在其中创建的文件提交到本地存储库，然后再将这些文件推送到由 AWS CodeCommit 管理的远程存储库。
简单来说，就是AWS提供了一个方便的linux环境，同时具有当前用户的权限，比如说可以和S3存储进行交互。

2.开发复杂`lambda`应用程序(`python`)

全体概念

这里，主要参照了AWS的官方文档
lambda程序的整体
lambda程序的作成详细
- 准备S3 bucket
  - my-aws-bucket-20250104 用于将CloudShell上打包的zip文件保存到S3
  - my-s3lambda-lab 用于将image文件上传到S3
  - my-s3lambda-lab-resized 用于将缩小之后的thumbnail文件上传到S3
- 给lambda程序赋予权限
  - 策略 1 (主要是开通logs:*)
```
{"Version": "2012-10-17","Statement": [{"Effect": "Allow","Action": ["logs:CreateLogGroup","logs:CreateLogStream","logs:PutLogEvents"],"Resource": "arn:aws:logs:*:*:*"},{"Effect": "Allow","Action": ["ec2:DescribeInstances","ec2:Start*","ec2:Stop*","ec2:DescribeInstanceStatus"],"Resource": "*"}]
}
```
  - 策略 2 (主要是开通S3:*)
    注意，这里对于S3的全体权限都开通了，但是真正的开发，需要细化权限设定。
```
{"Version": "2012-10-17","Statement": [{"Sid": "VisualEditor0","Effect": "Allow","Action": "s3:*","Resource": "*"}]
}
```
  - 角色设定
  - lambda的主程序
```
import boto3
import os
import sys
import uuid
from PIL import Image
import PIL.Images3_client = boto3.client('s3')def resize_image(image_path, resized_path):with Image.open(image_path) as image:image.thumbnail((128, 128))image.save(resized_path)def handler(event, context):for record in event['Records']:bucket = record['s3']['bucket']['name']key = record['s3']['object']['key'] download_path = '/tmp/{}{}'.format(uuid.uuid4(), key)upload_path = '/tmp/resized-{}'.format(key)s3_client.download_file(bucket, key, download_path)resize_image(download_path, upload_path)s3_client.upload_file(upload_path, '{}-resized'.format(bucket), key)
```
  - CloudShell上的详细操作
    - 作成文件夹，作成主程序文件CreateThumbnail.py
      这里的CloudShell每次的主机IP都不一样，但是目录下面的文件都能够保留。感觉是一个EBS存储卷。
      /home/cloudshell-user/my_funciton/作为主路径
    - 作成/home/cloudshell-user/my_funciton/package，安装依赖包
      - boto3
      - uuid
      - PIL
        这是需要的三个包
```
pip install --target ./package boto3
pip install --target ./package uuid
pip install --target ./package PIL
```
    - 安装之后的构造
    - 开始将依赖包打入到zip文件
```
cd package
zip -r ../my_function_pacakge.zip ./
```
    - 接着将主程序python打入zip
```
zip my_function_pacakge.zip CreateThumbnail.py
```
    - 将zip文件上传到S3
```
aws s3 cp my_function_pacakge.zip s3://my-aws-bucket-20250104
```
- 开始设定lambda
  - python版本设定
    注意，这里的python版本和CloudShell的python版本一定要一致
  - lambda角色设定
  - lambda的Event设定
  - lambda的代码上传
    这里选择从S3，上传zip文件
    
    上传zip文件
  - 更改运行时
    
    这里修改成CreateThumbnail.handler
- 开始测试lambda
  向S3 bucket(s3://my-s3lambda-lab)上传文件，触发event
  之后检查S3 bucket(s3://my-s3lambda-lab-resized)中的thumbnail作成情况。
  可以看出，lambda已经正常运行，已经将thumbnail作成。
- CloudWatch的日志组