如何通过切换AWS Java SDK EC2的异步客户端解决连接重置及XML解析错误问题？

本文共计2225个文字，预计阅读时间需要9分钟。

在使用AWS Java SDK进行开发时，开发者可能需要通过编程方式与AWS服务进行交互。例如，操作S3存储桶或EC2实例。在某些情况下，开发者可能需要编写代码来处理S3相关的操作，例如：

这种错误通常表明在尝试执行HTTP请求时，底层网络连接被意外重置，导致从AWS服务接收到的响应流不完整或损坏。随后的XMLStreamException: ParseError则进一步确认了这一点，即XML解析器在处理接收到的数据时遇到了非法的或不完整的XML结构。

导致此问题的原因可能包括：

1. 网络不稳定性或超时： 在数据传输过程中，网络连接可能不稳定，或者请求/响应时间超出了默认的超时设置，导致连接被中断。
2. 响应数据量过大： describeImages()等操作在某些AWS账户中可能会返回非常庞大的数据量。同步客户端在处理这些大型响应时，可能会因为缓冲区限制、内存压力或处理时间过长而导致连接断开。
3. 客户端内部处理机制： 同步客户端（如AmazonEC2ClientBuilder构建的客户端）采用阻塞I/O模型。在处理耗时或数据量大的操作时，可能会长时间占用线程，影响资源释放或导致连接超时。

解决方案：切换至异步客户端

针对上述问题，一个有效的解决方案是使用AWS Java SDK提供的异步客户端。异步客户端（如AmazonEC2AsyncClientBuilder构建的客户端）采用非阻塞I/O模型，能够更好地处理网络延迟、大量数据传输以及并发请求，从而提高应用程序的响应性和稳定性。

将同步的AmazonEC2ClientBuilder替换为异步的AmazonEC2AsyncClientBuilder可以有效规避因连接重置和XML解析错误导致的问题。

立即学习“Java免费学习笔记（深入）”；

代码示例

以下是原始代码中构建EC2客户端的部分，以及修改后使用异步客户端的对比：

原始代码（可能导致问题）：

import com.amazonaws.services.ec2.AmazonEC2; import com.amazonaws.services.ec2.AmazonEC2ClientBuilder; // ... 其他导入 // ... AmazonEC2 amazonEC2 = AmazonEC2ClientBuilder .standard() .withCredentials(new AWSStaticCredentialsProvider(awsCreds)) .withRegion("us-east-1") .build(); List<Image> listEc2s = amazonEC2.describeImages().getImages(); // ...

修复后的代码（使用异步客户端）：

import com.amazonaws.services.ec2.AmazonEC2Async; // 注意这里是 AmazonEC2Async import com.amazonaws.services.ec2.AmazonEC2AsyncClientBuilder; // 注意这里是 AmazonEC2AsyncClientBuilder // ... 其他导入 // ... AmazonEC2Async amazonEC2Async = AmazonEC2AsyncClientBuilder // 构建异步客户端 .standard() .withCredentials(new AWSStaticCredentialsProvider(awsCreds)) .withRegion("us-east-1") .build(); // 对于异步客户端，API调用返回的是 Future 对象 // 需要通过 .get() 方法阻塞等待结果，或者使用回调函数处理 // 示例：阻塞等待结果 List<Image> listEc2s = amazonEC2Async.describeImages().getImages(); // ...

完整示例（基于原问题代码进行修改）：

package com.aws.demo; import java.util.List; import java.util.concurrent.ExecutionException; // 引入用于处理 Future 异常 import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import com.amazonaws.auth.AWSStaticCredentialsProvider; import com.amazonaws.auth.BasicAWSCredentials; import com.amazonaws.services.ec2.AmazonEC2Async; // 引入异步EC2客户端接口 import com.amazonaws.services.ec2.AmazonEC2AsyncClientBuilder; // 引入异步EC2客户端构建器 import com.amazonaws.services.ec2.model.Image; import com.amazonaws.services.s3.AmazonS3; import com.amazonaws.services.s3.AmazonS3ClientBuilder; import com.amazonaws.services.s3.model.Bucket; @SpringBootApplication public class AwsApplication { public static void main(String[] args) { SpringApplication.run(AwsApplication.class, args); final String aws_access_key_id = "YOUR_ACCESS_KEY_ID"; // 替换为实际的访问密钥 final String aws_secret_access_key = "YOUR_SECRET_ACCESS_KEY"; // 替换为实际的秘密访问密钥 BasicAWSCredentials awsCreds = new BasicAWSCredentials(aws_access_key_id, aws_secret_access_key); try { // S3客户端保持不变，因为其操作可能不受此问题影响 AmazonS3 s3 = AmazonS3ClientBuilder.standard() .withCredentials(new AWSStaticCredentialsProvider(awsCreds)) .withRegion("us-east-1") .build(); List<Bucket> buckets = s3.listBuckets(); buckets.stream().forEach(bucket ->{ System.out.println("Bucket Name : "+ bucket.getName()+", Bucket Owner : "+bucket.getOwner().getDisplayName() +", Bucket Creation Date: "+ bucket.getCreationDate()); }); // 将 AmazonEC2ClientBuilder 替换为 AmazonEC2AsyncClientBuilder AmazonEC2Async amazonEC2Async = AmazonEC2AsyncClientBuilder .standard() .withCredentials(new AWSStaticCredentialsProvider(awsCreds)) .withRegion("us-east-1") .build(); // 调用异步方法，并使用 .get() 阻塞等待结果 // 在生产环境中，推荐使用回调或CompletableFuture等非阻塞方式处理异步结果 List<Image> listEc2s = amazonEC2Async.describeImages().get().getImages(); listEc2s.stream().forEach(image->{ System.out.println("Image id : "+image.getImageId()+" Image owner : "+image.getImageOwnerAlias()); }); System.out.println("Image list size: " + listEc2s.size()); // 打印列表大小以确认成功获取 } catch (Exception e) { // 捕获更具体的异常，如 AmazonServiceException, ExecutionException System.err.println("Error accessing AWS services: " + e.getMessage()); // 对于 ExecutionException，可以进一步获取其真实原因 if (e instanceof ExecutionException) { System.err.println("Underlying cause: " + e.getCause().getMessage()); } e.printStackTrace(); // 打印完整的堆栈跟踪以供调试 } } }

pom.xml 文件（无需修改，aws-java-sdk-ec2已包含异步客户端）：

<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.6.13</version> <relativePath/> </parent> <groupId>com.aws-services</groupId> <artifactId>aws</artifactId> <version>0.0.1-SNAPSHOT</version> <name>aws</name> <description>Demo project for Spring Boot</description> <properties> <java.version>17</java.version> </properties> <dependencyManagement> <dependencies> <dependency> <groupId>com.amazonaws</groupId> <artifactId>aws-java-sdk-bom</artifactId> <version>1.11.379</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>com.amazonaws</groupId> <artifactId>aws-java-sdk-s3</artifactId> </dependency> <dependency> <groupId>com.amazonaws</groupId> <artifactId>aws-java-sdk-ec2</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <scope>runtime</scope> <optional>true</optional> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> </plugin> </plugins> </build> </project>

注意事项与最佳实践

1. 异步操作的正确处理：

   • 异步客户端的方法通常返回java.util.concurrent.Future对象。这意味着方法调用会立即返回，而实际的结果会在后台线程中获取。

   • 要获取Future中的结果，需要调用其get()方法。此方法会阻塞当前线程，直到异步操作完成并返回结果。

   • 在生产环境中，为了充分利用异步优势，应避免直接使用get()阻塞主线程。可以考虑使用Future的isDone()、isCancelled()方法检查状态，或者结合CompletableFuture、回调函数（如AsyncHandler）来非阻塞地处理异步结果。

   • 例如，使用AsyncHandler：

     amazonEC2Async.describeImagesAsync(new DescribeImagesRequest(), new AsyncHandler<DescribeImagesRequest, DescribeImagesResult>() { @Override public void onError(Exception exception) { System.err.println("Async call failed: " + exception.getMessage()); } @Override public void onSuccess(DescribeImagesRequest request, DescribeImagesResult result) { result.getImages().forEach(image -> { System.out.println("Image id : " + image.getImageId() + " Image owner : " + image.getImageOwnerAlias()); }); } }); // 应用程序可以继续执行其他任务，直到异步操作完成

2. AWS凭证管理：

   • 在生产环境中，切勿将AWS访问密钥和秘密访问密钥硬编码到代码中。这会带来严重的安全风险。
   • 推荐使用以下更安全的凭证管理方式：
     • IAM角色（推荐）： 对于运行在EC2实例、ECS、Lambda等AWS服务上的应用程序，应使用IAM角色。应用程序会自动获取临时凭证，无需在代码中管理密钥。
     • 环境变量： AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY。
     • Java系统属性： aws.accessKeyId和aws.secretKey。
     • 凭证文件： ~/.aws/credentials（对于开发环境）。

3. 区域一致性：

   • 确保所有AWS客户端（S3、EC2等）都配置了正确的AWS区域。不一致的区域配置可能导致资源找不到或连接问题。

4. 异常处理：

   • 针对AWS SDK操作，应捕获更具体的异常类型，如AmazonServiceException（AWS服务返回的错误）和AmazonClientException（客户端内部错误）。
   • 对于异步操作，Future.get()方法可能会抛出InterruptedException或ExecutionException。ExecutionException的getCause()方法会返回实际导致异步操作失败的异常。

总结

当AWS Java SDK在访问EC2服务时遇到“Connection reset”和“XMLStreamException”错误，特别是当describeImages()等操作可能返回大量数据时，将同步客户端AmazonEC2ClientBuilder切换到异步客户端AmazonEC2AsyncClientBuilder通常能有效解决问题。异步客户端通过非阻塞I/O模型，更好地处理网络波动和大数据量传输，从而提升应用的健壮性和性能。同时，务必遵循AWS凭证管理的最佳实践，并对异步操作的结果进行恰当的异常处理，以构建安全、高效的云应用程序。