Spring Cloud - 负载均衡器


介绍

在分布式环境中,服务需要相互通信。通信可以同步或异步发生。现在,当服务同步通信时,这些服务最好在工作人员之间对请求进行负载平衡,以便单个工作人员不会不堪重负。有两种方法可以对请求进行负载均衡

  • 服务器端 LB - 工作人员前面有一个软件,该软件在工作人员之间分发传入请求。

  • 客户端 LB - 调用者服务本身在工作人员之间分配请求。客户端负载平衡的好处是我们不需要负载平衡器形式的单独组件。我们不需要负载均衡器等的高可用性。此外,我们避免了从客户端到负载均衡再到工作人员的额外跃点来满足请求。因此,我们节省了延迟、基础设施和维护成本。

Spring Cloud 负载均衡器(SLB)和 Netflix Ribbon 是两个著名的客户端负载均衡器,用于处理这种情况。在本教程中,我们将使用 Spring Cloud 负载均衡器。

负载均衡器依赖关系设置

让我们使用前面章节中使用过的餐厅的案例。让我们重用包含有关餐厅的所有信息的餐厅服务。请注意,我们将使用 Feign Client 和负载均衡器。

首先,让我们使用以下依赖项更新服务的pom.xml -

<dependency>
      <groupId>org.springframework.cloud</groupId>
      <artifactId>spring-cloud-starter-openfeign</artifactId>
</dependency>
<dependency>
      <groupId>org.springframework.cloud</groupId>
      <artifactId>spring-cloud-starter-loadbalancer</artifactId>
</dependency>
<dependency>
      <groupId>org.springframework.cloud</groupId>
      <artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
</dependency>
<dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-web</artifactId>
</dependency>

我们的负载均衡器将使用 Eureka 作为发现客户端来获取有关工作实例的信息。为此,我们必须使用 @EnableDiscoveryClient 注释。

package com.tutorialspoint;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.client.discovery.EnableDiscoveryClient;
import org.springframework.cloud.openfeign.EnableFeignClients;
@SpringBootApplication
@EnableFeignClients
@EnableDiscoveryClient
public class RestaurantService{
   public static void main(String[] args) {
      SpringApplication.run(RestaurantService.class, args);
   }
}

将弹簧负载均衡器与 Feign 结合使用

我们在 Feign 中使用的 @FeignClient 注释实际上打包在负载均衡器客户端的默认设置中,该客户端循环我们的请求。让我们测试一下。这是我们之前 Feign 部分中的同一个 Feign 客户端。

package com.tutorialspoint;
import org.springframework.cloud.openfeign.FeignClient;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
@FeignClient(name = "customer-service")
public interface CustomerService {
   @RequestMapping("/customer/{id}")
   public Customer getCustomerById(@PathVariable("id") Long id);
}

这是我们将使用的控制器。同样,这一点没有改变。

package com.tutorialspoint;
import java.util.HashMap;
import java.util.List;
import java.util.stream.Collectors;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
@RestController
class RestaurantController {
   @Autowired
   CustomerService customerService;
   static HashMap<Long, Restaurant> mockRestaurantData = new HashMap();
   static{
      mockRestaurantData.put(1L, new Restaurant(1, "Pandas", "DC"));
      mockRestaurantData.put(2L, new Restaurant(2, "Indies", "SFO"));
      mockRestaurantData.put(3L, new Restaurant(3, "Little Italy", "DC"));
      mockRestaurantData.put(4L, new Restaurant(4, "Pizeeria", "NY"));
   }
   @RequestMapping("/restaurant/customer/{id}")
   public List<Restaurant> getRestaurantForCustomer(@PathVariable("id") Long
id) {
      System.out.println("Got request for customer with id: " + id);
      String customerCity = customerService.getCustomerById(id).getCity();
      return mockRestaurantData.entrySet().stream().filter(
         entry -> entry.getValue().getCity().equals(customerCity))
         .map(entry -> entry.getValue())
         .collect(Collectors.toList());
   }
}

现在我们已经完成了设置,让我们尝试一下。这里只是一些背景知识,我们要做的如下 -

  • 启动尤里卡服务器。

  • 启动客户服务的两个实例。

  • 启动一个餐厅服务,该服务在内部调用客户服务并使用 Spring Cloud 负载均衡器

  • 对餐厅服务进行四次 API 调用。理想情况下,每个客户服务将满足两个请求。

假设我们已经启动了 Eureka 服务器和客户服务实例,现在让我们编译餐厅服务代码并使用以下命令执行 -

java -Dapp_port=8082 -jar .\target\spring-cloud-feign-client-1.0.jar

现在,让我们通过访问以下 API http://localhost:8082/restaurant/customer/1 来查找位于华盛顿的 Jane 的餐馆,并再次访问相同的 API 3 次。您会从客户服务的日志中注意到,两个实例都服务于 2 个请求。每个客户服务 shell 都会打印以下内容 -

Querying customer for id with: 1
Querying customer for id with: 1

这实际上意味着请求是循环的。

配置Spring负载均衡器

我们可以配置负载均衡器来更改算法类型,或者我们也可以提供定制算法。让我们看看如何调整负载均衡器以优先使用同一客户端来处理请求。

为此,让我们更新 Feign 客户端以包含负载均衡器定义。

package com.tutorialspoint;
import org.springframework.cloud.loadbalancer.annotation.LoadBalancerClient;
import org.springframework.cloud.openfeign.FeignClient;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
@FeignClient(name = "customer-service")
@LoadBalancerClient(name = "customer-service",
configuration=LoadBalancerConfiguration.class)
public interface CustomerService {
   @RequestMapping("/customer/{id}")
   public Customer getCustomerById(@PathVariable("id") Long id);
}

如果您注意到,我们添加了 @LoadBalancerClient 注释,它指定用于此 Feign 客户端的负载均衡器的类型。我们可以为负载均衡器创建一个配置类,并将该类传递给注释本身。现在让我们定义LoadBalancerConfiguratio.java

package com.tutorialspoint;
import org.springframework.cloud.loadbalancer.core.ServiceInstanceListSupplier;
import org.springframework.context.ConfigurableApplicationContext;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
@Configuration
public class LoadBalancerConfiguration {
   @Bean
   public ServiceInstanceListSupplier
discoveryClientServiceInstanceListSupplier(
         ConfigurableApplicationContext context) {
      System.out.println("Configuring Load balancer to prefer same instance");
      return ServiceInstanceListSupplier.builder()
               .withBlockingDiscoveryClient()
               .withSameInstancePreference()
               .build(context);
      }
}

现在,如您所见,我们已经将客户端负载平衡设置为每次都首选相同的实例。现在我们已经完成了设置,让我们尝试一下。这里只是一些背景知识,我们要做的如下 -

  • 启动尤里卡服务器。

  • 启动客户服务的两个实例。

  • 启动一个餐厅服务,该服务在内部调用客户服务并使用 Spring Cloud 负载均衡器

  • 对餐厅服务进行 4 次 API 调用。理想情况下,所有四个请求将由同一客户服务提供服务。

假设我们已经启动了 Eureka 服务器和客户服务实例,现在让我们编译餐厅服务代码并使用以下命令执行 -

java -Dapp_port=8082 -jar .\target\spring-cloud-feign-client-1.0.jar

现在,让我们通过访问以下 API http://localhost:8082/restaurant/customer/1 来查找位于华盛顿的 Jane 的餐馆,并再次访问相同的 API 3 次。您会从客户服务的日志中注意到,单个实例满足所有 4 个请求 -

Querying customer for id with: 1
Querying customer for id with: 1
Querying customer for id with: 1
Querying customer for id with: 1

这实际上意味着请求优先选择同一客户服务代理。

类似地,我们可以使用各种其他负载平衡算法来使用粘性会话、基于提示的负载平衡、区域首选项负载平衡等。