HttpClient连接池

2019-06-05

|已阅： 1

一、连接池的作用

HttpClients连接池可以方便HTTP请求复用底层TCP连接，前提是同一Route下的请求，并且服务端支持Keep-Alive，当然现在服务器Keep-Alive基本上是默认配置了，如果服务端是自己实现的则需要手动设置一下。

在使用过程中发现连接池并不是万能解决方案，各别情况下效果没有直接使用URL构造请求来的快。

二、创建连接池

直接使用了HttpClient工具包，先在pom.xml里添加引用：


<dependency>
          <groupId>org.apache.httpcomponents</groupId>
          <artifactId>httpclient</artifactId>
          <version>4.4.1</version>
      </dependency>
      <dependency>
          <groupId>org.apache.httpcomponents</groupId>
          <artifactId>httpmime</artifactId>
          <version>4.4.1</version>
      </dependency>
      <dependency>
          <groupId>org.apache.httpcomponents</groupId>
          <artifactId>httpasyncclient</artifactId>
          <version>4.1</version>
      </dependency>
      <dependency>
          <groupId>org.apache.httpcomponents</groupId>
          <artifactId>httpcore</artifactId>
          <version>4.4.1</version>
      </dependency>

创建Util类MyUtil.java：

......
	private static ConnectionKeepAliveStrategy strategy = (response, context) -> {
        HeaderElementIterator it = new BasicHeaderElementIterator
                (response.headerIterator(HTTP.CONN_KEEP_ALIVE));
        while (it.hasNext()) {
            HeaderElement he = it.nextElement();
            String param = he.getName();
            String value = he.getValue();
            if (value != null && param.equalsIgnoreCase
                    ("timeout")) {
                return Long.parseLong(value) * 1000;
            }
        }
        //如果没有约定，则默认定义时长为60s
        return 60 * 1000;
    };
    public static PoolingHttpClientConnectionManager connectionManager;
    private static RequestConfig requestConfig = RequestConfig.custom()
            .setConnectTimeout(30 * 1000)
            .setSocketTimeout(60 * 1000)
            .setConnectionRequestTimeout(10000)
            .build();
    private static HttpClient getHttpClent(){
        if(connectionManager == null){
             connectionManager = new PoolingHttpClientConnectionManager();
            connectionManager.setMaxTotal(500);
            //默认每路由最高50并发
            connectionManager.setDefaultMaxPerRoute(50);
        }
        return HttpClients.custom()
                .setConnectionManager(connectionManager)
                .setKeepAliveStrategy(strategy)
                .setDefaultRequestConfig(requestConfig)
                .build();
    }
	/**
     * Get请求方法使用连接池
     * @param url 请求地址
     * @param param 参数
     * @return
     */
	public static String sendGetByPool(String url, String param){
        try {
            HttpGet httpGet = new HttpGet(url+"?"+param);
            HttpResponse  httpResponse = getHttpClent().execute(httpGet);
            return EntityUtils.toString(httpResponse.getEntity());
        } catch (Exception e) {
            e.printStackTrace();
        }
        return null;
    }
.....

三、使用示例

使用示例（一定要在并发场景下使用，否则看不到效果）：

public static void main(String args[]){
       String url = "http://127.0.0.1:8080/test";
       String param = "id=1";
       List<String[]> list = new ArrayList<>();
       for(int i = 0; i< 500; i++){
           list.add(new String[]{url, param});
       }
       ThreadPoolExecutor threadPool =  new ThreadPoolExecutor(100, 2000, 30L,
               TimeUnit.SECONDS, new ArrayBlockingQueue<Runnable>(4000));
       Long startTime = System.currentTimeMillis();
       CountDownLatch downLatch = new CountDownLatch(list.size());
       list.forEach(t->{
           threadPool.execute(()->{
               try {
                   String res = MyUtil.sendGetByPool(t[0], t[1]);
                   downLatch.countDown();
               } catch (Exception e) {
                   e.printStackTrace();
               }
           });
       });
       try {
           downLatch.await();
       } catch (InterruptedException e) {
           e.printStackTrace();
       }
       Long endTime = System.currentTimeMillis();
       System.out.println("time:"+(endTime-startTime));
       System.exit(0);
   }

四、使用现在的带连接池方法

不想自己实现的话可以使用现成的带连接池的工具包，比如：fluent-hc

添加pom.xml引用：

<dependency>
          <groupId>org.apache.httpcomponents</groupId>
          <artifactId>fluent-hc</artifactId>
          <version>4.5.2</version>
      </dependency>

添加如下方法：

public static String get(String url, String json) {
       String result = "";
       try {
           result = Request.Get(url+"?"+json)
                   .connectTimeout(30000)
                   .socketTimeout(30000)
                   .execute().returnContent().asString();
       } catch (IOException e) {
           e.printStackTrace();
       }
       return result;
   }

使用的话参照上边的示例改一下请求方法就行了，比自己构建简单的多。

五、一些问题

关于连接池大小的问题，对同一个Route设置池大小100以下是有效果的，多于100 后，最多只会创建100个线程使用.

1 2	//默认路由最高50并发(本机8核Cpu，设置50或100没什么区别，设置大于100时池里最多只有100个线程) connectionManager.setDefaultMaxPerRoute(50);

本文作者： ixx
本文链接： http://blog.jisuye.com/2019/06/05/httpclientspool/
版权声明： 本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。转载请注明出处！