問題反饋

接到有客戶反饋，在批量putobject時，發現上傳到一定數量后應用卡住了，同時句柄數增加明顯。
客戶表示
1.使用10個worker線程進行put操作。
2.每個線程獨立使用OssClient。
3.OssClient沒有執行shutdown

排查過程

根據客戶的描述，寫了一個類似的程序來進行復現
開啟五個線程，每個線程上傳10000次object來測試

代碼片段：

public static void main(String args[]) { RunnableDemo R1 = new RunnableDemo( "Thread-1"); R1.start(); RunnableDemo R2 = new RunnableDemo( "Thread-2"); R2.start(); RunnableDemo R3 = new RunnableDemo( "Thread-3"); R3.start(); RunnableDemo R4 = new RunnableDemo( "Thread-4"); R4.start(); RunnableDemo R5 = new RunnableDemo( "Thread-5"); R5.start();} public void run() {System.out.println("Running " + threadName );for(int i = 0; i < 10000; i++) {try {System.out.println("Thread: " + threadName + ", " + i);//上傳部分String content = new String();content="12345";// 創建上傳Object的MetadataObjectMetadata meta = new ObjectMetadata();// 設置上傳文件長度meta.setContentLength(content.length());// 設置上傳MD5校驗String md5 = BinaryUtil.toBase64String(BinaryUtil.calculateMd5(content.getBytes()));meta.setContentMD5(md5);// 設置上傳內容類型meta.setContentType("text/plain");meta.setServerSideEncryption("AES256");// 上傳文件PutObjectRequest putObjectRequest=new PutObjectRequest("ruide", "1.txt", new ByteArrayInputStream(content.getBytes()), meta);PutObjectResult por = ossclient.putObject(putObjectRequest);System.out.println("requestid:"+por.getRequestId());Thread.sleep(0);}catch (Exception e) {System.out.println("Thread " + threadName + " interrupted.");}}System.out.println("Thread " + threadName + " exiting.");}

測試5W次上傳請求正常。

而在增加callback后出現了問題

PutObjectRequest putObjectRequest=new PutObjectRequest("ruide", "1.txt", new ByteArrayInputStream(content.getBytes()), meta); Callback callback = new Callback(); callback.setCallbackUrl("http://xx.xxx.xx.xx/Revice.ashx"); callback.setCallbackBody("bucket:${bucket},size:${size}"); putObjectRequest.setCallback(callback); PutObjectResult por = ossclient.putObject(putObjectRequest);

總結

看到上傳確實卡住了。減少到1個線程，依然如此，看來并非是線程導致。
在putobject上傳的時候，同時也會看到javaw進程的句柄數不斷增加。
通過和OSS后端同學確認，在putobject時，如果沒有callback是不需要句柄開銷的。但如果
PutObjectResult putObjectResult = ossClient.putObject(putObjectRequest);
即使不顯性的read，那么也會產生句柄開銷。而目前的句柄數是1000，當句柄數用完也就無法分配新的句柄導致程序卡住。需要增加
putObjectResult.getCallbackResponseBody().close();

添加后測試，測試OK

相關文檔說明見https://help.aliyun.com/document_detail/32013.html

總結

以上是生活随笔為你收集整理的大量执行OSS PutObject时卡住的问题排查的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。