Eric Dumazet 4f693b55c3
tcp: implement coalescing on backlog queue ...
In case GRO is not as efficient as it should be or disabled,
we might have a user thread trapped in __release_sock() while
softirq handler flood packets up to the point we have to drop.
This patch balances work done from user thread and softirq,
to give more chances to __release_sock() to complete its work
before new packets are added the the backlog.
This also helps if we receive many ACK packets, since GRO
does not aggregate them.
This patch brings ~60% throughput increase on a receiver
without GRO, but the spectacular gain is really on
1000x release_sock() latency reduction I have measured.
Signed-off-by: Eric Dumazet <edumazet@google.com >
Cc: Neal Cardwell <ncardwell@google.com >
Cc: Yuchung Cheng <ycheng@google.com >
Acked-by: Neal Cardwell <ncardwell@google.com >
Signed-off-by: David S. Miller <davem@davemloft.net >
2018-11-30 13:26:54 -08:00
2018-09-14 15:22:48 +02:00
2018-01-16 15:11:32 +01:00
2018-07-30 16:21:49 -04:00
2018-07-23 19:18:10 +01:00
2018-10-29 11:11:33 +01:00
2018-04-24 10:29:18 +02:00
2018-05-06 23:33:03 +02:00
2018-07-19 23:26:01 -07:00
2018-02-21 13:15:33 -05:00
2018-10-05 08:32:01 -07:00
2018-08-06 10:24:33 +02:00
2018-01-13 10:44:56 +00:00
2018-08-15 22:54:12 -07:00
2018-06-07 17:34:39 -07:00
2018-08-22 10:52:49 -07:00
2018-02-27 13:02:54 +01:00
2018-03-14 10:15:34 +01:00
2018-08-11 15:46:41 -06:00
2018-03-30 14:16:24 -06:00
2018-10-25 11:17:40 -06:00
2018-01-18 22:12:38 +01:00
2018-03-08 02:22:34 +01:00
2018-11-28 22:07:57 +01:00
2018-05-23 13:23:40 -04:00
2018-11-20 10:54:38 -08:00
2018-01-22 16:08:21 +01:00
2018-05-31 11:35:24 +02:00
2018-07-27 10:40:16 +02:00
2018-02-14 13:23:51 -05:00
2018-10-05 11:22:39 -04:00
2018-05-01 14:25:37 -04:00
2018-04-11 10:28:38 -07:00
2018-09-28 12:46:25 +08:00
2018-07-29 12:53:54 -07:00
2018-07-12 17:37:13 -07:00
2018-04-04 12:12:38 -04:00
2018-10-04 09:40:52 -07:00
2018-10-31 12:13:47 -07:00
2018-07-19 13:58:44 -07:00
2018-07-04 22:30:28 +09:00
2018-01-25 21:39:43 -05:00
2018-11-17 20:33:32 -08:00
2018-07-15 14:03:06 +02:00
2018-10-08 13:48:45 +02:00
2018-02-28 22:44:43 -05:00
2018-09-06 09:40:59 -06:00
2018-07-15 13:55:47 +02:00
2018-09-04 11:35:03 +08:00
2018-06-18 15:11:53 +10:00
2018-10-15 15:43:07 +02:00
2018-09-24 12:18:42 -07:00
2018-01-23 07:39:20 -07:00
2018-09-13 10:46:24 +02:00
2018-09-05 22:27:11 -07:00
2018-09-21 19:22:32 -07:00
2018-11-27 15:04:15 -08:00
2018-03-23 11:31:58 -04:00
2018-10-15 21:46:06 -07:00
2018-04-23 11:10:33 -04:00
2018-11-27 15:04:15 -08:00
2018-01-22 15:40:16 -05:00
2018-09-05 22:09:37 -07:00
2018-01-17 15:32:10 -05:00
2018-06-08 00:18:02 +02:00
2018-06-29 11:32:55 +09:00
2018-09-13 08:17:27 -07:00
2018-01-02 13:54:04 -05:00
2018-06-27 19:21:25 +02:00
2018-11-22 08:57:44 +01:00
2018-07-17 15:33:47 +02:00
2018-07-29 12:37:06 -07:00
2018-02-26 09:49:21 -06:00
2018-02-27 07:42:51 -06:00
2018-02-27 07:42:51 -06:00
2018-07-26 17:04:37 -07:00
2018-06-07 17:34:37 -07:00
2018-07-07 17:41:38 +02:00
2018-10-26 09:30:46 +01:00
2018-11-05 15:46:51 -05:00
2018-08-06 17:59:22 +02:00
2018-10-19 15:24:24 +02:00
2018-08-03 10:03:57 -07:00
2018-02-13 11:23:24 -05:00
2018-01-05 08:50:12 -07:00
2018-04-20 09:15:18 -04:00
2018-10-18 17:20:19 +11:00
2018-08-02 06:04:57 -04:00
2018-08-31 11:04:23 -04:00
2018-02-05 21:35:03 +01:00
2018-10-05 16:32:04 -07:00
2018-07-24 14:41:08 -07:00
2018-10-05 16:32:04 -07:00
2018-07-13 14:21:16 -07:00
2018-03-17 14:45:23 -06:00
2018-04-11 10:28:37 -07:00
2018-06-20 19:10:06 -06:00
2018-11-17 21:09:49 -08:00
2018-10-17 13:56:58 -07:00
2018-09-12 20:30:03 -07:00
2018-11-27 16:20:20 -08:00
2018-07-09 16:31:28 -07:00
2018-07-29 12:37:06 -07:00
2018-01-08 18:01:08 +01:00
2018-10-25 10:25:22 +02:00
2018-01-08 18:01:08 +01:00
2018-01-11 13:14:20 +01:00
2018-01-11 13:14:20 +01:00
2018-10-08 10:39:04 -07:00
2018-01-14 23:06:30 -05:00
2018-10-12 12:56:34 +02:00
2018-01-16 16:47:29 +01:00
2018-05-09 16:37:05 -04:00
2018-07-08 11:13:25 +09:00
2018-09-28 12:47:34 -05:00
2018-07-19 11:46:57 +01:00
2018-10-31 10:18:01 -03:00
2018-11-15 11:38:23 -08:00
2018-11-16 23:08:51 -08:00
2018-07-31 19:56:42 +10:00
2018-08-11 12:13:49 -07:00
2018-06-15 18:10:01 -03:00
2018-02-06 22:53:56 +00:00
2018-05-31 00:13:56 +08:00
2018-11-09 19:43:51 -08:00
2018-02-21 16:56:03 -08:00
2018-03-20 03:17:41 +02:00
2018-04-14 11:59:31 -04:00
2018-09-02 16:14:44 -07:00
2018-06-03 17:37:16 -07:00
2018-07-10 22:18:52 +02:00
2018-07-23 20:44:12 -07:00
2018-01-10 11:30:31 +01:00
2018-11-19 12:25:43 -08:00
2018-05-05 00:51:44 +02:00
2018-05-24 11:57:36 +02:00
2018-04-11 10:28:37 -07:00
2018-03-09 11:01:19 -08:00
2018-10-02 13:38:55 -07:00
2018-10-05 16:32:04 -07:00
2018-04-26 19:51:12 -05:00
2018-10-07 21:06:28 -07:00
2018-11-30 13:26:54 -08:00
2018-03-28 18:47:18 +03:00
2018-08-13 08:42:25 -07:00
2018-06-18 21:02:52 -04:00
2018-10-26 16:26:32 -07:00
2018-11-17 20:34:36 -08:00
2018-06-24 14:39:46 +02:00
2018-04-20 11:04:05 -04:00
2018-06-30 21:05:42 +09:00
2018-03-22 14:43:35 -04:00
2018-04-27 11:05:41 -04:00
2018-04-23 11:10:33 -04:00
2018-05-24 18:38:51 +02:00
2018-05-26 09:16:44 +02:00
2018-09-03 13:29:38 +02:00
2018-11-07 16:23:04 -08:00
2018-02-06 18:32:44 -08:00
2018-07-27 06:39:57 -04:00
2018-11-06 05:07:53 -05:00
2018-02-26 08:15:50 -05:00
2018-07-24 17:39:28 -04:00
2018-10-31 11:01:38 -07:00
2018-09-03 21:23:24 -07:00
2018-10-31 10:53:29 -07:00
2018-10-24 20:57:55 -04:00
2018-11-26 22:17:39 -08:00
2018-05-14 11:01:29 +02:00
2018-05-28 22:59:54 -04:00
2018-11-26 22:17:39 -08:00
2018-05-14 13:46:04 -04:00
2018-06-23 16:07:15 +02:00
4f693b55c3