]> git.hungrycats.org Git - linux/commitdiff
io_uring: charge tctx nodes and personalities
authorChris Mason <mason@kernel.org>
Wed, 4 Nov 2026 18:44:07 +0000 (11:44 -0700)
committerGreg Kroah-Hartman <gregkh@linuxfoundation.org>
Fri, 6 Nov 2026 17:06:12 +0000 (12:06 -0500)
Commit 0b34e7b20a48710b6f53716bf7030920b69fdbdd upstream.

The io_tctx_node allocated the first time a task touches a ring, and
the XArray nodes behind tctx->xa and ctx->personalities, are plain
GFP_KERNEL. tctx->xa is indexed by the ring pointer, so nearly every
entry needs nodes of its own, and a task gets one entry per ring it has
used. 642 threads on 4000 rings held 2.3GB with 59MB charged against a
64MB memory.max.

Allocate the node with GFP_KERNEL_ACCOUNT and set XA_FLAGS_ACCOUNT on
both XArrays.

Fixes: 0f2122045b94 ("io_uring: don't rely on weak ->files references")
Signed-off-by: Chris Mason <mason@kernel.org>
Signed-off-by: Jens Axboe <axboe@kernel.dk>
[axboe: 6.18 has kmalloc() for the node, inline in
__io_uring_add_tctx_node()]
Signed-off-by: Greg Kroah-Hartman <gregkh@linuxfoundation.org>
io_uring/io_uring.c
io_uring/tctx.c

index 04a90824c1905d825e6f5dad401439b5b1ed8465..f1cd0e2b5b68d0dfb6b78242359f3de2e780c17a 100644 (file)
@@ -332,7 +332,7 @@ static __cold struct io_ring_ctx *io_ring_ctx_alloc(struct io_uring_params *p)
        if (ret)
                goto free_ref;
        init_completion(&ctx->ref_comp);
-       xa_init_flags(&ctx->personalities, XA_FLAGS_ALLOC1);
+       xa_init_flags(&ctx->personalities, XA_FLAGS_ALLOC1 | XA_FLAGS_ACCOUNT);
        mutex_init(&ctx->uring_lock);
        init_waitqueue_head(&ctx->cq_wait);
        init_waitqueue_head(&ctx->poll_wq);
index 03c278aa58120fc2f4497a746d2e4ce5aee063c4..bf851ba5ca1a365dcdb63bcd0c580e595cd1288b 100644 (file)
@@ -91,7 +91,7 @@ __cold int io_uring_alloc_task_context(struct task_struct *task,
        }
 
        tctx->task = task;
-       xa_init(&tctx->xa);
+       xa_init_flags(&tctx->xa, XA_FLAGS_ACCOUNT);
        init_waitqueue_head(&tctx->wait);
        atomic_set(&tctx->in_cancel, 0);
        atomic_set(&tctx->inflight_tracked, 0);
@@ -131,7 +131,7 @@ int __io_uring_add_tctx_node(struct io_ring_ctx *ctx)
        if (tctx->io_wq)
                io_wq_set_exit_on_idle(tctx->io_wq, false);
        if (!xa_load(&tctx->xa, (unsigned long)ctx)) {
-               node = kmalloc(sizeof(*node), GFP_KERNEL);
+               node = kmalloc(sizeof(*node), GFP_KERNEL_ACCOUNT);
                if (!node)
                        return -ENOMEM;
                node->ctx = ctx;