Performance benchmark with default JSONDecoder

[mingchen]

Hello,

Thanks for sharing this awesome project.

I am looking for a fast decoder can decode 5 thousands of thousands json records.

Is there any performance benchmark done with default JSONDecoder? I want to see some data before switching from default decoder which is good in general but not performing well with large data sets. I checked exist test code looks like focus on function test and no performance test.

[Joannis]

I haven't ran many benchmarks recently, and I still want to set up a proper suite again.

[hjuraev]

Benchmark Results

Encoding Performance (Release)

Message Type	Foundation	IkigaJSON (Data)	IkigaJSON (Buffer)
Simple	391,813 ops/sec	1,042,049 (2.66x)	3,571,428 (9.11x)
Medium	116,197 ops/sec	253,085 (2.18x)	962,464 (8.28x)
Complex	16,276 ops/sec	36,212 (2.23x)	95,329 (5.86x)

Decoding Performance (Release)

Message Type	Foundation	IkigaJSON (Data)	IkigaJSON (Buffer)
Simple	312,598 ops/sec	398,063 (1.27x)	497,761 (1.59x)
Medium	82,476 ops/sec	95,969 (1.16x)	120,860 (1.47x)
Complex	11,148 ops/sec	11,127 (~same)	12,295 (1.10x)

[mkll]

@hjuraev macOS or Linux?

[hjuraev]

MacOS

[Joannis]

Thanks for the comparison @hjuraev . I've just added my own benchmarks in #47 . IkigaJSON is faster than Foundation in encoding, decoding small objects or streaming data. But the latest release is slower in large objects. Swift-Foundation does generally do more allocations, and balloons memory earlier. Also Foundation allocates for fields that aren't used (depends on your use case how relevant that is).

Swift-Foundation definitely is a lot faster than back in the day when I wrote this library, thankfully there are still more gains to be had (I mean, Swift-Foundation is written in Swift too!). So I've also adopted some performance improvements in IkigaJSON as part of #47

Here are my updated results. Note that Large Blobs (all fields used) is still a bit faster when using Foundation. I realised that _JSONDecoder was being heap allocated at all times, even though it's a struct. So I've fixed that allocation spike by making it a class 😬
I've also adopted less copies by reusing the Decoder's backing storage, and making is sliceable.

Decode Large - Foundation
╒═══════════════════════════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╕
│ Metric                        │        p0 │       p25 │       p50 │       p75 │       p90 │       p99 │      p100 │   Samples │
╞═══════════════════════════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╡
│ Malloc (total) *              │      1752 │      1752 │      1752 │      1752 │      1752 │      1752 │      1752 │      2385 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Memory (resident peak) (M)    │        13 │        13 │        13 │        13 │        13 │        13 │        13 │      2385 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Throughput (# / s) (#)        │      2887 │      2593 │      2563 │      2509 │      2439 │      2263 │      1374 │      2385 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (total CPU) (μs) *       │       347 │       387 │       391 │       400 │       411 │       441 │       626 │      2385 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (wall clock) (μs) *      │       346 │       386 │       390 │       399 │       410 │       442 │       728 │      2385 │
╘═══════════════════════════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╛

Decode Large - IkigaJSON
╒═══════════════════════════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╕
│ Metric                        │        p0 │       p25 │       p50 │       p75 │       p90 │       p99 │      p100 │   Samples │
╞═══════════════════════════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╡
│ Malloc (total) *              │      2440 │      2440 │      2440 │      2440 │      2440 │      2440 │      2440 │      1651 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Memory (resident peak) (M)    │        13 │        13 │        13 │        13 │        13 │        13 │        13 │      1651 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Throughput (# / s) (#)        │      1935 │      1763 │      1741 │      1707 │      1663 │      1550 │       499 │      1651 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (total CPU) (μs) *       │       517 │       568 │       575 │       587 │       603 │       640 │       940 │      1651 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (wall clock) (μs) *      │       517 │       567 │       574 │       586 │       602 │       645 │      2003 │      1651 │
╘═══════════════════════════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╛

Decode Medium - Foundation
╒═══════════════════════════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╕
│ Metric                        │        p0 │       p25 │       p50 │       p75 │       p90 │       p99 │      p100 │   Samples │
╞═══════════════════════════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╡
│ Malloc (total) *              │        33 │        33 │        33 │        33 │        33 │        33 │        33 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Memory (resident peak) (M)    │        12 │        12 │        12 │        13 │        13 │        13 │        13 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Throughput (# / s) (K)        │       126 │       111 │       109 │       107 │       102 │        82 │        15 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (total CPU) (μs) *       │         8 │        10 │        10 │        10 │        11 │        13 │        81 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (wall clock) (ns) *      │      7917 │      9047 │      9167 │      9375 │      9799 │     12167 │     65542 │     10000 │
╘═══════════════════════════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╛

Decode Medium - IkigaJSON
╒═══════════════════════════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╕
│ Metric                        │        p0 │       p25 │       p50 │       p75 │       p90 │       p99 │      p100 │   Samples │
╞═══════════════════════════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╡
│ Malloc (total) *              │        30 │        30 │        30 │        30 │        30 │        30 │        30 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Memory (resident peak) (M)    │        12 │        13 │        13 │        13 │        13 │        13 │        13 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Throughput (# / s) (K)        │       133 │       118 │       118 │       117 │       114 │        90 │         9 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (total CPU) (ns) *       │      8041 │      9047 │      9127 │      9255 │      9503 │     11919 │     81000 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (wall clock) (ns) *      │      7500 │      8463 │      8503 │      8591 │      8799 │     11047 │    115458 │     10000 │
╘═══════════════════════════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╛

Decode Small - Foundation
╒═══════════════════════════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╕
│ Metric                        │        p0 │       p25 │       p50 │       p75 │       p90 │       p99 │      p100 │   Samples │
╞═══════════════════════════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╡
│ Malloc (total) *              │        15 │        15 │        15 │        15 │        15 │        15 │        15 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Memory (resident peak) (M)    │        12 │        12 │        12 │        12 │        13 │        13 │        13 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Throughput (# / s) (K)        │       270 │       238 │       235 │       231 │       226 │       175 │        42 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (total CPU) (ns) *       │      4291 │      4875 │      4919 │      5003 │      5167 │      6543 │     27751 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (wall clock) (ns) *      │      3708 │      4211 │      4251 │      4335 │      4419 │      5711 │     23542 │     10000 │
╘═══════════════════════════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╛

Decode Small - IkigaJSON
╒═══════════════════════════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╕
│ Metric                        │        p0 │       p25 │       p50 │       p75 │       p90 │       p99 │      p100 │   Samples │
╞═══════════════════════════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╡
│ Malloc (total) *              │         8 │         8 │         8 │         8 │         8 │         8 │         8 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Memory (resident peak) (M)    │        12 │        13 │        13 │        13 │        13 │        13 │        13 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Throughput (# / s) (K)        │       338 │       296 │       293 │       289 │       279 │       220 │        14 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (total CPU) (ns) *       │      3417 │      3959 │      4001 │      4083 │      4251 │      5499 │     52000 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (wall clock) (ns) *      │      2958 │      3375 │      3417 │      3459 │      3583 │      4543 │     71958 │     10000 │
╘═══════════════════════════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╛

Encode Large - Foundation
╒═══════════════════════════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╕
│ Metric                        │        p0 │       p25 │       p50 │       p75 │       p90 │       p99 │      p100 │   Samples │
╞═══════════════════════════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╡
│ Malloc (total) *              │      1438 │      1438 │      1438 │      1438 │      1438 │      1438 │      1438 │      2921 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Memory (resident peak) (M)    │        12 │        13 │        13 │        13 │        13 │        13 │        13 │      2921 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Throughput (# / s) (#)        │      3651 │      3249 │      3203 │      3129 │      3031 │      2709 │      1612 │      2921 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (total CPU) (μs) *       │       274 │       308 │       313 │       321 │       331 │       369 │       503 │      2921 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (wall clock) (μs) *      │       274 │       308 │       312 │       320 │       330 │       369 │       620 │      2921 │
╘═══════════════════════════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╛

Encode Large - IkigaJSON
╒═══════════════════════════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╕
│ Metric                        │        p0 │       p25 │       p50 │       p75 │       p90 │       p99 │      p100 │   Samples │
╞═══════════════════════════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╡
│ Malloc (total) *              │      3131 │      3131 │      3131 │      3131 │      3131 │      3131 │      3131 │      3766 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Memory (resident peak) (M)    │        12 │        13 │        13 │        13 │        13 │        13 │        13 │      3766 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Throughput (# / s) (#)        │      4820 │      4199 │      4119 │      4045 │      3953 │      3499 │      1081 │      3766 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (total CPU) (μs) *       │       208 │       239 │       244 │       248 │       254 │       282 │       606 │      3766 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (wall clock) (μs) *      │       207 │       238 │       243 │       247 │       253 │       286 │       925 │      3766 │
╘═══════════════════════════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╛

Encode Medium - Foundation
╒═══════════════════════════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╕
│ Metric                        │        p0 │       p25 │       p50 │       p75 │       p90 │       p99 │      p100 │   Samples │
╞═══════════════════════════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╡
│ Malloc (total) *              │        24 │        24 │        24 │        24 │        24 │        24 │        24 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Memory (resident peak) (M)    │        12 │        12 │        12 │        12 │        13 │        13 │        13 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Throughput (# / s) (K)        │       171 │       150 │       148 │       146 │       141 │       113 │        22 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (total CPU) (ns) *       │      6375 │      7295 │      7419 │      7627 │      7919 │      9919 │     58416 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (wall clock) (ns) *      │      5833 │      6667 │      6751 │      6835 │      7087 │      8879 │     46083 │     10000 │
╘═══════════════════════════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╛

Encode Medium - IkigaJSON
╒═══════════════════════════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╕
│ Metric                        │        p0 │       p25 │       p50 │       p75 │       p90 │       p99 │      p100 │   Samples │
╞═══════════════════════════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╡
│ Malloc (total) *              │        37 │        37 │        37 │        37 │        37 │        37 │        37 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Memory (resident peak) (M)    │        12 │        13 │        13 │        13 │        13 │        13 │        13 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Throughput (# / s) (K)        │       218 │       192 │       189 │       186 │       182 │       145 │        11 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (total CPU) (ns) *       │      5125 │      5835 │      5919 │      6003 │      6171 │      7791 │     63625 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (wall clock) (ns) *      │      4583 │      5211 │      5295 │      5375 │      5503 │      6919 │     95125 │     10000 │
╘═══════════════════════════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╛

Encode Small - Foundation
╒═══════════════════════════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╕
│ Metric                        │        p0 │       p25 │       p50 │       p75 │       p90 │       p99 │      p100 │   Samples │
╞═══════════════════════════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╡
│ Malloc (total) *              │        14 │        14 │        14 │        14 │        14 │        14 │        14 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Memory (resident peak) (M)    │        12 │        12 │        12 │        12 │        13 │        13 │        13 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Throughput (# / s) (K)        │       304 │       267 │       264 │       255 │       240 │       188 │        25 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (total CPU) (ns) *       │      3833 │      4375 │      4419 │      4627 │      4959 │      6503 │     42501 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (wall clock) (ns) *      │      3292 │      3751 │      3793 │      3917 │      4167 │      5335 │     40208 │     10000 │
╘═══════════════════════════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╛

Encode Small - IkigaJSON
╒═══════════════════════════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╕
│ Metric                        │        p0 │       p25 │       p50 │       p75 │       p90 │       p99 │      p100 │   Samples │
╞═══════════════════════════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╡
│ Malloc (total) *              │        12 │        12 │        12 │        12 │        12 │        12 │        12 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Memory (resident peak) (M)    │        12 │        13 │        13 │        13 │        13 │        13 │        13 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Throughput (# / s) (K)        │       400 │       338 │       329 │       325 │       316 │       240 │        23 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (total CPU) (ns) *       │      3042 │      3583 │      3667 │      3751 │      3917 │      5167 │     36001 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (wall clock) (ns) *      │      2500 │      2959 │      3041 │      3083 │      3167 │      4127 │     42792 │     10000 │
╘═══════════════════════════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╛

Round-trip Medium - Foundation
╒═══════════════════════════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╕
│ Metric                        │        p0 │       p25 │       p50 │       p75 │       p90 │       p99 │      p100 │   Samples │
╞═══════════════════════════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╡
│ Malloc (total) *              │        57 │        57 │        57 │        57 │        57 │        57 │        57 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Memory (resident peak) (M)    │        12 │        13 │        13 │        13 │        13 │        13 │        13 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Throughput (# / s) (K)        │        85 │        74 │        73 │        71 │        67 │        52 │        14 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (total CPU) (μs) *       │        12 │        14 │        14 │        15 │        16 │        21 │        67 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (wall clock) (μs) *      │        12 │        14 │        14 │        14 │        15 │        19 │        73 │     10000 │
╘═══════════════════════════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╛

Round-trip Medium - IkigaJSON
╒═══════════════════════════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╤═══════════╕
│ Metric                        │        p0 │       p25 │       p50 │       p75 │       p90 │       p99 │      p100 │   Samples │
╞═══════════════════════════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪═══════════╡
│ Malloc (total) *              │        67 │        67 │        67 │        67 │        67 │        67 │        67 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Memory (resident peak) (M)    │        12 │        13 │        13 │        13 │        13 │        13 │        13 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Throughput (# / s) (K)        │        90 │        78 │        77 │        76 │        72 │        55 │        15 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (total CPU) (μs) *       │        12 │        13 │        14 │        14 │        15 │        20 │        60 │     10000 │
├───────────────────────────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┼───────────┤
│ Time (wall clock) (μs) *      │        11 │        13 │        13 │        13 │        14 │        18 │        68 │     10000 │
╘═══════════════════════════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╧═══════════╛

[mingchen]

Thanks for adding those metric data. It looks awesome.