元组比Python中的列表更有效吗?

时间:2008-09-16 01:43:39

标签: python performance list tuples python-internals

在实例化和检索元素时,元组和列表之间是否存在性能差异?

9 个答案:

答案 0 :(得分:190)

通常,您可能希望元组稍快一些。但是你绝对应该测试你的特定情况(如果差异可能影响你的程序的性能 - 记住“过早优化是所有邪恶的根源”)。

Python使这变得非常简单:timeit是你的朋友。

$ python -m timeit "x=(1,2,3,4,5,6,7,8)"
10000000 loops, best of 3: 0.0388 usec per loop

$ python -m timeit "x=[1,2,3,4,5,6,7,8]"
1000000 loops, best of 3: 0.363 usec per loop

和...

$ python -m timeit -s "x=(1,2,3,4,5,6,7,8)" "y=x[3]"
10000000 loops, best of 3: 0.0938 usec per loop

$ python -m timeit -s "x=[1,2,3,4,5,6,7,8]" "y=x[3]"
10000000 loops, best of 3: 0.0649 usec per loop

所以在这种情况下,元组的实例化速度几乎要快一个数量级,但是对于列表,项目访问实际上要快一些!因此,如果您创建了几个元组并多次访问它们,那么使用列表实际上可能会更快。

当然如果你想更改一个项目,那么列表肯定会更快,因为你需要创建一个全新的元组来改变它的一个项目(因为元组是不可变的)。

答案 1 :(得分:159)

摘要

在几乎每个类别中,元组往往比列表表现更好:

1)元组可以是constant folded

2)可以重复使用元组而不是复制元组。

3)元组是紧凑的,不会过度分配。

4)元组直接引用它们的元素。

元组可以不断折叠

常量元组可以通过Python的窥孔优化器或AST优化器进行预先计算。另一方面,列表从头开始构建:

    >>> from dis import dis

    >>> dis(compile("(10, 'abc')", '', 'eval'))
      1           0 LOAD_CONST               2 ((10, 'abc'))
                  3 RETURN_VALUE   

    >>> dis(compile("[10, 'abc']", '', 'eval'))
      1           0 LOAD_CONST               0 (10)
                  3 LOAD_CONST               1 ('abc')
                  6 BUILD_LIST               2
                  9 RETURN_VALUE 

不需要复制元组

正在运行tuple(some_tuple)会立即返回。由于元组是不可变的,因此不必复制它们:

>>> a = (10, 20, 30)
>>> b = tuple(a)
>>> a is b
True

相反,list(some_list)要求将所有数据复制到新列表中:

>>> a = [10, 20, 30]
>>> b = list(a)
>>> a is b
False

元组不会过度分配

由于元组的大小是固定的,因此它可以比需要过度分配的列表更紧凑地存储,以使 append()操作有效。

这为元组提供了一个很好的空间优势:

>>> import sys
>>> sys.getsizeof(tuple(iter(range(10))))
128
>>> sys.getsizeof(list(iter(range(10))))
200

以下是来自 Objects / listobject.c 的评论,解释了列表正在做什么:

/* This over-allocates proportional to the list size, making room
 * for additional growth.  The over-allocation is mild, but is
 * enough to give linear-time amortized behavior over a long
 * sequence of appends() in the presence of a poorly-performing
 * system realloc().
 * The growth pattern is:  0, 4, 8, 16, 25, 35, 46, 58, 72, 88, ...
 * Note: new_allocated won't overflow because the largest possible value
 *       is PY_SSIZE_T_MAX * (9 / 8) + 6 which always fits in a size_t.
 */

元组直接引用它们的元素

对象的引用直接包含在元组对象中。相比之下,列表有一个额外的间接层指向外部指针数组。

这为元组提供了索引查找和解包的小速度优势:

$ python3.6 -m timeit -s 'a = (10, 20, 30)' 'a[1]'
10000000 loops, best of 3: 0.0304 usec per loop
$ python3.6 -m timeit -s 'a = [10, 20, 30]' 'a[1]'
10000000 loops, best of 3: 0.0309 usec per loop

$ python3.6 -m timeit -s 'a = (10, 20, 30)' 'x, y, z = a'
10000000 loops, best of 3: 0.0249 usec per loop
$ python3.6 -m timeit -s 'a = [10, 20, 30]' 'x, y, z = a'
10000000 loops, best of 3: 0.0251 usec per loop

Here是元组(10, 20)的存储方式:

    typedef struct {
        Py_ssize_t ob_refcnt;
        struct _typeobject *ob_type;
        Py_ssize_t ob_size;
        PyObject *ob_item[2];     /* store a pointer to 10 and a pointer to 20 */
    } PyTupleObject;

Here是列表[10, 20]的存储方式:

    PyObject arr[2];              /* store a pointer to 10 and a pointer to 20 */

    typedef struct {
        Py_ssize_t ob_refcnt;
        struct _typeobject *ob_type;
        Py_ssize_t ob_size;
        PyObject **ob_item = arr; /* store a pointer to the two-pointer array */
        Py_ssize_t allocated;
    } PyListObject;

请注意,元组对象直接包含两个数据指针,而列表对象有另外一层间接到包含两个数据指针的外部数组。

答案 2 :(得分:149)

dis模块反汇编函数的字节代码,有助于查看元组和列表之间的区别。

在这种情况下,您可以看到访问元素会生成相同的代码,但分配元组比分配列表要快得多。

>>> def a():
...     x=[1,2,3,4,5]
...     y=x[2]
...
>>> def b():
...     x=(1,2,3,4,5)
...     y=x[2]
...
>>> import dis
>>> dis.dis(a)
  2           0 LOAD_CONST               1 (1)
              3 LOAD_CONST               2 (2)
              6 LOAD_CONST               3 (3)
              9 LOAD_CONST               4 (4)
             12 LOAD_CONST               5 (5)
             15 BUILD_LIST               5
             18 STORE_FAST               0 (x)

  3          21 LOAD_FAST                0 (x)
             24 LOAD_CONST               2 (2)
             27 BINARY_SUBSCR
             28 STORE_FAST               1 (y)
             31 LOAD_CONST               0 (None)
             34 RETURN_VALUE
>>> dis.dis(b)
  2           0 LOAD_CONST               6 ((1, 2, 3, 4, 5))
              3 STORE_FAST               0 (x)

  3           6 LOAD_FAST                0 (x)
              9 LOAD_CONST               2 (2)
             12 BINARY_SUBSCR
             13 STORE_FAST               1 (y)
             16 LOAD_CONST               0 (None)
             19 RETURN_VALUE

答案 3 :(得分:31)

元组是不可变的,更有内存效率;列表,为了提高效率,请分配内存,以便允许在没有常量realloc的情况下进行追加。因此,如果您想在代码中迭代一系列常量值(例如for direction in 'up', 'right', 'down', 'left':),则首选元组,因为这些元组是在编译时预先计算的。

访问速度应该相同(它们都作为连续数组存储在内存中)。

但是,当您处理可变数据时,alist.append(item)atuple+= (item,)更受欢迎。请记住,元组旨在被视为没有字段名称的记录。

答案 4 :(得分:9)

如果列表或元组中的所有项目具有相同的C类型,您还应该考虑标准库中的array模块。它将占用更少的内存,并且可以更快。

答案 5 :(得分:4)

元组应该稍微提高效率,因此它比列表更快,因为它们是不可变的。

答案 6 :(得分:2)

仅此而已,这是另一个小基准。

Account

In [11]: %timeit list(range(100))
749 ns ± 2.41 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)

In [12]: %timeit tuple(range(100))
781 ns ± 3.34 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)

In [1]: %timeit list(range(1_000))
13.5 µs ± 466 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

In [2]: %timeit tuple(range(1_000))
12.4 µs ± 182 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

In [7]: %timeit list(range(10_000))
182 µs ± 810 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)

In [8]: %timeit tuple(range(10_000))
188 µs ± 2.38 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

In [3]: %timeit list(range(1_00_000))
2.76 ms ± 30.5 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

In [4]: %timeit tuple(range(1_00_000))
2.74 ms ± 31.8 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

让我们对这些进行平均:

In [10]: %timeit list(range(10_00_000))
28.1 ms ± 266 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

In [9]: %timeit tuple(range(10_00_000))
28.5 ms ± 447 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

您几乎可以说没有定论。

但是可以肯定的是,与列表相比,元组花费了In [3]: l = np.array([749 * 10 ** -9, 13.5 * 10 ** -6, 182 * 10 ** -6, 2.76 * 10 ** -3, 28.1 * 10 ** -3]) In [2]: t = np.array([781 * 10 ** -9, 12.4 * 10 ** -6, 188 * 10 ** -6, 2.74 * 10 ** -3, 28.5 * 10 ** -3]) In [11]: np.average(l) Out[11]: 0.0062112498000000006 In [12]: np.average(t) Out[12]: 0.0062882362 In [17]: np.average(t) / np.average(l) * 100 Out[17]: 101.23946713590554 的时间,或者花费了101.239%的时间。

答案 7 :(得分:0)

元组的性能更好,但是如果所有元素都是不可变的。如果元组的任何元素是可变的,那么在这里我将编译3个不同的对象进行编译将花费更长的时间:

enter image description here

在第一个示例中,我编译了一个元组。它以常量的形式加载到元组,并加载并返回值。迈出了第一步。这称为恒定折叠。当我用相同的元素编译一个列表时,它必须首先加载每个常量,然后构建列表并返回它。在第三个示例中,我使用了一个包含列表的元组。我为每个操作计时。

enter image description here

-内存分配

在创建可变容器对象(例如列表,集合,字典等)时,在其生命周期内,这些容器的分配容量(它们可以包含的项目数)大于容器中的元素数。这样做是为了使向集合中添加元素的效率更高,称为过度分配。因此,列表的大小不会在每次添加元素时都会增加-只是偶尔会增加。调整列表的大小非常昂贵,因此,每次添加项目时都不要调整大小,这有助于解决问题,但是您不想过多地分配列表,因为这会占用大量内存。

不可变容器由于创建后其项目数是固定的,因此不需要这种过度分配-因此它们的存储效率更高。随着元组变大,它们的大小也会增加。

-复制

对不可变序列进行浅表复制是没有意义的,因为您仍然无法对其进行突变。因此,复制元组只会返回自身以及内存地址。这就是为什么复制元组更快的原因

答案 8 :(得分:-2)

Tuple高效阅读的主要原因是因为它是不可变的。

为什么不可变对象易于阅读?

原因是元组可以存储在内存缓存中,与列表不同。该程序总是可变的(可以随时更改),因此总是从列表的内存位置读取。

相关问题