Как убрать дубликаты из списка элементов?

Для удаления дубликатов из списка можно использовать несколько подходов. Самый быстрый и питонический способ для хешируемых типов — преобразовать список в множество (set), а затем обратно в список.

# Пример списка с дубликатами
my_list = [1, 2, 2, 3, 4, 4, 5]

# Преобразование в множество для удаления дубликатов
unique_elements_set = set(my_list)

# Преобразование обратно в список
unique_list = list(unique_elements_set)

# Вывод уникального списка
# print(unique_list) # [1, 2, 3, 4, 5] (порядок не гарантирован)

Если порядок элементов важен и сохранение исходного порядка является требованием, можно использовать цикл или словари (для Python 3.7+):

# Пример списка с дубликатами
my_list_ordered = [1, 2, 4, 2, 3, 4, 5]

# Вариант 1: Использование цикла и вспомогательного списка
unique_list_ordered = []
seen = set()
for item in my_list_ordered:
    if item not in seen:
        unique_list_ordered.append(item)
        seen.add(item)

# print(unique_list_ordered) # [1, 2, 4, 3, 5]

# Вариант 2: Использование словаря (для Python 3.7+ сохраняет порядок)
unique_list_dict = list(dict.fromkeys(my_list_ordered))

# print(unique_list_dict) # [1, 2, 4, 3, 5]

Для нехешируемых типов (например, списков внутри списка) потребуется итерироваться и сохранять увиденные элементы в хешируемом представлении (например, кортеж или JSON-строка).

# Пример списка с нехешируемыми элементами
list_of_lists = [[1, 2], [3, 4], [1, 2], [5, 6]]

# Использование цикла и преобразование в кортеж для хеширования
unique_list_of_lists = []
seen_tuples = set()
for sublist in list_of_lists:
    sublist_tuple = tuple(sublist) # Преобразуем список в кортеж для хеширования
    if sublist_tuple not in seen_tuples:
        unique_list_of_lists.append(sublist)
        seen_tuples.add(sublist_tuple)

# print(unique_list_of_lists) # [[1, 2], [3, 4], [5, 6]]

Сравнение методов:

Выбор метода зависит от требований к сохранению порядка и типа данных в списке. В большинстве случаев для хешируемых данных достаточно использовать преобразование через множество.