Что делать, если база данных в файле SQL на миллион 155 тысяч строк не удается вставить с помощью инструментов?

Если стандартные инструменты (phpMyAdmin, Adminer, терминальные утилиты типа mysql) не справляются с импортом SQL-файла такого объема, есть несколько основных стратегий:

1. Использование терминальных утилит:

   • Наиболее надежный способ для больших файлов.
   • Прямой вызов команды импорта, минуя веб-сервер и ограничения PHP.

   # Для MySQL
   mysql -u ваш_пользователь -p ваша_база_данных < ваш_файл.sql
   
   # Для PostgreSQL
   psql -U ваш_пользователь -d ваша_база_данных -f ваш_файл.sql
   

2. Разбивка файла на части:

   • Слишком большой файл может превышать лимиты памяти или времени исполнения.
   • Разбить файл можно вручную, с помощью скриптов или специализированных инструментов.
   • Каждую часть импортировать по очереди.

3. Настройка веб-сервера и PHP:

   • Увеличить следующие параметры в php.ini (для phpMyAdmin/Adminer):
     • upload_max_filesize
     • post_max_size
     • memory_limit
     • max_execution_time
     • max_input_time
   • Увеличить client_max_body_size в конфигурации Nginx или LimitRequestBody в Apache.

4. Оптимизация SQL-файла:

   • Удалить ненужные комментарии или пустые строки.
   • Изменить формат INSERT запросов с множественных строк на один INSERT с несколькими наборами значений (если формат файла позволяет и база данных это поддерживает), например:

     # Вместо:
     -- INSERT INTO table (col1, col2) VALUES (1, 'a');
     -- INSERT INTO table (col1, col2) VALUES (2, 'b');
     
     # Использовать:
     -- INSERT INTO table (col1, col2) VALUES
     -- (1, 'a'),
     -- (2, 'b');
     

5. Использование специализированных инструментов:

   • Существуют утилиты, разработанные специально для обработки больших дампов SQL, например mydumper/myloader для MySQL.

6. Импорт на стороне сервера базы данных:

   • Если есть доступ к файловой системе сервера БД, можно использовать команды типа LOAD DATA INFILE (MySQL) или COPY (PostgreSQL), но это требует изменения формата файла на CSV или TAB-separated.

   -- Пример для MySQL с LOAD DATA INFILE (требует файл в формате CSV или другом разделителем)
   -- LOAD DATA INFILE '/path/to/your/file.csv'
   -- INTO TABLE your_table
   -- FIELDS TERMINATED BY ',' ENCLOSED BY '"'
   -- LINES TERMINATED BY '\n';
   

Выбор конкретного метода зависит от доступных ресурсов (прямой доступ к серверу, возможности изменения конфигурации) и технической грамотности. Как правило, использование терминальных утилит или разбивка файла являются наиболее надежными решениями для больших объемов данных.