Question

我有一个.txt文件，如下所示：

    id,lat,lon,sequence,dist
    98372,40.535257,-111.871612,1,0.0
    98372,40.536023,-111.872235,2,0.1001
    98372,40.535629,-111.872599,3,0.1335
    98372,40.535499,-111.872559,4,0.1758
    ...etc

这个文件可以长863650行！（34MB）
我需要使用MyISAM引擎将每一行作为一行插入MySQL数据库中。（我假设这将是最快的）

我在GoDaddy的服务器上托管，所以我对apache和mysql配置没有很多控制权。

这是我目前的工作，除了它需要大约6分钟以上，服务器在2之后超时，所以它永远不会完成：

    $raw = file_get_contents('file.txt');
    $lines = explode("\r\n", $raw);
    $tablename = 'tablename';
    $tableHeaders = 'id,lat,lon,sequence,dist';
    foreach($lines as $line) {
        $line_values = explode(",", $line);
        $sqlValues = "VALUES(";
        foreach($line_values as $value) {
            $sqlValues .=  "'$value',";
        }
        $sqlValues = substr($sqlValues, 0, -1) . ")";
        $sqlSyntax = "INSERT INTO $tablename ($tableHeaders) $sqlValues";
        $mysqlcon->query($sqlSyntax);
    }

这可以更好地优化吗？或者是否可以构建一个GIANT插入语句，如：

    "INSERT INTO table (id,lat,lon,sequence,dist)
    VALUES (98372,40.535257,-111.871612,1,0.0),
    (98372,40.536023,-111.872235,2,0.1001),
    (98372,40.535629,-111.872599,3,0.1335),
    (98372,40.535499,-111.872559,4,0.1758),
    ...etc (863647 more lines)"

任何帮助将不胜感激！

Answer 1

构建巨型INSERT，如

"INSERT INTO table (id,lat,lon,sequence,dist)
VALUES (98372,40.535257,-111.871612,1,0.0),
(98372,40.536023,-111.872235,2,0.1001),
(98372,40.535629,-111.872599,3,0.1335),
(98372,40.535499,-111.872559,4,0.1758),
...etc (863647 more lines)"

这会快很多倍。当我遇到类似的问题时，使用单个大型查询通常比单个查询快1000倍。

注意：由于内存限制，您可能希望每1,000或5,000行“插入”一次插入; 863,650行可能会超过共享服务器上的最大可用内存。

编辑如果可以，请执行LOAD DATA。出于安全原因，这可能无法在GoDaddy共享主机方案中使用，但您可以尝试使用它。你会想要这样的东西：

LOAD DATA INFILE '/path/to/file.txt' /* change to fit your path */
INTO TABLE `table` /* Is "table" really your table's name? If so, you should pick something more descriptive... */
FIELDS TERMINATED BY ',' /* because your data is separated by commas */
/* See my note below about LINES TERMINATED BY */
IGNORE 1 LINES /* skip the headers */
(id,lat,lon,sequence,dist) /* the column names */

您可能需要LINES TERMINATED BY条款。 From the manual：

如果您在Windows系统上生成了文本文件，则可能必须使用LINES TERMINATED BY'\ r \ n'来正确读取文件，因为Windows程序通常使用两个字符作为行终止符。某些程序（如写字板）在编写文件时可能会使用\ r作为行终止符。要读取此类文件，请使用LINES TERMINATED BY'\ r'。

大的mysql插入语句

1 个答案: