[megoldva] mysql -> xlsx (2 millió sor)

Ha van valami programozási gyakorlat, akkor ezzel szerintem tudsz ilyet generálni egyszerűen: http://phpexcel.codeplex.com/
Biztos van egyszerűbb is, de hátha nem.
Szerk.:
"Phpmyadminban az "export csv"-t az ékezetek miatt nem jól veszi be az excel, - csak az openoffice, viszont az nem tud xlsx-re konvertálni."
- De xls-be kéne neki tudni és azt a 2007-es Office meg tudja xlsx-be menteni.

nem eleg ha atkonvertalod az exportalt csv-t excel-nek megfelelo kodolasra (asszem utf16 kell neki)?

Próbáld inkább xml -be exportálni, a mysql client tud ilyent, a phpmyadmin is (tudtommal), és ha a felhasználást sem akarod lehetetlenné tenni akkor id, dátum, akármi logika alapján darabold ~25000 sor méretűre a kimenetet.

----
올드보이
http://molnaristvan.eu/

pedig a csv, majd excel200x-ben save as xlsx a megoldás... az xlsx bonyolultabb formátum mint az xls, pedig az utóbbi bináris konténer...
phpmyadminban próbáld azt, hogy minden mező köré "-t rakatsz, ezt lehet hogy hexában kell megadnod ha nem megy és utf16-ban, ahogy fentebb említették.
Ha nem megy, holnap rápróbálok melóból.
Esetleg load data outfile, majd sed.
--
"SzAM-7 -es, tudjátok amivel a Mirage-okat szokták lelőni" - Robi.

Excel cvs importban állítsd be a kódolást talán. (Adatok -> Szövegből -> megnyitod -> itt beállítod a kódolást)

--
Don't be an Ubuntard!

> az "export csv"-t az ékezetek miatt nem jól veszi be az excel

nyitsz egy üres táblát, aztán excelben Data -> Import external data, és ott szépen be tudod nyalni a csv-t tetszőleges karakterkódolással. (az office2007/2010-ben nyilván valahol eldugták a ribbonon ezt a funkciót, de gondolom ugyanúgy meg lehet csinálni, mint a "rendes" excelben)

Végigfutottam a 2007-es Excel sorain, de 1048576 volt az utolsó érték. Ez messze van a 2 milliótól, amit a címben említesz.

A legegyszerűbb megoldás: generáltass egy HTML táblázatot, csak ez legyen a fileban, és nevezd áz .XLS-re. Az Excel meg fogja nyitni, onnan meg mentsd el xlsx-ként. Az egyik leghasznosabb Excel-hack :)

Nem fog menni, régi Excel 65536 sort támogat, új ~1M-t.

----------------
Lvl86 Troll

Jó gondolat lehet a csv, főleg ha tabszeparáltan készíted az exportot (átláthatóbb lesz). A feldarabolás kihagyhatatlan feladat 2 x 1.000.000 soros csv fájlokra. Többen javasolták a "daraboló" scriptet, fogadd meg. ;) Viszont ...

* (Phpmyadminban az "export csv"-t az ékezetek miatt nem jól veszi be az excel, - csak az openoffice, viszont az nem tud xlsx-re konvertálni.)

Feltételezem UTF8-ban van a MySQL adatbázisod és az exportált fájl is. Így ha megnyitáskor beállítod a karakter kódolást utf8-ra, akkor nem lehet vele gond. Másik dolog, hogy eddigi tapasztalataim alapján az MS Office Excel sosem tudta a csv-t feldolgozni normálisan, ha ;-vel van szeparálva a fájl, nagyon enyhén kifejezve tudatlan hozzá. A megoldás, a csv kiterjesztést átírod txt-re, majd azt megnyitod Excelben és felkínálja, hogy válaszd ki mivel van szeparálva a fájlod. Utána mentheted a megnyitott fájlokat .xlsx-be vagy amibe szükséges.

2 millió sort nem táblázatkezelőben, hanem adatbázisban tartunk, az való arra. onnantól kezdve, hogy legalább kettő részre szét kell cincálni a listát, már elvész az értelme a számolótáblának, hiszen szűrni, számoltatni a teljes adathalmazon nem fog tudni, hiszen fele itt, a másik fele meg amott lesz, de performanciában (pl. rendezés) is eléggé gyengén fog muzsikálni.

Csak úgy: Mit kezdenétek egy 2 millió soros xls-el?

Ha csak diagramok, statisztikák készítéséhez kell az egész művelet, akkor inkább adatbázisból kérdezd le a szükséges adatokat, és a kapott eredményt tedd át Excel-be. Szerintem ez lenne a legegyszerűbb, persze ha nincs valami kizáró oka...

amire nagyjabol szukseged van:

http://sourceforge.net/projects/mysql-python/

http://packages.python.org/openpyxl/

eddig nekem ez a kombinacio mukodott a legjobban.

OpenBSD 4.7/i386 theo for the prezident:D

egyebkent pedig, ha valami komolyabb
Business intelligence (BI) moka a cel akkor:

http://www.r-project.org/

OpenBSD 4.7/i386 theo for the prezident:D

Az én két centem (amellett, hogy egyetértek azokkal, akik szerint eleve őrültség millió sort akármilyen excelben tartani):

Én perlben csinálnám. A MySQL részére a dolognak ott van a DBI, ami bejáratott és jól dokumentált dolog, az XLSX-re pedig az Excel::Writer::XLSX, ami ugyan új, de aktívan fejlesztett és nagyrészt működik. A kettő között pedig ízlés szerint lehet a karakter-kódolást kijavítani (az Encode::* modulokkal például).

Majd arról is számolj be, hogy hogyan tudják használni ezt a buznyák nagy számolólepedőt :-)

nehany tipp: phpmyadmin csv gyartasnal mindenfele okos stringmuveletet csinal, ami meglepoen le tudja lassitani az exportot.
excel-t ugy lehet ravenni hogy egy CSV-t utf-8 encodinggal nyissa meg, hogy beszursz a csv export elejere egy BOM-ot.
anno nekem a realtime generalt csv-knel a kovetkezo php kod megoldotta hogy a letoltott fajlt az Excel megnyissa, es megfelelo encodinggal tegye:

header("Content-type: application/vnd.ms-excel");
header("Content-disposition:  attachment; filename=multi_headword.csv");
// BOM
echo chr(239).chr(187).chr(191);

ezutan jottek a sorok, oszlopok " kozott, ;-vel elvalasztva.

ahogy fentebb javasoltak mysqldump is tud csv-be menteni, de kozvetlenul hasznalhatod a SELECT ... INTO OUTFILE szintakszist is.
az export_options reszben megadhatod hogyan legyenek elvalasztva a sorok es az oszlopok.

ez lenne a leggyorsabb megoldas, utana mar csak egy BOM-ot kellene beszurnod, ha jol emlekszem, es szepen UTF-8-al nyitna az excel.

ps: uhh, igen az 50k-s sorlimitet elfelejtettem. :/
ps2: erdemes lehet megnezni a kovetkezo 2 libet, ha jol emlekszem a topicnyito otthon van a PHP-ben:
https://github.com/iliaal/php_excel fizetos libxl libre PHP wrapper
http://phpexcel.codeplex.com/

Tyrael