Apache2 fájlméret korlát?

[quote:dfd865cd09="lacika"]

Nagy fileok letöltésére scp vagy ftp javallott.

Az 1.3 -asnál a wget elkezdi tölteni, csak éppen a fájl méretét adja vissza rosszul, és így ha megszakítom a kapcsolatot és később folytatni akarom, akkor nem tudja. A 2.x -es nél meg ugyan ez a hiba ha wgettel próbálom. De mindjárt megnézem a forrásban, ahogy azt Bra javasolta.
De kezd egy picit "betelni" a pohárka. Erősen kacsingatok a freebsd felé. Persze nem ezért. Megvárom az újabb releaset, tesztelem, és ha mindent gond nélkül át tudok implementálni a mostani rendszerről, akkor szerintem váltás lesz (ha meg nem tudom, akkor úgy is én vagyok a béna).

Nos, akkor az idezetben szereplo idezetre valaszolva kijelenthetjuk, hogy marhasag, en orakat (!) toltom ugyanazt a filet, megsem szakad meg a kapcsolat. Apache 1.3. A timeout a kiszolgalas megkezdesere vonatkozhat, nem a kiszolgalas idotartamara. Kivetel lehet a php, de az sem az Apache miatt, hanem a php interpreter adja fel az eloirt timeout utan a vegrehajtast.

Az idezetre pedig...
Ha FreeBSD-n is apache-val fogod kiszolgalni a HTTP requesteket, akkor kb olyan, mintha a gumik minosege miatt lecsereltetned az autod, de ratetetned az uj autodra a regi abroncsokat.
1.3 alatt 32 biten van abrazolva a filemeret, amibol ha az 1 bitnyi elojelet levonjuk, kiderul, hogy a max filemeret amit ebben a rendszerben ki lehet szolgalni, az 2147483648 byte (=2048Mib-1byte) Lehet orulni, FreeBSD-n is igy lesz.

Ha nem akarsz forditani, akkor man split

[quote:35ded01b82="asd"][quote:35ded01b82="lacika"]

Nagy fileok letöltésére scp vagy ftp javallott.

Az 1.3 -asnál a wget elkezdi tölteni, csak éppen a fájl méretét adja vissza rosszul, és így ha megszakítom a kapcsolatot és később folytatni akarom, akkor nem tudja. A 2.x -es nél meg ugyan ez a hiba ha wgettel próbálom. De mindjárt megnézem a forrásban, ahogy azt Bra javasolta.
De kezd egy picit "betelni" a pohárka. Erősen kacsingatok a freebsd felé. Persze nem ezért. Megvárom az újabb releaset, tesztelem, és ha mindent gond nélkül át tudok implementálni a mostani rendszerről, akkor szerintem váltás lesz (ha meg nem tudom, akkor úgy is én vagyok a béna).

Nos, akkor az idezetben szereplo idezetre valaszolva kijelenthetjuk, hogy marhasag, en orakat (!) toltom ugyanazt a filet, megsem szakad meg a kapcsolat. Apache 1.3. A timeout a kiszolgalas megkezdesere vonatkozhat, nem a kiszolgalas idotartamara. Kivetel lehet a php, de az sem az Apache miatt, hanem a php interpreter adja fel az eloirt timeout utan a vegrehajtast.

Az idezetre pedig...
Ha FreeBSD-n is apache-val fogod kiszolgalni a HTTP requesteket, akkor kb olyan, mintha a gumik minosege miatt lecsereltetned az autod, de ratetetned az uj autodra a regi abroncsokat.
1.3 alatt 32 biten van abrazolva a filemeret, amibol ha az 1 bitnyi elojelet levonjuk, kiderul, hogy a max filemeret amit ebben a rendszerben ki lehet szolgalni, az 2147483648 byte (=2048Mib-1byte) Lehet orulni, FreeBSD-n is igy lesz.

Ha nem akarsz forditani, akkor man split

Nem azt írtam, hogy 1.3 -as alatt megszakad wgetnél a dolog, hanem azt ha esetleg én szakítom meg, mert lekapcsolom a gépet v. elmegy a net stb...., akkor enm tudja folytatni.
Azzal is tisztában vagyok, hogy 32 biten mekkora számot lehet ábrázolni. De ahogy írtam nem emiatt gondolkodok a FreeBSD -re váltáson. Akkor valószínű új vas is kerülne a szoftver alá, ami 64bites arch lenne és ezzel ez a rész meg is oldódna. De köszi szépen a hozzászólást.

[quote:76d45c2140="asd"][quote:76d45c2140="lacika"]

Nagy fileok letöltésére scp vagy ftp javallott.

Az 1.3 -asnál a wget elkezdi tölteni, csak éppen a fájl méretét adja vissza rosszul, és így ha megszakítom a kapcsolatot és később folytatni akarom, akkor nem tudja. A 2.x -es nél meg ugyan ez a hiba ha wgettel próbálom. De mindjárt megnézem a forrásban, ahogy azt Bra javasolta.
De kezd egy picit "betelni" a pohárka. Erősen kacsingatok a freebsd felé. Persze nem ezért. Megvárom az újabb releaset, tesztelem, és ha mindent gond nélkül át tudok implementálni a mostani rendszerről, akkor szerintem váltás lesz (ha meg nem tudom, akkor úgy is én vagyok a béna).

Nos, akkor az idezetben szereplo idezetre valaszolva kijelenthetjuk, hogy marhasag, en orakat (!) toltom ugyanazt a filet, megsem szakad meg a kapcsolat. Apache 1.3. A timeout a kiszolgalas megkezdesere vonatkozhat, nem a kiszolgalas idotartamara. Kivetel lehet a php, de az sem az Apache miatt, hanem a php interpreter adja fel az eloirt timeout utan a vegrehajtast.

Az idezetre pedig...
Ha FreeBSD-n is apache-val fogod kiszolgalni a HTTP requesteket, akkor kb olyan, mintha a gumik minosege miatt lecsereltetned az autod, de ratetetned az uj autodra a regi abroncsokat.
1.3 alatt 32 biten van abrazolva a filemeret, amibol ha az 1 bitnyi elojelet levonjuk, kiderul, hogy a max filemeret amit ebben a rendszerben ki lehet szolgalni, az 2147483648 byte (=2048Mib-1byte) Lehet orulni, FreeBSD-n is igy lesz.

Ha nem akarsz forditani, akkor man split

Apache2-ről volt szó, ahol ilyen probléma nincs:
http://people.fsn.hu/~bra/tmp/

[quote:f3560d763e="Dwokfur"][quote:f3560d763e="bra"][quote:f3560d763e="asd"][quote:f3560d763e="lacika"]

Nagy fileok letöltésére scp vagy ftp javallott.

Az 1.3 -asnál a wget elkezdi tölteni, csak éppen a fájl méretét adja vissza rosszul, és így ha megszakítom a kapcsolatot és később folytatni akarom, akkor nem tudja. A 2.x -es nél meg ugyan ez a hiba ha wgettel próbálom. De mindjárt megnézem a forrásban, ahogy azt Bra javasolta.
De kezd egy picit "betelni" a pohárka. Erősen kacsingatok a freebsd felé. Persze nem ezért. Megvárom az újabb releaset, tesztelem, és ha mindent gond nélkül át tudok implementálni a mostani rendszerről, akkor szerintem váltás lesz (ha meg nem tudom, akkor úgy is én vagyok a béna).

Nos, akkor az idezetben szereplo idezetre valaszolva kijelenthetjuk, hogy marhasag, en orakat (!) toltom ugyanazt a filet, megsem szakad meg a kapcsolat. Apache 1.3. A timeout a kiszolgalas megkezdesere vonatkozhat, nem a kiszolgalas idotartamara. Kivetel lehet a php, de az sem az Apache miatt, hanem a php interpreter adja fel az eloirt timeout utan a vegrehajtast.

Az idezetre pedig...
Ha FreeBSD-n is apache-val fogod kiszolgalni a HTTP requesteket, akkor kb olyan, mintha a gumik minosege miatt lecsereltetned az autod, de ratetetned az uj autodra a regi abroncsokat.
1.3 alatt 32 biten van abrazolva a filemeret, amibol ha az 1 bitnyi elojelet levonjuk, kiderul, hogy a max filemeret amit ebben a rendszerben ki lehet szolgalni, az 2147483648 byte (=2048Mib-1byte) Lehet orulni, FreeBSD-n is igy lesz.

Ha nem akarsz forditani, akkor man split

Apache2-ről volt szó, ahol ilyen probléma nincs:
http://people.fsn.hu/~bra/tmp/

1. Kíváncsi lennék rá, hogy 100T-val működik-e? :wink: :wink: :wink:
2. Indexet mindenki tud csinálni. :wink: :wink: :wink:
:wink: :wink: :wink:

Üdv,
Dw.

Igen, működött 100T-val is. Bár most, hogy ránéztem a gépre és frissítettem 2.0.55-re, már annyira nem tűnik jónak, mivel a letöltés nem igazán megy.
Az 54-essel még jó volt.
Nem apache-ot kell használni statikus fájlok kiszolgálására...
A prefork módszere erre a fajta terhelésre amúgy is használhatatlan.

Az indexet az apache csinálta, a fájlok ott vannak (sparse fájlok):
-rw-r--r-- 1 bra bra 1099511627777 Nov 2 19:50 1T
-rw-r--r-- 1 bra bra 4294967297 Nov 2 19:46 4G
-rw-r--r-- 1 bra bra 8589934593 Nov 2 19:46 8G

128 TB-nál nagyobbat nem tudok létrehozni ezen a szegény Pentium 2-esen, holott elméletileg valamilyen PB-os korlát van UFS2-re. Mindegy, egyelőre nem izgat. :)

[quote:261394a281="Dwokfur"]Gépen apache2 tök jól működik.
Most egy 2.9Gb-os dvd iso-t (ubuntu) próbáltam kirakni webre (másnak segítés céljából - a cégén belül se ftp, se torrent nem megy). A jogosultságok rendben voltak. Se a user www könyvtárba, sem a www root-ba téve nem volt látható a fájl. Az autoindex üresnek mutatta a könyvtárat.

Lehet, hogy átsiklottam felette, de a doksiban az autoindex-szel kapcsolatban nem találtam fájlméret korláttal kapcsolatos beállítást.

Van valakinek ilyen irányú tapasztalata?

Üdv,
Dw.

Csak a 2.1.x apache (ami béta és a 2.2 -esben lesznek benne: http://httpd.apache.org/docs/2.1/new_features_2_2.html ) tudja a 2GB-nél nagyobb fájlokat kezelni. Ezzel szívtam múltkor én is, nem is olyan rég.

Laci

[quote:bdea0c9fcb="lacika"][quote:bdea0c9fcb="Dwokfur"]Gépen apache2 tök jól működik.
Most egy 2.9Gb-os dvd iso-t (ubuntu) próbáltam kirakni webre (másnak segítés céljából - a cégén belül se ftp, se torrent nem megy). A jogosultságok rendben voltak. Se a user www könyvtárba, sem a www root-ba téve nem volt látható a fájl. Az autoindex üresnek mutatta a könyvtárat.

Lehet, hogy átsiklottam felette, de a doksiban az autoindex-szel kapcsolatban nem találtam fájlméret korláttal kapcsolatos beállítást.

Van valakinek ilyen irányú tapasztalata?

Üdv,
Dw.

Csak a 2.1.x apache (ami béta és a 2.2 -esben lesznek benne: http://httpd.apache.org/docs/2.1/new_features_2_2.html ) tudja a 2GB-nél nagyobb fájlokat kezelni. Ezzel szívtam múltkor én is, nem is olyan rég.

Laci

Én épp most csináltam egy 128TB-os fájlt és rendesen mutatta a 2.0-ás is...

[quote:182e70c940="bra"][quote:182e70c940="lacika"][quote:182e70c940="Dwokfur"]Gépen apache2 tök jól működik.
Most egy 2.9Gb-os dvd iso-t (ubuntu) próbáltam kirakni webre (másnak segítés céljából - a cégén belül se ftp, se torrent nem megy). A jogosultságok rendben voltak. Se a user www könyvtárba, sem a www root-ba téve nem volt látható a fájl. Az autoindex üresnek mutatta a könyvtárat.

Lehet, hogy átsiklottam felette, de a doksiban az autoindex-szel kapcsolatban nem találtam fájlméret korláttal kapcsolatos beállítást.

Van valakinek ilyen irányú tapasztalata?

Üdv,
Dw.

Csak a 2.1.x apache (ami béta és a 2.2 -esben lesznek benne: http://httpd.apache.org/docs/2.1/new_features_2_2.html ) tudja a 2GB-nél nagyobb fájlokat kezelni. Ezzel szívtam múltkor én is, nem is olyan rég.

Laci

Én épp most csináltam egy 128TB-os fájlt és rendesen mutatta a 2.0-ás is...

Ez jó, de a leírásban az van, amit olvashatunk ....
Esetleg volt valami "trükk"? Vagy csak én siklottam el valami felett? Esetleg valamelyik apache modul kellene hozzá?

Laci

Bra,

Meg is találtam az apache2 error.log -jában az idevágó bejegyzést:
(75)Value too large for defined data type: access to /os/suse10_64_dvd/SUSE-10.0-EvalDVD-x86_64-GM.iso failed, referer: http://10.0.0.254:8080/

Te hogy csináltad meg?

[quote:9f5f0cd4e6="lacika"][quote:9f5f0cd4e6="bra"][quote:9f5f0cd4e6="lacika"][quote:9f5f0cd4e6="Dwokfur"]Gépen apache2 tök jól működik.
Most egy 2.9Gb-os dvd iso-t (ubuntu) próbáltam kirakni webre (másnak segítés céljából - a cégén belül se ftp, se torrent nem megy). A jogosultságok rendben voltak. Se a user www könyvtárba, sem a www root-ba téve nem volt látható a fájl. Az autoindex üresnek mutatta a könyvtárat.

Lehet, hogy átsiklottam felette, de a doksiban az autoindex-szel kapcsolatban nem találtam fájlméret korláttal kapcsolatos beállítást.

Van valakinek ilyen irányú tapasztalata?

Üdv,
Dw.

Csak a 2.1.x apache (ami béta és a 2.2 -esben lesznek benne: http://httpd.apache.org/docs/2.1/new_features_2_2.html ) tudja a 2GB-nél nagyobb fájlokat kezelni. Ezzel szívtam múltkor én is, nem is olyan rég.

Laci

Én épp most csináltam egy 128TB-os fájlt és rendesen mutatta a 2.0-ás is...

Ez jó, de a leírásban az van, amit olvashatunk ....
Esetleg volt valami "trükk"? Vagy csak én siklottam el valami felett? Esetleg valamelyik apache modul kellene hozzá?

Laci

"httpd is now built with support for files larger than 2GB on modern 32-bit Unix systems. Support for handling >2GB request bodies has also been added."

Szerintem itt arról van szó, hogy eddig azokon a 32 bites rendszereken, ahol mindenféle hack kell a "nagy" fájlok kezeléséhez ez a feature alapból nem volt engedélyezve, most pedig igen.

Ezek a "modern" Unixok azok, amelyek úgynevezett átmeneti API-kkal segítik a 32-64 bites váltást, a régi módszerek változatlanul hagyása mellett. Egy példa a Solaris, de a Linux is ilyen.

Ha van modern, van nem modern is. Egy "régi" Unix, a FreeBSD, amely tizenx éve 64 bites ebből a szempontból pedig a "just works" kategória. Itt ahelyett, hogy ezt az átmeneti API-t választották volna, szinte a kezdetektől 64 bites az off_t.

Én leginkább FreeBSD-zek, így a linuxos-solarisos "large file" nyűgöket sosem tapasztaltam, legfeljebb gagyi programoknál, amelyeket alapvetően Linuxon felnőtt "programozó" írt. :)

A második rész pedig teljesen másról szól.

az, hogy nem látszik, még nem jelenti azt, hogy nem elérhető.
ha bemásolod a DocomentRoot-ba, mondjuk a.iso néven, akkor próbáld meg
leszedni wgettel
wget http://myhost.hu/a.iso ha a wget megtalálja, akkor ezzel nincs baj.
A nagyobbik baj az, hogy az Apache-nak van egy timeoutja, defaultban 30 sec. Ha ennyi idő alatt nem sikerül kiszolgálni a kérést, bontja a socketet.

Nagy fileok letöltésére scp vagy ftp javallott.

[quote:478104d3d8="lacika"]Bra,

Meg is találtam az apache2 error.log -jában az idevágó bejegyzést:
(75)Value too large for defined data type: access to /os/suse10_64_dvd/SUSE-10.0-EvalDVD-x86_64-GM.iso failed, referer: http://10.0.0.254:8080/

Te hogy csináltad meg?

"Nem modern" Unixot használok és engem az ilyen problémák alapból nem érintenek. :)

Így jártál a modern Unix klónoddal. :twisted:

Most hogy erről beszélünk rájöttem, hogy sosem néztem meg, hogy az apache támogatja-e Solaris/Linux utat a 64 bites világba, de kizártnak tartom, hogy ne így legyen.

Valószínűleg ha rákeresel a forrásban a LARGEFILE-ra, lesz találat (ezért most nem fogok letölteni egy forrást), utána pedig csak újra kell fordítani.

[quote:34ab8cfceb="edaile"]az, hogy nem látszik, még nem jelenti azt, hogy nem elérhető.
ha bemásolod a DocomentRoot-ba, mondjuk a.iso néven, akkor próbáld meg
leszedni wgettel
wget http://myhost.hu/a.iso ha a wget megtalálja, akkor ezzel nincs baj.
A nagyobbik baj az, hogy az Apache-nak van egy timeoutja, defaultban 30 sec. Ha ennyi idő alatt nem sikerül kiszolgálni a kérést, bontja a socketet.

Nagy fileok letöltésére scp vagy ftp javallott.

Az 1.3 -asnál a wget elkezdi tölteni, csak éppen a fájl méretét adja vissza rosszul, és így ha megszakítom a kapcsolatot és később folytatni akarom, akkor nem tudja. A 2.x -es nél meg ugyan ez a hiba ha wgettel próbálom. De mindjárt megnézem a forrásban, ahogy azt Bra javasolta.
De kezd egy picit "betelni" a pohárka. Erősen kacsingatok a freebsd felé. Persze nem ezért. Megvárom az újabb releaset, tesztelem, és ha mindent gond nélkül át tudok implementálni a mostani rendszerről, akkor szerintem váltás lesz (ha meg nem tudom, akkor úgy is én vagyok a béna).