Squid kérdés

Üdv,

A fent említett dolog rendesen működik, de az egyik proxy access.log -jában ezeket a sorokat találom az esetek 99% -ban:
1091190783.008 525 10.0.0.20 TCP_MISS/200 23765 GET http://www.hup.hu/ - DIRECT/195.56.65.206 text/html

És így a HDD-re egy grammot sem cachel, csak a memóriába. És ha az megtelik, akkor sem írja ki a HDDre, hanem törli a memóriából a megfelelő policy alapján. Miért lehet ez?

Laci

[quote:0fc6d8c98c="polgar79"]

# OPTIONS WHICH AFFECT THE CACHE SIZE
# -----------------------------------------------------------------------------
cache_mem 32 MB

# TAG: cache_dir
# Usage:
#
# cache_dir Directory-Name Mbytes Level-1 Level2
#cache_dir /var/spool/squid 800 16 256
cache_dir ufs /var/cache/squid 100 16 256

# ACCESS CONTROLS
# -----------------------------------------------------------------------------

# TAG: acl
# Defining an Access List

#Defaults:
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl SSL_ports port 443 563
acl Safe_ports port 80 21 23 443 563 70 210 1025-65535
acl purge method PURGE
acl CONNECT method CONNECT

# Sajat szabalyok

acl localnet src 1.2.3.4/25
acl privatnet src 192.168.0.1/24

acl freemail dstdomain freemail.hu

acl erotica url_regex erotica sex

acl worktime time 8:00-12:00

# TAG: http_access
# Allowing or Denying access based on defined access lists
#Default configuration:
http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
#
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS
#
http_access deny freemail
http_access deny erotica
http_access deny !worktime
http_access allow localnet
http_access deny privatnet

http_access deny all

# TAG: icp_access
# Reply to all ICP queries we receive
#
icp_access allow all

elvileg ez a full squid.conf de nem működik

Ha ez a full squid.conf akkor itt valami baj van. Ugyan is ez nagyon hiányos. Ez az egész fájl, vagy csak egy részlet?
Ha jó látom akkor a freemail.hu -t és az erotica sex szavakat tartalmazó urleket akarod korlátozni. A munkaido acl -t érdemes legelőre tenni, hogy ha nem esik bele az adott intervallumba a kérés, akkor ne is nézze a többi szabályt. A freemail acl javítanám erre:
acl freemail dstdomain .freemail.hu
FOINTOS a 'pont' a freemail.hu előtt. Mert ha nincs ott, akkor ha valaki www.freemail.hu URL-t próbál azt nem fogja tiltani.
A localnet acl biztos így jó? 255.255.255.0 a netmask, mert akkor inkább próbáld így:
acl localnet 1.2.3.4/255.255.255.0

A nem működik mit jelent pontosabban? A Squid el sem indul? Nézd meg az fuser 3128/tcp parancs ad vissza pid -et (ha 3128 porton figyel a Squid)? Mert ha nem akkor el sem indul a proxyd. Nézd meg a /var/cache/squid könyvtár jogosultságát! A tulajdonos és a csoport tulajdonos is a cache_effective_user után szereplő felhasználó legyen!
A /var/cache/squid könyvtár alatt létre van hozva a squid cache könyvtárszerkezete? Ha nem akkor squid -z -vel létre tudod hozni.
Egyelőre ennyi.

Laci

A helyzet változatlan. A Squid store.log fájljában látom a következőket:
SO_FAIL -1 FFFFFFFF ........
A www.squid-cache.org FAQját olvasgatva nem találtam mi lehet az SO_FAIL
Én tippelnék a swap out fail rövidítésre, ami azt jelentené, hogy nem tudta kiírni a lemezre az adott objektunot. A proxy transparentként működik ha ez számít valamit. De a hiba okát, hogy miért nem írj ki a lemezre, azt nem találtam. A swap csere policy -je lru ahogy a memória üritési policy -je is lru. Hol keressem a hibát? Még egy darab a konfigból:
cache_dir ufs /usr/local/squid/var/cache 200 24 256

Ezzel lenne a gubanc, bár nem hinném? Ha kellene még bejegyzés a konfigomból, szóljatok.

Laci

Az egyszerűség kevéért itt a teljes squid.conf:

http_port 0.0.0.0:3128
icp_port 3130
udp_incoming_address 0.0.0.0
udp_outgoing_address 255.255.255.255
icp_query_timeout 0
maximum_icp_query_timeout 2000
mcast_icp_query_timeout 2000
dead_peer_timeout 10 seconds
hierarchy_stoplist cgi-bin
hierarchy_stoplist ?
no_cache Deny QUERY
no_cache Deny nincs_cache
cache_mem 67108864 bytes
cache_swap_low 90
cache_swap_high 95
maximum_object_size 4194304 bytes
minimum_object_size 1024 bytes
maximum_object_size_in_memory 32768 bytes
ipcache_size 1024
ipcache_low 90
ipcache_high 95
fqdncache_size 1024
cache_replacement_policy lru
memory_replacement_policy heap lru
cache_dir ufs /usr/local/squid/var/cache 200 24 256
cache_access_log /usr/local/squid/var/logs/access.log
cache_log /usr/local/squid/var/logs/cache.log
cache_store_log /usr/local/squid/var/logs/store.log
emulate_httpd_log off
log_ip_on_direct on
mime_table /usr/local/squid/etc/mime.conf
log_mime_hdrs off
pid_filename /usr/local/squid/var/logs/squid.pid
debug_options ALL,1
log_fqdn off
client_netmask 255.255.255.255
ftp_user Squid@
ftp_list_width 32
ftp_passive on
ftp_sanitycheck on
ftp_telnet_protocol on
dns_retransmit_interval 5 seconds
dns_timeout 120 seconds
dns_nameservers 195.56.65.206
hosts_file /etc/hosts
diskd_program /usr/local/squid/libexec/diskd
unlinkd_program /usr/local/squid/libexec/unlinkd
pinger_program /usr/local/squid/libexec/pinger
redirect_children 5
redirect_rewrites_host_header off
auth_param basic
auth_param basic realm Squid proxy-caching web server
auth_param basic children 5
auth_param basic credentialsttl 7200 seconds
authenticate_cache_garbage_interval 3600 seconds
authenticate_ttl 3600 seconds
authenticate_ip_ttl 0 seconds
wais_relay_port 0
request_header_max_size 10240 bytes
request_body_max_size 0 bytes
refresh_pattern ^ftp: 1440 20% 10080

refresh_pattern ^gopher: 1440 0% 1440

refresh_pattern . 0 20% 4320

quick_abort_min 16 KB
quick_abort_max 16 KB
quick_abort_pct 95
negative_ttl 60 seconds
positive_dns_ttl 120 seconds
negative_dns_ttl 60 seconds
range_offset_limit 0 bytes
forward_timeout 240 seconds
connect_timeout 60 seconds
peer_connect_timeout 30 seconds
read_timeout 900 seconds
request_timeout 300 seconds
persistent_request_timeout 60 seconds
client_lifetime 86400 seconds
half_closed_clients on
pconn_timeout 120 seconds
ident_timeout 10 seconds
shutdown_lifetime 30 seconds
acl QUERY urlpath_regex cgi-bin
acl QUERY urlpath_regex \?
acl PURGE method PURGE
acl nincs_cache dstdomain .tradescotours.com
acl nincs_cache dstdomain .itm.hu
acl localnet src 10.0.0.0/255.255.255.0
acl lacika src 10.0.0.20
acl lacika src 10.0.0.120
acl debian src 10.0.0.222
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1
acl to_localhost dst 127.0.0.0/255.0.0.0
acl SSL_ports port 443
acl SSL_ports port 563
acl Safe_ports port 80
acl Safe_ports port 21
acl Safe_ports port 443
acl Safe_ports port 563
acl Safe_ports port 70
acl Safe_ports port 210
acl Safe_ports port 1025-65535
acl Safe_ports port 280
acl Safe_ports port 488
acl Safe_ports port 591
acl Safe_ports port 777
acl CONNECT method CONNECT
acl magic_words1 url_regex 10.0.0
acl magic_words2 url_regex ftp
acl magic_words2 url_regex .exe
acl magic_words2 url_regex .zip
acl magic_words2 url_regex .mp3
acl magic_words2 url_regex .wav
acl magic_words2 url_regex .rar
acl magic_words2 url_regex .iso
acl magic_words2 url_regex .tar.gz
acl magic_words2 url_regex .tar.bz2
acl magic_words2 url_regex .avi
acl magic_words2 url_regex .mpg
acl magic_words2 url_regex .mpeg
acl magic_words2 url_regex .mov
acl magic_words2 url_regex .wmv
acl magic_words2 url_regex .wma
acl day time SMTWHFA 08:00-16:30
http_access Allow PURGE localhost
http_access Deny PURGE
http_access Allow manager localhost
http_access Deny manager
http_access Deny !Safe_ports
http_access Deny CONNECT !SSL_ports
http_access Allow localnet
http_access Deny all
http_reply_access Allow all
icp_access Allow all
ident_lookup_access Deny all
reply_body_max_size 0 Allow all
cache_mgr laszlo.laszlo@itm.hu
cache_effective_user squid
cache_effective_group squid
visible_hostname proxy.itm.hu
announce_period 31536000 seconds
announce_host tracker.ircache.net
announce_port 3131
httpd_accel_host virtual
httpd_accel_port 80
httpd_accel_single_host off
httpd_accel_with_proxy on
httpd_accel_uses_host_header on
dns_testnames netscape.com
dns_testnames internic.net
dns_testnames nlanr.net
dns_testnames microsoft.com
logfile_rotate 7
tcp_recv_bufsize 0 bytes
err_html_text
memory_pools on
memory_pools_limit 0 bytes
forwarded_for on
log_icp_queries off
icp_hit_stale off
minimum_direct_hops 4
minimum_direct_rtt 400
cachemgr_passwd XXXXXXXXXX all
store_avg_object_size 50 KB
store_objects_per_bucket 20
client_db on
netdb_low 900
netdb_high 1000
netdb_ping_period 300 seconds
query_icmp off
test_reachability off
buffered_logs on
icon_directory /usr/local/squid/share/icons
short_icon_urls off
error_directory /usr/local/squid/share/errors/Hungarian
maximum_single_addr_tries 1
snmp_port 3401
snmp_access Deny all
snmp_incoming_address 0.0.0.0
snmp_outgoing_address 255.255.255.255
as_whois_server whois.ra.net
wccp_router 0.0.0.0
wccp_version 4
wccp_incoming_address 0.0.0.0
wccp_outgoing_address 255.255.255.255
delay_pools 2
delay_class 1 2
delay_access 1 Allow magic_words1
delay_parameters 1 -1/-1 -1/-1
delay_class 2 2
delay_access 2 Deny lacika
delay_access 2 Deny debian
delay_access 2 Allow day
delay_access 2 Deny !day
delay_access 2 Allow magic_words2
delay_parameters 2 20000/64000 20000/61000
delay_initial_bucket_level 50
incoming_icp_average 6
incoming_http_average 4
incoming_dns_average 4
min_icp_poll_cnt 8
min_dns_poll_cnt 8
min_http_poll_cnt 8
max_open_disk_fds 0
offline_mode off
uri_whitespace strip
nonhierarchical_direct on
prefer_direct off
strip_query_terms on
coredump_dir /usr/local/squid/var/cache
redirector_bypass off
ignore_unknown_nameservers on
client_persistent_connections on
server_persistent_connections on
detect_broken_pconn off
pipeline_prefetch off
request_entities off
high_response_time_warning 0
high_page_fault_warning 0
high_memory_warning 0 bytes
store_dir_select_algorithm least-load
ie_refresh off
vary_ignore_expire off
sleep_after_fork 0

[quote:c5bf8fa43c="norcrys"]Valamilyen konfiguráló progival csináltad ezt az érdekes konfigot?

Nem, a cachemanager.cgi adta ezt, hogy ez az aktuális konfigja a Squidnek.
De akkor itt a cat squid.conf | grep -i -v "#":

ttp_port 3128
icp_port 3130
udp_incoming_address 0.0.0.0
udp_outgoing_address 255.255.255.255
hierarchy_stoplist cgi-bin ?
acl QUERY urlpath_regex cgi-bin \?
no_cache deny QUERY
cache_mem 64 MB
maximum_object_size 4096 KB
minimum_object_size 1 KB
maximum_object_size_in_memory 32 KB
cache_replacement_policy lru
memory_replacement_policy heap lru
cache_dir ufs /usr/local/squid/var/cache 200 24 256
cache_access_log /usr/local/squid/var/logs/access.log
cache_log /usr/local/squid/var/logs/cache.log
cache_store_log /usr/local/squid/var/logs/store.log
emulate_httpd_log off
dns_nameservers 195.56.65.206
redirect_rewrites_host_header off
auth_param basic children 5
auth_param basic realm Squid proxy-caching web server
auth_param basic credentialsttl 2 hours
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320
quick_abort_min 3 KB
quick_abort_max 16 KB
quick_abort_pct 95
negative_ttl 1 minutes
positive_dns_ttl 2 minutes
acl PURGE method PURGE
acl nincs_cache dstdomain .tradescotours.com .itm.hu
no_cache deny nincs_cache
acl localnet src 10.0.0.0/255.255.255.0
acl lacika src 10.0.0.20/255.255.255.255 10.0.0.120/255.255.255.255
acl debian src 10.0.0.222/255.255.255.255
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl to_localhost dst 127.0.0.0/8
acl SSL_ports port 443 563
acl CONNECT method CONNECT
http_access allow PURGE localhost
http_access deny PURGE
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localnet
http_access deny all
http_reply_access allow all
icp_access allow all
cache_mgr laszlo.laszlo@itm.hu
cache_effective_user squid
cache_effective_group squid
visible_hostname proxy.itm.hu
httpd_accel_port 80
httpd_accel_host virtual
httpd_accel_with_proxy on
httpd_accel_uses_host_header on
logfile_rotate 7
log_icp_queries off
cachemgr_passwd SamsunG100 all
store_avg_object_size 50 KB
buffered_logs on
acl magic_words1 url_regex -i 10.0.0
acl magic_words2 url_regex -i ftp .exe .zip .mp3 .wav .rar .iso .tar.gz .tar.bz2 .avi .mpg .mpeg .mov .wmv .wma
acl day time 08:00-16:30
delay_pools 2
delay_class 1 2
delay_parameters 1 -1/-1 -1/-1
delay_access 1 allow magic_words1
delay_class 2 2
delay_parameters 2 20000/64000 20000/61000
delay_access 2 deny lacika
delay_access 2 deny debian
delay_access 2 allow day
delay_access 2 deny !day

Remélem ez már segít.

[quote:49f14f9db3="polgar79"]nem ezt már magam próbálltam a leírások alapján belőni elindul de semmi sem történik

Akkor nem csodálom, hogy nem jó, ha ennyi az egész squid.conf -od :).
Ez nagyon hiányos ám. Nézd meg hogy a disztribúciód alapból milyen konfigurációs fájlt csinál, és rá fogsz jönni, hogy mi minden hiányzik ebből a fájlból.
Egyébként az access.log vagy a cache.log fájl tartalmában mi van?

Laci

[quote:c904b187a6="hubi"]Pár éve én is szenvedtem ilyennel, de nem jöttem rá. Cask transzparens módban volt gond, de semmi használható hiba vagy log. Nálam az lett a megoldás, hogy elé tettem egy transzparens proxyt, a squid meg ment proxyként. A ZORP tökéletes ilyen célra, bar biztos van egyszerübb program is. Anno még a transparentproxy-t használtam, ha jól emlékszem...

Akkor ezek szerint a transparent proxy nem tudna cachelni lemezre? Ezt nem igazán hiszem. De most majd blevetem magam a dolgok rejtelmeibe és megírom mire jutottam. De ha addig is valakinek eszébe jut valami az írjon!

Laci

[quote:261c2552f7="pete"][code:1:261c2552f7]cache_dir ufs /usr/local/squid/var/cache 200 24 256 [/code:1:261c2552f7]
Én is futtatok suid-okat, a fenti részlet alapján én megnézném, hogy nem-e elérted már a max cache-méretet v. a könyvtár/fájl max darabszámot

Az a baj, hogy a könyvtárstruktúra teljesen üres. Egy db. fájl sincs benne. Csak annyit cachel a Squid, amennyi a memóriahasználatra vonatkozik paramétere, és ha megtelik a mamóriába cachelhető terület, akkor sem írja ki a hdd -re, hanem cseréli a megadott policy szerint.
Egyéb ötlete valakinek?

Laci

Sziasztok,

A következő a helyzet. Van egy szerver egy 100 Mbit/s internetkapcsolattal. Van több telephely, melyek ADSL -lel kapcsolódnak a netre. Mindegyik telephelyen egy Woody osztja meg a netet és mindegyiken fut egy Squid. A 100 megás gépen is fut Squid, ami NCSA hitelesítést kér. Azt akarom megoldani, hogy az ADSL végén lévő Squidek a kéréseiket a 100 megás vonalon lévő Squid felé küldjék, ha a saját cache -ükben nincs az amit a kliens kér, és persze hitelesítse is magát, mert különben a 100 megás Squid Access Deniedet ad vissza. A Squid konfigjában melyik szekcióban nézzek körül?

Laci

[quote:2c221140f0="polgar79"]valaki leírná azokat a dolgokat amit minimum be kell állítani hogy menjen a proxi/squid/Már millió helyen voltam mindent 1000 leírt beállítást megcsinálltam kipróbálltam de sehogy se tilt semmit amit akarok
köszi.
Csak a minimum kell./egyenlőre/

Arra figyelj, hogy az acl -eket milyen sorrendben engedélyezed és tiltod. Célszerű először a tiltásokat definiálni és utánna engedni a proxy használatát a belső hálónak illetve a saját gépnek.

Laci

[quote:d2a384be93="polgar79"]igen de van egy alap config amit lelepít.Azon miket kell műódosítanom hogy tiltani tudjak

Lesz egy ilyen rész a squid.conf -ban:
# TAG: http_access
majd egy pár sorral lejebb:
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS

Ide kell felsorolnod a saját szabályidat. Pl.:
acl all src 0.0.0.0/0
acl belsohalo src 10.0.0.0/24
acl localhost src 127.0.0.1/32
acl tiltott_oldal dstdomain .tiltottoldal.com .tiltottoldal2.hu
acl tiltott_gep src 10.0.0.20/32
http_access deny tiltott_oldal
http_access deny tiltott_gep
http_access allow localhost
http_access allow belsohalo
http_access deny all

Jelen beállítás szerint a tiltott_oldal acl sorban felsorolt domaineket tiltja, és a 10.0.0.20 -as ip-jű gépet is tiltja. Majd engedi a helyi gépet és a belső hálózat többi tagját és végül tilt minden más IPről érkező kérést.
De ezt olvastad már? http://squid.visolve.com/squid/squid24s1/access_controls.htm#acl
Érdemes!

Laci

[quote:ad8117d32a="polgar79"]leállításkor ez van

Shutting down WWW-proxy squid 2005/06/17 20:59:43| WARNING: '0.0.0.0/0.0.0.0' is a subnetwork of '0.0.0.0/0.0.0.0'
2005/06/17 20:59:43| WARNING: because of this '0.0.0.0/0.0.0.0' is ignored to keep splay tree searching predictable
2005/06/17 20:59:43| WARNING: You should probably remove '0.0.0.0/0.0.0.0' from the ACL named 'all'
2005/06/17 20:59:43| WARNING: '127.0.0.1' is a subnetwork of '127.0.0.1'
2005/06/17 20:59:43| WARNING: because of this '127.0.0.1' is ignored to keep splay tree searching predictable
2005/06/17 20:59:43| WARNING: You should probably remove '127.0.0.1' from the ACL named 'localhost'
2005/06/17 20:59:43| aclParseIpData: WARNING: Netmask masks away part of the specified IP in '192.168.0.1/24'
..done

Ötlet: küld be ide a fórumra a jelenlegi squid.conf fájlod tartalmát, és vázold röviden, hogy mit szeretnél korlátozni, mi a belső hálózat IP tartománya, és akkor biztos tudok segíteni.

Laci

[quote:e7c8baa902="congo"]cache_peer :wink:

Köszi! Megvan, sikerült, jól működik :)

Laci