Ma is tanultam valamit

Leginkább ilyen ötletbörze-féle, ömlesztve mindenféle amiket épp olvastam

Az A/V típusú diszkekről (pl. WD purple "surveilance" kategóriás) amiket NVR-be tesznek 24/7 videórögzítésre, az volt régen a mondás, hogy általános adattárolásra használhatatlanok. Mert az A/V felhasználás során nem gond, ha 1-1 szektor tartalma checksum-hibás a visszaolvasás során, mert lesz max. 1 frame hiba vagy audió zizzenés, de a rögzítés vagy lejátszás megy tovább megakadás nélkül.  Ahelyett h. nekiállna a meghajtó újraolvasni h. hátha a 20. próbálkozásra sikeres lesz a művelet, közben meg homokórázik a visszajátszás/eldobódik az épp rögzítendő stream. Ez a fajta hiba figyelmenkívül hagyása az A/V felhasználásnál még OK, de ha hagyományos értelemben vett adatot akarunk rajta tároni, ott bitszintű egyezés kell, különben hibás kód fut le v. adatvesztés lép fel. Namármost kiderült utánaolvasásra, h.  az A/V diszkek igenis használhatóak kutyaközönséges célokra is. Ugyanis a fentebb említett checksum figyelmen kívül hagyás-továbblépés csak abban a speciális esetben igaz, ha az un. ATA STREAMING eljárással történik az adat írása/olvasása. Ebben az üzemmódban van említva a szabvány szerinti kb. 100msec ideig történő újrapróbálkozás, ami után feladja és továbblép a diszk. Ezt az ATA STREAMING-et ált. csak az NVR-ek implementálják (forrás?), általános célú számítógépek ezt nem használják, így a diszk a hagyományos módon fog írni és olvasni, ha pedig kell újrapróbálkozni és hibajavítani.

 

Tech ARP - ED#178 : AV-Optimized Hard Disk Drives Are Safe To Use

 

WD purple-nél a datasheet-ben a marketingbullshit kifejezés amit keresned kell az ATA STREAMING helyett, az "ALLFRAME AI". Hogy ennek amúgy mi köze is van az AI-hoz..? Hogy egyszerű legyen az élet, ráadásul a kisebb Purple-ökön ( <8TB) meg egy korábbi verziója van ugyanennek, azt meg "ALLFRAME 4K"-nak hívja a WD. 

A legújabb 2021 januári WD PURPLE datasheet (pár havonta updateli a WD),  észrevehetően kozmetikáznak néhány specifikációs paramétert. Azaz ugyanaz a modellkódú diszk régebben meg ma megnézve elvileg nem ugyanazt tudja. Érdemes megnézni egy korábbi doksit (gugli kidob rengeteg régebbi változatú datasheet-et is), és összehasonlítani: elvileg ugyanazon modellkódú típusok elvileg megegyező paraméterei néhány helyen eltérnek.

Hozzászólások

Szerkesztve: 2021. 06. 19., szo – 13:22

Videó enkódolás több szálon / több CPU magon lerontja a kódolás minőségét! Ez azért van, mert több szálú videótömörítés esetén a szálak egymástól függetlenül dolgozzák fel az adott képblokkokat: a tömörítés során nem tudják felhasználni a közvetlen előző képkockában letárolt adatokat (delta tömörítês 2 képkocka között), mert azokon pl. 1 másik szál / másik CPU mag dolgozik éppen. Ezért hatékonytalanabb lesz a tömörítés, egyedül a gyorsaságon skálázódik jól a többszálú futtatás. Azaz az ideális megoldás videótömörítésre a lehetőleg 1-szálas futtatás, de azt lehetőleg minél gyorsabb processzormagon. Többmagos processzorok esetén meg az a hatékonyabb megoldás, ha több egymástól független videófájl tömörítést futtatunk párhuzamosan, ahol minden egyes videót magát viszont csak 1-szálas módban tömörítünk.

Jo, a Threadripper az kicsit mas teszta. 64 vagy 128 thread eseten a tile-ok mar extrem kis meretuek lesznek (ha egyaltalan tamogat a codec ennyi tile kezeleset). Gyakorlatilag olyan, mintha a videokepet felosztanad 128 kis darabra es mindegyiket kulon-kulon tomoritened be. A tile-hatarokon atnyulo kepelemeket nem fogja tudni optimalisan kezelni.

Régóta vágyok én, az androidok mezonkincsére már!

No igen, csak rengetegen rohannak megvenni a kistesó TR-ket (16 v. 32 mag, pedig a fele is bőven elég lenne neki és akkor másnak is jutna olyan processzor amilyenre szüksége van), hogy majd boldogan tudnak gyorsan transzkódolni videót. Aztán kiderül h. nem egészen, feleslegesen nagy processzort vett, feleslegesen sok pénzt dobott ki mert a megalomán agya csak addig látott h. nem elég neki a 8 mag 16 szál, hanem neki jár a 16 mag, vagy a 32 mag!

"hatékonytalanabb" -- lehet javaslatokkal is élni, hogy miket tanulj még.?!

Érdekes gondolatok.

A streaming mód a zoftváre "kiegészítése", miszerint nem molyol. Ha nincs ilyene, akkor csak normál célra használható. Vagy 20 éve olyan diszkeket használok, aminek streaming módja IS van. A forrás pedig általában a datasheet - amelyik 1 lapnál nagyon-nagyon hosszabb, és ATA parancsonként specifikálja a működést is. Ezek a cuccosok nem férnek el az 1 oldalas specifikációra, de a marketing bullsheet igen.

Specifications are subject to change without notice.

Gondolom, ilyet se láttál még. :-D Pedig a technológia fejlődik. Ha nem az adott gyártónál, akkor a konkurrenciánál. Ezért az adatlapot néha akkor is kell vátoztatni, ha semmi sem változik. ;) Az AI az AI, mese nincs!

A Prometheus-válságban (atomerőmű katasztrófáról szól) a sugárdózist napfényegységnek hívta a marketing...

A 300+ oldalas ATA szabvány leírást direkt nem linkeltem. Mert minek. Fehér ember (az átlagnál jobban tájékozott végfelhasználó) nem megy vele kb. semmire. A fejlesztők meg jól ismerik, olvasgassák csak nyugodtan.

Specifikációt meg updatelhetnek minden előzetes figyelmeztetés nélkül. Mert a f*sszopó ügyvédek kiharcolták a kapitalizmus hazájában, aztán a világon mindenhol átvették a prospektusok legalján.

Aztán meg ha kell neked 2 egyforma bármi, nem tudsz venni, hiába papíron mindkettőnek ugyanaz a neve: a belseje meg pont lehet bármi. A wd kifejezetten hirhedt ezen a téren, h. green meg blue címke alatt éppen olyat szart ad a kezedbe, ami lejött a futószalagról.

Igazad van. Mindenki maga dönti el, hogy egy bonyolult műszaki cikket egy oldalas leírás alapján vagy részletes specifikációból ismer meg.

Az egy oldal pontosan annyit tud közölni, ami ráfér.

Aztán meg ha kell neked 2 egyforma bármi, nem tudsz venni, hiába papíron mindkettőnek ugyanaz a neve

Ez  a konzumer eszközökhoz való konzumer hozzáálás. A nem egyforma, de azonos nevű eszközök eltérő part numberrel rendelkeznek - ugyanis ez a szerkezet "igazi neve".  Ha nem érdekel, akkor nem érdekel, nincs mit tenni.

Pedig a régi amcsi krimikben az "autó" specifikációja márka + modell + szín + évjárat szokott lenni. Ők már az ATA szabványt megelőzően tudták, hogy a "piros autó" nem specifikálja a gyilkos járművét. ;)

Szerkesztve: 2021. 06. 21., h – 15:22

A közhiedelemmel ellentétben SSD-t is kell defraggolni.

https://www.hanselman.com/blog/the-real-and-complete-story-does-windows…

Eleve nem érdemes letiltani az ütemezett defrag-ot ssd meghajtóknál, mert általában ilyenkor csak egy un. "optimalizáció" fut le, ami annyit tesz h. futtat egy TRIM-et, és már kész is, pár másodperc. Ezen kívül, ha engedélyezett a meghajtó valamelyik kötetén a Volume Shadowcopy, akkor havonta ütemezetten ténylegesen is defraggolja, mert a nagyon töredezett fájlokat máskülönben nem lenne képes backup-olni.

Valamennyire kapcsolódó téma:

a System Reserved particio-t nem tudja a weekly/monthly Scheduled Task (Maintenance) defragolni. Látszik h. ugyanazon a diszken/ SSD-n pl. a C: particiora meg lefut a beallított időközönként az ütemezett defag. Ha kézzel nyomok rá a Systel Reserved-re, akkor meg megcsinálja jól. 

Kb Windows 8 óta van így.

Állítólag a meghajtó betűjel hiánya + a szóközös volume név együttesen okozza a hibát, eventlogban látszódik h. Parameter name incorrect hibát dob erre minden alkalommal. Ha viszont adsz neki betűjelet kézzel, akkor már le tud futni az időzített is.

Aztán lehet h. W10 valamelyik újabb release-ben már javították  ezt a hibát.

A CPUID "HTT" az vajon azt jelenti, hogy támogatja a processzor a Hyper Threading-et? Hát nem.

http://www.os2museum.com/wp/htt-means-hyper-threading-right/

---------------------------------------------------------------------------------

In a logical, ordered world, the HTT bit in CPUID would indicate a processor with Hyper-Threading Technology enabled. But of course the world with Intel inside is anything but logical.

The actual meaning of the HTT bit changed several times over the years. Tracking exactly how it changed is difficult without all editions of Intel’s CPUID documentation (initially a standalone document, folded into the SDM in 2012), but there’s enough left to get a good idea.

Hyper-threading was introduced in the 180nm Foster MP Xeon in February 2002. That was the server version of the original Pentium 4 Willamette NetBurst implementation. Back in May 2002 (the oldest CPUID document with the HTT bit included that I could find), Intel said: HTT: This processor’s microarchitecture has the capability to operate as multiple logical processors within the same physical package. This field does not indicate that Hyper-Threading Technology has been enabled for this specific processor. To determine if Hyper-Threading Technology is supported, check the value returned in EBX[23:16] after executing CPUID with EAX=1. If EBX[23:16] contains a value > 1, then the processor supports Hyper-Threading Technology.

In other words, the HTT bit never meant that hyper-threading is enabled, or even that a given CPU is hyper-threading capable. It was a misnomer from the beginning.

And indeed, as the CPUID dumps here show, Northwood P4s with and without HT had the HTT bit set; the difference was in EBX[23:16] (indicating 1 logical processor for standard CPUs vs. 2 for HT-enabled models).

Intel changed the definition of the HTT bit over time. In May 2012, Intel said: HTT: Multi-Threading: The physical processor package is capable of supporting more than one logical processor. This field does not indicate that Hyper-Threading Technology or Core Multi-Processing (CMP) has been enabled for this specific processor. To determine if Hyper-Threading Technology or CMP is supported, compare value returned in EBX[23:16] after executing CPUID with EAX=1. If the resulting value > 1, then the processor supports Multi-Threading.

When Intel introduced dual-core CPUs without hyper-threading, the HTT bit was still used in exactly the same way as for single-core CPUs with hyper-threading. That makes perfect sense (other than the poorly chosen name), because in both cases there is a single physical package with two logical processors, and software needs to treat both cases largely the same.

The HTT bit alone therefore means almost nothing—it might be set on a single-core CPU without hyper-threading, and it will be set on single-core CPU with hyper-threading, multi-core CPU without hyper-threading, as well as a multi-core CPU with hyper-threading. Other CPUID data must be used to distinguish between those cases, as the information associated with the HTT bit only indicates the number of logical processors, not how they are structured.

As of October 2017, Intel now says: HTT: Max APIC IDs reserved field is Valid. A value of 0 for HTT indicates there is only a single logical processor in the package and software should assume only a single APIC ID is reserved. A value of 1 for HTT indicates the value in CPUID.1.EBX[23:16] (the Maximum number of addressable IDs for logical processors in this package) is valid for the package.

Intel appears to be unwilling to change the name of the HTT bit, but the poorly chosen moniker is now fully exposed: The definition of the HTT bit does not even mention hyper-threading at all.

It’s worth mentioning that the original Willamette P4 apparently set EBX[23:16] to 1 even though the HTT bit was not set. In other words, EBX[23:16] may contain valid information on some processors even though it’s not declared as valid via the HTT bit. That was undocumented behavior, and was also found in single-core Yonah CPUs (but not Banias/Dothan Pentium M).

All in all, this is a case where the documentation was never exactly wrong, it just evolved so much that the original name of the HTT bit doesn’t make any sense anymore, if it ever did.

Szerkesztve: 2023. 09. 22., p – 08:58

Miért van a windows System properties alatt a CPU neve után egy órajel érték meg utána még 1 másik, és ez a 2 általában nem egyezik meg?

https://learn.microsoft.com/en-US/troubleshoot/windows-server/performan…

The first frequency that is listed for the processor is fixed and part of the name of the processor. The second frequency is normally computed by Windows using P-states or the frequency of the time stamp counter. However, when the Intel CPPC driver is installed, the system uses CPPC to manage the frequency of the processor and not P-states. As a result, Windows uses the time stamp counter frequency to determine processor frequency. On systems with Intel-based processors that support configurable thermal design power (TDP), this may result in the second frequency listed being different from the first.

Windows 10, a fos "modern" gépházas hálókártya properties --> IP settings --> Edit --> DHCP helyett manual-ra váltás--> ipv4 bepipál, ezután kézzel beadni neki amit akarsz, pl. 192.168.1.2, subnet: 255.255.255.0 , def gw és DNS nem muszáj. Majd Save --> és.... Nem fogadja el bazdmeg! Csak egy piros szöveg a tetején, hogy "hávalaminemjó, nézd meg jobban"! Végignézem, de minden jó, egy rohadt private címes IP konfigot csak be tudok állítani! Hát a lófaszt tudok.

Lelövöm a poént: Az istenbarmák redmondban 30 év után átálltak a dotted subnetmask formátumról a prefix length notation-re. De nem ám úgy, h. ott van az example a bemeneti field fölött, hogy pl /24 nesze így írdd be paraszt! Nem, nincs semmi fogodzkodó. Cserébe a hibaüzenetnél sem bírja pirossal bekeretezni h. ezzel van a baja. Hanem tépd ki a hajad mire rájössz (nem jössz rá magastól, hanem fél óra guglizás után valami értrelmesebb ITPRO elárulja).

Pokol bugyor annak, aki ezt így kiengedte élesbe. A hülye internet népe meg ahelyett h. megfejtette volna, írják a kerülőmegoldásokat h. ez a szar settings gépház még erre se jó, classic control panelből meg működik a régi módon beállítani.

Bónusz faszkorbács, h. az ipconfig továbbra is a régi formátumban írja ki. Valamint ha átállítod a klasszik helyen, és utána visszamászol a modernszarba, hogy mégis akkor.hogyan kellett volna jól, ott csak a manuális dns szervert fogja listázni, az IP címet és a prefixet nem

Megnéztem itt egy Windows 10-es gépet (22H2), halmozati büntetésként ráadásul magyarul beszél, ilyen mezők vannak:

  • IP-cím
  • Alhálózati előtaghossz
  • Átjáró
  • Előnyben részesített DNS
  • Másodlagos DNS

Nekem ezek alapján eszembe sem jutott volna netmaskot beírni.

Most megnéztem, nálam is. De nemrég egy imserős megtalált a problémával, azt hittem, arra válasz a fenti írás. De nem.

A problémás 11-ben (nem tudom, pontosan melyik verzió) rendes netmaszkot kért. (És pirossal bekeretezte a címet, hogy nem jó, azóta sem tudjuk, mi a megoldás, de mondtam a srácnak, hogy ne akarjon leszokni a DHCP-jéről, jó az úgy, ahogy van. :)

Szerkesztve: 2023. 11. 19., v – 13:00

https://phisonblog.com/host-memory-buffer-2/

https://www.anandtech.com/show/16504/the-samsung-ssd-980-500gb-1tb-revi…

https://www.anandtech.com/show/12819/the-toshiba-rc100-ssd-review/2

HMB SSD: Host Memory Buffer, azaz rendszer RAM-ot használ, az SSD PCB-n nincs cache DRAM. Nvme 1.2 szabvány óta létezik. A host-tól az nvme driver elvesz max 64MB memóriát (ez ha jól tudom a mikroszoftos "storport" drájver beépített maximuma, ha más gyártói nvme drájvert használ egy SSD, azoknál talán használhat több memóriát is). Ez a 64MB RAM cache 64GB SSD storage egyidejű mapping-hez elég. Azaz ha bármikor adatra egyszerre csak kb 64GB méretben van szükség, akkor nem lesz olyan rossz a teljesítmény a DRAM-os SSDkhez képest. Ez a cache nem adat cache, azaz nem arra való, h. pl. az írást ide cachelje az SSD, mint a tradicionális HDD onboard cache-nél.

Azt viszont nem egyszerű kideríteni (windows-on legalábbis), mennyi a tényleges buffer amit az nvme driver kért/kapott a host-tól. Kb egyik elterjedt 3rd party ssd utility sem írja ki. A gyártói tool-ok, pl. Samsung Magician annyit mond h. Host Memory Buffer oszt csókolom.

Elvileg Linux alatt van rá egyszerű(bb) módszer. Ha az elkövetkező években megtalálom a választ, updatelem ezt a hsz-t.

Update: végülis megtaláltam

If your SSD controller just uses the generic Microsoft StorPort driver, then yes, you can force-enable use of the Host Memory Buffer functionality via a registry key.

Under HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\StorPort create a DWORD entry called HMBAllocationPolicy and set the value to 2. Valid values are 0 for disabled, 1 for minimum, 2 for maximum, and 3 for device usage-based (I tried this on my end, and it just allocates the device minimum; megj: nálam a Samsung 980 nonPro is a minimumot allokálta 3-as értéknél, ami 0x1000000). Once that’s done, reboot the system, and you can check that it’s working in Event Viewer under Applications & Services Logs -> Microsoft -> Windows -> StorPort -> Microsoft-Windows-Storage-Storport/Operational. Look for event ID 513, it should look something like this:

Host Memory Buffer Allocation for \Device\RaidPort1 succeeded. 

Failure Reason: None 

Allocation Policy: Maximum 

Attemped to Allocate: 0x4000000 bytes 

Actually Allocated: 0x4000000 bytes 

Device Minimum: 0x337000 bytes 

Device Preferred: 0xC800000 bytes 

Policy Maximum: 0x4000000 bytes 

Do note that the Microsoft Storport HMB is limited to a maximum of 64MB.

Ha windows eventlog-nál hitelesebb ellenőrzés kell, van egy orosz faszi gyűjtése nvme firmware és tool-ok témában, ott van egy nvme HMB info tool. 

http://vlo.name:3000/ssdtool/

Szerkesztve: 2023. 11. 22., sze – 22:04

Az SHA512 tud gyorsabb lenni ugyanazon a gépen, mint az SHA256.

md5sum(1) (freebsd.org)

SHA-512t256  is	a  version  of SHA-512 truncated to only 256 bits.  On
       64-bit hardware,	 this  algorithm  is  approximately  50%  faster  than
       SHA-256 but with	the same level of security.  The hashes	are not	inter-
       changeable.

SHA-512t224  is identical to SHA-512t256, but with the digest truncated
to 224 bits.

It is recommended that all new applications use	SHA-512	 or  SKEIN-512
instead of one of the other hash	functions.

 

hash - SHA-512 faster than SHA-256? - Cryptography Stack Exchange

 openssl speed sha256 sha512
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
sha256           29685.74k    79537.52k   148376.58k   186700.77k   196588.36k
sha512           23606.96k    96415.90k   173050.74k   253669.59k   291315.50

As you can see, on my 64-bit machine, SHA-512 beats SHA-256 for hashing anything more than 16 bytes of data at a time. And generally, the more data being hashed at once, the bigger the performance improvement.

Edit: As @MaartenBodewes points out in the comments, there's also SHA-512/256 which does the same computation as normal SHA-512 (with a different initial value) but truncates the output to 256 bits. This is a better option (due to the different IV) than simply truncating the output of SHA-512 to 256 bits by yourself in the case where you need the higher throughput but are limited to 256 bit outputs. Alternatively, if you really need higher throughput, BLAKE2b is an excellent cryptographic hash that is extremely fast and natively supports arbitrarily sized outputs (between 1 and 64 bytes).

Note: (some modern CPU) has SHA-extensions that provide instructions to speed up SHA-1 and SHA-256 but not SHA-512. This may again turn the advantage to SHA-256, if the instructions are used of course. AMD Ryzen also supports these instructions.

Extension Instructions for SHA-512 will be introduced in Arrow Lake and Lunar Lake in 2024.

Egy diszk (v. SSD) esetén a WWN és a serial number között mi a lényegi különbség, ha elvileg mind a 2 unique? A WWN úgy unique, hogy közben még a formátuma is ugyanaz több eltérő gyártó több eltérő eszköztípusa között. A serial number formátuma meg ahány gyártó ahány eszköztípusa csak létezik, mind egyedi formátumú serial numbert használ, így szar lenne ezeket egységesen kezelni, összehasonlítani stb?

Szerkesztve: 2024. 01. 01., h – 16:50

NTFS allocation policy-ről kellene valami leírás. Rémlik h. registry-ből régen lehetett állítani h. gyors legyen (de cserébe fragmentációt nem fogja próbálni elkerülni), vagy lassabban allokálja a klasztereket, több időt töltsön nagyobb összefüggő terület keresésével, cserébe kevésbbé lesz fragmentált a kiírt file.

Létezik hogy volt ilyen (akár régen XP idején?) vagy csak álmodtam az egészet?

Természetesen semmi értelmeset nem találok már mikroszoft oldalán. Csetgpt is totál használhatatlan válaszokat ad, notsupported, nepiszkáld, neérdekeljen... stb.

Szerkesztve: 2024. 02. 12., h – 23:13

Verifying DMI pool: bootoláskor írja (írta régen) sok gép. Sosem tudtam ez mit jelent.