HDD od 2TB

[MytByte]

Wow na postu.

Ploča je Asus Prime X370 Pro, Win 11 ali ne znam kako da utvrdim native 4K podršku pa ako je tebi jasnije...

Video cache fileovi su u pravilu ispod 800 MB, prvenstveno u DNxHR SQ 4K do 50 fps, po potrebi HQX:

https://avidtech.my.salesforce-sites...Specifications

znači, lagana kompresija za procesor koja je praktično real-time....

Pretpostavljam da bi posebna particija za video cache do veličine 1TB pogoršala SMR problem? Eventualna pozdanost nije pitanje života i smrti jer su to privremeni fajlovi.

za Toshibu P300 se često navodi da ima ublažavanje vibracija kao da je neki NAS disk, ali budući bi to bio jedini mehanički disk u kućištu, sumnjam da ima neke važnosti....

ali općenito sad naginjem na 4TB, mislim da ću zažaliti nedostatak prostora za disanje kod 2TB....pogotovo ako odaberem SMR, da ima više margine prije nego mora krenuti prepisivati stare podatke....

zapravo je jedina prava dilema da li bi disk za video nadzor koji trenutno ima top cijenu ispoljio neke negativne karakteristike u mom scenariju?

[ruka-slave]

MytByte kaže:

Wow na postu.

Ploča je Asus Prime X370 Pro, Win 11 ali ne znam kako da utvrdim native 4K podršku pa ako je tebi jasnije...

Koja verzija?
https://www.asus.com/supportonly/pri...lpdesk_manual/

Video cache fileovi su u pravilu ispod 800 MB, prvenstveno u DNxHR SQ 4K do 50 fps, po potrebi HQX:

https://avidtech.my.salesforce-sites...Specifications

znači, lagana kompresija za procesor koja je praktično real-time....

Ok, ali koliko streamova?

Tko radi kompresiju, kamera?

Kada editiraš, tko i da li uopće radi dekompresiju prije editiranja i kompresiju (u šta) prije snimanja?

Naime, ne vidim topologiju mreže koja "pumpa" video na disk. Jedan stream/kamera je igračka, ali njih 100 je katastrofa.

Ne znam što su "video cache fileovi". Kamere streamaju svaka u svoj video cache file, pa se periodički isti prebacuju na trajni/(ji) smještaj?

Pretpostavljam da bi posebna particija za video cache do veličine 1TB pogoršala SMR problem? Eventualna pozdanost nije pitanje života i smrti jer su to privremeni fajlovi.

Vezano na prethodno, ne vidim topologiju prebacivanja fajlova.
Kako ja vidim:
1. kamere preko mreže streamaju komprimirani (?) sadržaj na disk/file, kao privremeni smještaj br.1
2. fileovi se iz privremenog smještaja nekako prebacuju na trajniji smještaj br.2
3. Editiranje
4. Spremanje na trajni smještaj br.3

Ok?

za Toshibu P300 se često navodi da ima ublažavanje vibracija kao da je neki NAS disk, ali budući bi to bio jedini mehanički disk u kućištu, sumnjam da ima neke važnosti....

"Ublažavanje vibracija" nije baš predmet samo HDDa, nego prvenstveo načina kako je montiran u kućištu, a tek onda samog HDDa. Bitna je otpornost na vibracije, koja je vezana na cijelo kućište I HDD.

U tvom slučaju, ako ne radiš na HDDu koji je montiran npr. u kabini kamiona, traktora ili pikamera, otpornost na vibracije je zanemariva stavka. Neki NAS uređaji (znači LOW low end disk storage) imaju nekih problema kada staviš 14 diskova u disk enclosure koji svi imaju istu frekvenciju vlastitih mehaničkih vibracija pa dođu u rezonancu, ali ti NASovi ionako propadaju kao firme.

ali općenito sad naginjem na 4TB, mislim da ću zažaliti nedostatak prostora za disanje kod 2TB....pogotovo ako odaberem SMR, da ima više margine prije nego mora krenuti prepisivati stare podatke....

Ako sada misliš da će ti 2T biti malo, onda je sigurno da će ti za 2 godine biti puno premalo. Prostor na diskovima voli "kvasati" - kada osjetiš/korisnici osjete da ima više mjesta onda odjednom "prodišu" pa se dodatni prostor vrlo brzo popuni i fragmentira. Tome pak služe kvote itd.

zapravo je jedina prava dilema da li bi disk za video nadzor koji trenutno ima top cijenu ispoljio neke negativne karakteristike u mom scenariju?

Ja sam nakon par desetaka tisuća iskustava sa svakakvim rješenjima postao jako konzervativan, iako se i sa vrlo jednostavnim/jeftinim konfiguracijama može postići vrhunske rezultate.

Video nadzor/spremanje video streamova generalno nije zahtjevan, SMR čak i 5400rpm je ok, plus backup disk. UPS obavezno. Ja osobno bih išao na miror dva diska.

Ponavljam, topologija prebacivanja video streama/fajlova/logova je ključna, a o čemu ne znam ništa. Razlika u brzini je 1:2 do 1:10 naviše.

Ako ideš aktivno editirati, onda SATA CMR 7200 kao radni.

Za ozbiljan posao serverska SATA verzija diskova, bolje SAS near online i najbolje SAS online.

[MytByte]

Koja verzija?


https://www.asus.com/supportonly/pri...lpdesk_manual/

Pa mislim da nema više verzija, to na linku su verzije datoteka...

Ok, ali koliko streamova?

Jedan istovremeno jer izvorni video bi se čitao s SSD-a.

ko radi kompresiju, kamera?

Kada editiraš, tko i da li uopće radi dekompresiju prije editiranja i kompresiju (u šta) prije snimanja?

Naime, ne vidim topologiju mreže koja "pumpa" video na disk. Jedan stream/kamera je igračka, ali njih 100 je katastrofa.

Ne znam što su "video cache fileovi". Kamere streamaju svaka u svoj video cache file, pa se periodički isti prebacuju na trajni/(ji) smještaj?

Ne, nema veze s video nadzorom i više streamova uživo, mada se može desiti situacija da se vuče više streamova istovremeno (zato SSD kao izvor), nego montažom i postprodukcijom videa, prvenstveno RAW datoteke ili Quicktime video fajlovi iz kamere dosta velikih bitratea (180-200 MB/s). Kada se rade efekti na slici, neki su preteški za real time plejbek pa se koristi cache video na koji su prvo aplicirani ti efekti, da bi se moglo pustiti real time, bez trzanja i pauzi, da se vidi rezultat.

Ako sada misliš da će ti 2T biti malo, onda je sigurno da će ti za 2 godine biti puno premalo. Prostor na diskovima voli "kvasati" - kada osjetiš/korisnici osjete da ima više mjesta onda odjednom "prodišu" pa se dodatni prostor vrlo brzo popuni i fragmentira. Tome pak služe kvote itd.

Ok, mislim da ću ovime staviti 2 TB opciju as acta.

Ako ideš aktivno editirati, onda SATA CMR 7200 kao radni.

Za ozbiljan posao serverska SATA verzija diskova, bolje SAS near online i najbolje SAS online.

Nažalost nemam budžet za 4TB CMR 7200, ali čitanje je s drugog diska, tako da bi se po ovom novom u pravilu samo ili pisalo ili čitalo, ne oboje istovremeno. U opciji mi je onaj 4TB Seagate Ironwolf na 5400, samo nemam povjerenja u trgovinu u kojoj je po (sumnjivo) prihvatljivoj cijeni.

[ruka-slave]

Ako je još relevantno.

MytByte kaže:

Pa mislim da nema više verzija, to na linku su verzije datoteka...


Jedan istovremeno jer izvorni video bi se čitao s SSD-a.

Ok.

MytByte
Ne, nema veze s video nadzorom i više streamova uživo, mada se može desiti situacija da se vuče više streamova istovremeno (zato SSD kao izvor),

Opet, ponavljam: topologija. SSD je očito neki disk cache s kojeg se fajlovi, (nakon što su zatvoreni?) uzimaju u daljnju obradu, i dalje ne kužim čemu.

Ja ne vidim specijalnog razloga zašto koristiti SSD ako brzina snimanja incoming i čitanja outgoing fajlova nije baš imperativ, jer je SSD "potrošna roba", pa se haba s puno korištenja.

nego montažom i postprodukcijom videa, prvenstveno RAW datoteke ili Quicktime video fajlovi iz kamere dosta velikih bitratea (180-200 MB/s). Kada se rade efekti na slici, neki su preteški za real time plejbek pa se koristi cache video na koji su prvo aplicirani ti efekti, da bi se moglo pustiti real time, bez trzanja i pauzi, da se vidi rezultat.

Ova dio mi je kao skoro jasan:
a) imaš gotovu fajlu, kompresija ili ne
b) i onda radiš na njoj i spremaš je u drugu fajlu ili desetke drugih manjih fajli.
c) onda pojedine dijelove reproduciraš, ili "mergaš" u jednu veću i reproduciraš da vidiš na što liče (efektvino fragmentiraš diskove).
d) ako je sve uredu, ide završna obrada (recimo kompresija), i spremanje u u veliku fajlu na finalni medij.

Ok, mislim da ću ovime staviti 2 TB opciju as acta.


Nažalost nemam budžet za 4TB CMR 7200, ali čitanje je s drugog diska, tako da bi se po ovom novom u pravilu samo ili pisalo ili čitalo, ne oboje istovremeno. U opciji mi je onaj 4TB Seagate Ironwolf na 5400, samo nemam povjerenja u trgovinu u kojoj je po (sumnjivo) prihvatljivoj cijeni.

Razdvajanje "čitanja" i "pisanja" na barem dva diska je obavezno.

Veliki cache 256MB na SMR će ti riješitu veliku većinu problema sa perfomansama.

Garancija obavezno 5 godina, ali ti to prodavač mora potvrditi.

I obavezno barem dnevni backup na "glupi" SMR 5400 disk.

[MytByte]

ruka-slave kaže:

Ako je još relevantno.

Nisam još uzeo, relevantno je.

Ovako, SSD nije disk cache (to bi bio ovaj novi disk) nego izvor slike na kojoj se radi postprodukcija, dakle efekti i koloring. Brzina čitanja je važna jer je riječ o velikim izvornim "sirovim" fajlovima iz filmske ili DSLR kamere, da se mogu uplejati real-time s SSD-a i da se proces ubrza maksimalno gdje se može tj da barem čitanje ne koči proces kad već efekti to rade. Ti fajlovi se ne zapisuju i brišu svaki dan, nego se zapišu jednom, i samo čitaju. Koliko razumijem SSD se toliko ne haba samo čitanjem.

Kad se rade efekti na svakom sirovom kadru posebno, obično su ti efekti "preteški" da bi ih računalo (CPU, GPU) plejalo stvarnom brzinom pa nemaš dojam da li je dobro u pokretu. Zato se kadrovi s efektima privremeno renderiraju u cache koji je kvalitete i veličine tj bitratea koji se može plejati stvarnom brzinom s diska KOJI NE DEGRADIRA ZBOG STALNOG PISANJA kao SSD.
Da, taj disk bi s vremenom postao fragmentiran i na njemu bi bili i drugi fajlovi od projekta na kojem se radi. Na kraju posla se to renderira u final filma, ali tu nije važno da je u stvarnom vremenu, ali je naravno poželjno da ide najbrže što može.

Backup bi onda bio na diskove koje već imam.

Moje izvorno pitanje je bilo da li bi CMR disk dizajniran za video nadzor ili SMR desktop disk predstavljali problem u takvom scenariju pisanja i čitanja tih privremenih preview datoteka, da li bi takvi diskovi u nekom trenutku stall-ali, zapeli na dulje vrijeme. Stvar je u tome da se i jedan i drugi mogu dobiti za cca istu cijenu. Znam da je ideal CMR 7200 ali to trenutno nije realno kao ni 5 godina garancije.

[MytByte]

Kako ste vjerojatno mogli zaključiti, uzeo sam na kraju Toshibu 2TB SMR disk na 7200 o/m, 256 MB cache, 240 MB/s nije za baciti s obzirom na bitrate koje koristim za video cache.

Hvala na savjetima, pogotovo @ruka-slave, pomoglo je...

[ruka-slave]

Kao razmišljanje, budući ne poznajem tvoj profil rada/glavnu aplikaciju:

1. Cache samog diska

Isplati se isprobati, uz oprez zbog mogućeg gubitka podataka kod testiranja.

a) Read cache

Svi današnji diskovi imaju (predictive/adaptive/look ahead) read-ahead cache; nekad je ta funkcija bila rezervirana za raid cache kontrolere. Na moje svojedobno iznenađenje, onemogućavanjem te funkcije na disk kontrolerima UBRZAO bih rad na dosta konfiguracija, na nekima čak i drastično. (uglavnom serveri)

b) Write cache

Na nekima je u brzini pomoglo čak i onemogućavanje write/defer write cache (tj prebacivanje u write trough mode).

Razlog, kao kod read cache je što su disk driveri samog OSa i cache rezerviran za njih u glavnoj memoriji bili tako dobro optimirani za direktnu kontrolu glava diska, da je cache kontrolera, bijući relativno skromne veličine i relativno glupog algoritma/slabijeg procesora samo smetao.

c) Algoritam keširanja

Postoji više različitih algoritama keširanja (LRU, LFU itd); treba odabrati onaj koji je nabrži za prosječnu uporabu date aplikacije i pretežitog načina rada - radnom read/write, sequential, mixed.

d) Tip keša na disku - običan RAM, flash, battery

Generalno je danas write cache zaštićen flash memorijom, pa i u slučaju gubitka napajanja podaci ostaju sačuvani i spremaju se na disk pri povratku napajanja, no to ovisi o proizvođaču (neki Seagate diskovi).

2. RAM disk cache/RAM cache diska/SSD as HDD cache

Razlikovati RAM disk cache od RAM cache diska - potonji su u biti disk drive bufferi OSa, koji se mogu jako povećati.

a) RAM disk cache

Ovo je komercijalni program kao ram disk cache za hdd/ssd:
https://www.isunshare.com/blog/need-...on-windows-10/
windows:
https://answers.microsoft.com/en-us/...5-1945d80a26d5

https://www.overclock.net/threads/hu...-hdds.1637651/

Softperfect RAM disk cache:
https://www.softperfect.com/articles...-with-ramdisk/
gdje RAM disk cache i produljava životni vijek. Naravno, veličina RAMcache je trade-of za ostale funkcije, jer velika većina RAM disk sw nema run-time resize opciju, pa je jednom rezerviran prostor nedostupan glavnoj aplikaciji.

b) SSD as cache

To nije isto kao korištenje SSD diska kao cache za običan HDD:
https://www.reddit.com/r/Windows10/c...cache_for_hdd/
https://www.partitionwizard.com/clon...ssd-cache.html
gdje se vraćamo na primarni problem ubrzanog habanja SSD.

c) RAM cache diska

Postoji na razini OSa mogućnost rezerviranja vrlo velikog cachea za SSD/HDD, koji smanjuje njegovo opterećenje kod puno sitnih pisanja, a pomaže i kod čitanja puno sitnih fajlova, jer ih sve grupira u jedan zahtjev. (ovo jako ovisi o tome koliko paralelnih queuova podržava kontroler na disku)
Također, uglavnom taj RAM prostor postaje nedostupan glavnoj aplikaciji. Ako se može resizati on demand, to nešto smanjuje perfomanse u odnosu na fiksni cache.

3. Paralelizacija diskova i kontrolera:

a) generalno razdvojiti funcije čitanja i pisanja na različite diskove

b) HDD sa više ploča omogućava bolju paralelizaciju/veću brzinu (ovo ovisi o kontroleru i driveru)

c) ako je moguće, razdvojiti diskove na različite kontrolere.

d) neko softveri obilato koriste transaction logove, dakle u toku rada povremeno spremaju međufaze u log fajle, i onda kada ide finalno spremanje na disk (comit) sve logove prebace u glavni fajl i obrišu logove. Tipično to rade baze podataka.
Generalno postoje transaction i journal logovi (evidencija svih izmjena u glavnoj bazi).

Apsolutno je poželjno transactional i journal logove odvojiti na posebna dva diska/kontrolera, odvojena od glavne baze.

e) sve to, naravno odvojeno od boot os/system diska, a swap fajl na poseban

Pet-šest diskova je minimum za neki ozbiljniji rad, i to bez RAIDa.

4.Sector size, block size

a) Sector size
- legacy standard je native 512 bajta.
- novi standard za velike diskove je native 4k
- legacy emulacija 512e: na velikim diskovima koji su interno 4k, kontroler ih prikazuje prema vanka kao 512; generalno se mogu "reformatirati" u čiste 4k (tj isključiti emulaciju), uz reformatiranje file sistema diska.
- neki diskovi dolaze sa 8k sector size

Povoljnije je koristiti veći sector size - bolje iskorištenje prostora (više podataka u sektoru u odnosu na ECC) te veća brzina sekv.očitanja sektora, osim ako nemaš puno jako, jako malih fajlova. Neki OS/kontroleri imaju subalokaciju - unutar većeg sektora/bloka se može nagurati puno malih fajlova, ali to ide na uštrb brzine. U protivnom je veliki tzv. "slack" - sector od 4k na koji je spremljen fajl od 100 bajta, efektivno ima 3900 bajta prazno.

b) Block/cluster size

Generalno blok size file sistema na NTFS je 4k, pa je povoljno da je block size=sector size, ali samo ako je napravljen tzv."align" - kod formatiranja diska početak bloka mora se poravnati sa početkom sektora. To isto vrijedi za bilo koji odnos veličina bloka i sektora, i nije trivijalno.

SSD imaju neke specifičnosti, nemaju sektore kao HDD, nego tzv "page", ali se prema vanka ponašaju kao HDD sektori. Iznimka su noviji NVME gdje je sve optimirano na brzinu.