Wirtualizacja - Proxmox / ESXi / Hyper-V i inne

[Camis 5 891]

Pokażcie swoje maszyny.

 

U mnie Proxmox na Celeron N3150 i 16GB RAM.

Jak do moich potrzeb maszyna spełnia swoje zadania, i bierze średnio 18-19W.

 

 

 

[narmiak 123]

Proxmox na miniPC ThinkCenter M93p o ile dobrze pamiętam:
[img]https://i.imgur.com/AN6rD7c.png[/img]

Do tego Hyper-V na HP Microserver Gen8 z Xeonem E3-1265L V2 i 16 GB RAMu na którym na stałe działają 3 wirtualki (Home Assistant, PiHole + VPN zapasowy OpenVPN, Zabbix)
Na terminalu Dell Wyse stoi CasaOS z kilkoma kontenerami + serwer VPN główny (Wireguard) + serwer Immich + Tailscale:
[img]https://i.imgur.com/9iqTf3s.png[/img]

A do tego Virtualbox na laptopie i VMWare Workstation na desktopie, ale te maszyny odpalam w miarę potrzeb (Tails, zapasowy serwer Ansibla itp.)

Edytowane 12 Listopada 2024 przez narmiak

[Mistral85 11]

Proxmox na Ryzen 1200AF (podobno bardzo energooszczędny) + 64GB RAM ECC

Mam kilkanaście wirtualek (na każdej jeden serwis/aplikacja) i zauważyłem, że o ile mocy procesora raczej mi nie brakuje, to RAM-u mogłoby być trochę więcej

[robbo2k 23]

Mój klaster proxmoxa ...  ale jeszcze nie pełny.  pobór pradu całości ok50W,   1,25kWh dziennie.

[Camis 5 891]

Cytat

VMware Fusion / Desktop za darmo (także dla użytkowników komercyjnych)

 

https://www.pepper.pl/promocje/vmware-fusion-pro-desktop-pro-za-darmo-takze-dla-uzytkownikow-komercyjnych-925848

https://blogs.vmware.com/workstation/2024/05/vmware-workstation-pro-now-available-free-for-personal-use.html

[Mistral85 11]

Noo, chyba Broadcom poczuł spadające zyski po tym jak podnieśli znacznie opłaty licenyjne.

Oprócz tego jest jeszcze kwestia konkurencji od strony kontenerów (Docker i tym podobne).

Sporo korporacji się z tego już wycofuje. O ile się nic nie zmieni, to za 5 lat tylko stare systemy korporacyjne będą jeszcze używały tego systemu wirtualizacji.

 

Tak czy siak VMware już dawno dla mnie nie istnieje w mojej świadomości IT. Teraz Proxmox jest na topie + Docker.

[robbo2k 23]

Młody człowieku jak miałem tyle lat też byłem  taki "fafarafa"  korporacje nie są szybkie a alternatywy dla vmware nie ma i wie to każdy kto przeklinał dzień w którym chciał pożenić macierz FC z proxmoxem.  Nie doceniasz też efektu skali. No i wreszcie dla tych co używają tych wszystkich vSANów, NSXów, Tanzu, Aria Suit o całym rozwiązaniu VCF nie wspominając nie ma alternatyw a i ceny nie sa dla nich "nie do przyjęcia".     Broadcom uderza tylko w te małe SOHO co to kupowało Essiential i sie ciagneła na minimalnych kosztach wersji Standard.

Edytowane 14 Listopada 2024 przez robbo2k

[narmiak 123]

5 godzin temu, robbo2k napisał(a):

Młody człowieku jak miałem tyle lat też byłem  taki "fafarafa"  korporacje nie są szybkie a alternatywy dla vmware nie ma i wie to każdy kto przeklinał dzień w którym chciał pożenić macierz FC z proxmoxem.  Nie doceniasz też efektu skali. No i wreszcie dla tych co używają tych wszystkich vSANów, NSXów, Tanzu, Aria Suit o całym rozwiązaniu VCF nie wspominając nie ma alternatyw a i ceny nie sa dla nich "nie do przyjęcia".     Broadcom uderza tylko w te małe SOHO co to kupowało Essiential i sie ciagneła na minimalnych kosztach wersji Standard.

Sporo zależy od tego, czy korpo chce/może mieć dane w cloudzie, czy nie. 2 lata temu mój team miał on prem ok 5000 wirtualek postawionych na ESXach rozsianych po kilku DC. Dziś jak patrzę w inventory lokalnie mamy zaledwie 880 maszyn, reszta albo została wywalona całkowicie (stare wersje systemu, aplikacja już nie potrzebuje tak dużego środowiska itp.), albo przeniesiona do clouda właśnie. Z tego co czytałem raporty, to w moim regionie zostanie max 200 maszyn do końca Q2 2025.
Od kilku tygodni pojawiają się też masowo do zatwierdzenia change'e na decommission ESXów.

Ludzie odpowiedzialni za VMWare od kilku miesięcy też są wysyłani na szkolenia z Azure.
Więc dla chcącego nic trudnego.

[Mistral85 11]

W mojej korporacji to samo. Już wdrażają alternatywę dla VMware, i co prawda można się spierać że FC nie podłączysz pod Proxmoxa, ale czy ma to tak na prawdę znaczenie w dzisiejszych czasach ?
Obecnie na salony wchodzi protokół S3, dzięki któremu można sobie rozszerzać pamięć obiektową jak się tylko chce. Chcesz mieć Terabajty danych w chmurze ? Możliwe.

Klonowanie tego wszystkiego do takiej samej chmury w twojej serwerowni ? To jedna komenda.

S3 to rozwiązanie o wiele tańsze niż FC (za które na dzień dobry nie raz trzeba wybulić coś w okolicach 40k - karty HBA, swtiche FC, specjalistyczne macierze). Już coraz więcej aplikacji korzysta z protokołu S3, bo to się ładnie kalkuluje w Excelu - CAPEX jest znikomy gdy zaczynasz od zera.

Kiedyś VMware był porządanym liderem, bo pierwszy miał między innymi (porządaną) wirtualizację kart graficznych, no ale dzisiaj pierwsza lepsza wirtualizacja oparta na KVM to potrafi, natomiast VMware zamiast się otwierać na świat, to zaczęło wprowadzać jakieś głupie listy kompatybilności sprzętu, przez co albo bulisz kasę co dwa/trzy lata na nowy serwer, albo kończysz bez wsparcia. Dowalili jeszcze tymi opłatami licencyjnymi i próg wejścia stał się jeszcze wyższy. Nie zachęcają przez to do wyboru ich marki, a konkurencja przecież nie śpi.

Przykładowo Microsoft już dawno wiedział, że trzeba za darmo rozdawać soft w szkołach, bo jak się tam nauczą obsługi Windowsa, Worda i Excela, to chętniej sięgną po znane choć płatne rozwiązanie niż będą chcieli się uczyć czegoś zupełnie nowego.

[robbo2k 23]

6 godzin temu, narmiak napisał(a):

Sporo zależy od tego, czy korpo chce/może mieć dane w cloudzie, czy nie. 2 lata temu mój team miał on prem ok 5000 wirtualek postawionych na ESXach rozsianych po kilku DC. Dziś jak patrzę w inventory lokalnie mamy zaledwie 880 maszyn, reszta albo została wywalona całkowicie (stare wersje systemu, aplikacja już nie potrzebuje tak dużego środowiska itp.), albo przeniesiona do clouda właśnie. Z tego co czytałem raporty, to w moim regionie zostanie max 200 maszyn do końca Q2 2025.
Od kilku tygodni pojawiają się też masowo do zatwierdzenia change'e na decommission ESXów.

Ludzie odpowiedzialni za VMWare od kilku miesięcy też są wysyłani na szkolenia z Azure.
Więc dla chcącego nic trudnego.

Chmura... zeby miala sens firma musi umiec sie skalować w trybie do 30% dotychczasowej infry przez połowę czasu a przez pozostała umieć sie prosto rozwinąć trzykrotnie.

Inna rzecz ze spadek wirtualek pod ESX moze byc czesciowo efektem używania k8s (gdzie do jednego klastra można wsadzić funkcjonalności rozwalone po kilkunastu VMkach)

 

A co do S3 to ma sens do trzymania zdjęć z komunii kuzynki    Gdy w sieci FC mamy 32/64Gb/s.

 

Inna rzecz ze postepowanie Brocade jest równie dobre jak Vmware,   bo to i to to Broadcom (do tej firmy nalezy marka brocade). Czyli  ciągniemy kasy ile sie da. 

 

Edytowane 14 Listopada 2024 przez robbo2k

[ernig 239]

U mnie klaster z dwóch maszyn pierwsza

i druga dopiero dorzucona

[Qwinto 0]

Tak to wygląda u mnie. Niby sprzęt działa już od roku, ale nie mogę się wziąć za przenosiny z J1900:
 

[krukkpl 221]

W dniu 12.11.2024 o 15:16, Mistral85 napisał(a):

Proxmox na Ryzen 1200AF (podobno bardzo energooszczędny)

A czy konieczność dedykowanej grafiki, która swoje pobiera, nie niweczy tej energooszczędności?

 

 

U mnie lata Proxmox na i3-12100, 32GB DDR4 i Gigabyte H610 ITX - postawiłem na szybko parę rzeczy z rok temu i od tamtej pory jakoś nie miałem czasu do tego przysiąść.

Zestaw z 3xHDD ciągnie w idle ok 35-40W, z czego ok 15W ciągną same dyski.

Wszystko w takiej obudowie ITX, która mi zalegała w piwnicy od wielu lat

Edytowane 13 Stycznia przez krukkpl

[Mistral85 11]

Jeśli kupisz odpowiednią płytę główną, to pozwoli ona na odpalenie systemu bez karty graficznej.

Nie każda na to pozwoli, ale jak tworzyłem mój serwer, to było to jedno z głównych założeń. Ja sam używam Asrock AB350M Pro4, a kartę graficzną mam gdzieś schowaną w pudełu tylko na wypadek potrzeby reinstalacji systemu.

Tutaj mam listę wyszperaną dawno temu z czeluści Internetu z takimi płytami na podstawce AM4, może się komuś przyda:

Asrock

Asrock AB350M Pro4

Asrock AB350 Pro 4

ASRock A320M-DGS - you have to find the option in the BIOS to kill the F1 “Confirm no monitor connected”

Asrock X370 Killer SLI

Asrock X470 Master SLI/ac

Asrock X370 Taichi

ASRock Fatal1ty B450 Gaming-ITX/

Asus

Asus ROG STRIX B350-F GAMING

Asus ROG STRIX B450-F GAMING - bios version 2605

Asus Prime B350M-K

Asus Prime B450-Plus

Asus ROG Crosshair VI Hero

Asus ROG STRIX X370-F Gaming

Gigabyte

Gigabyte AB350N-Gaming WIFI

Gigabyte X570 I AORUS Pro Wifi

Gigabyte B450 Aorus M

 

Po więcej tego typu płyt radzę pytać google o "headless motherboard". Mnie się udało znaleźć kilka wpisów z przykładami na reddicie, forach unraid oraz forach level1techs. Oczywiście wszystkie serwerowe płyty mają taką funkcjonalność, ale cena (albo przykładowo słaba energooszczędność) nie zachęca do tego, by zastosować je w domu.

Jeśli chciałbyś, to na podstawkę AM4 alternatywnie możesz poszukać procesora Ryzen PRO GE - wtedy będzie mniejszy problem z doborem płyty. "PRO" w dopisku procka daje wsparcie pamięci ECC (przydaje się jak korzystasz z systemu plików ZFS), natomiast "GE" daje grafikę oraz bardzo niski pobór prądu. Jeśli miałbym teraz wolną gotówkę, to pewnie kupiłbym Ryzen 5750 PRO GE - to jeden z ostanich procków monilitic unibody produkowany na początku czasów gdy zaczęły wchodzić (niestety) energochłonne chiplety. Nie wiem czy nawet w dzisiejszych czasach znajdziesz coś dającego większego kopa per Wat w cenie dostępnej dla typowego Kowalskiego do domowych zastosowań serwerowych.

 

Tak swoją drogą ten CoolerMaster to fajna buda, gdy chcesz coś takiego wstawić do pokoju gdzie przebywają ludzie (żona w szczególności), zawsze to coś ładniejszego i bardziej zjadliwego niż typowo hałaśliwy serwer.

[Meistero 1]

Cześć, 
U mnie od niedawna Proxmox po migracji z natywnego Xpenoloxy wraz z DSM. Uczę się VM'ek oraz próbuję z instalacją CT. 
Sprzęt to i3 8100 wraz z 32GB RAM, Proxmox siedzi na ssd nve 256gb a na storage mam póki co 500GB ssd nvme. 
Średnio widzę, że z gniazdka pobiera ok. 25W 

 

 

 

Edytowane 15 Stycznia przez Meistero

[robbo2k 23]

teraz do zarządzania wieloma proxmoxami nie trzeba juz ich klastrowac co obciąża dyski.  jest nowe narzędzie do zarządząnia wieloma hostami lub wieloma klastrami

i umozliwia migracja miedzy klastrami oraz miezy nodami nie bedącymi w tym samym klastrze.

 

 

[Meistero 1]

Mam do Was pytanie chciałbym wykorzystać swój DIY mini PC jako router. 
Od strony programowej rozumiem, że powinienem postawić wirtualkę albo kontener z oprogramowaniem pfSense lub OPNsense lub oprogramowaniem Mikrotika z Winboxem? Będzie to wirutalny router. 

Posiadam fizycznie od dostawcy światłowodu ONT+Router ZTE. 
W mini PC mam dwie zintegrowane karty sieciowe po jednym gigabitowym porcie. Rozumiem, że fizycznie jedną sieciówkę wykorzystuję jako port WAN(po przestawieniu routera głównego w tryb bridge) a drugi port po podłączeniu do switcha będzie służył jako router? 
Jakiś czas temu planowałem dokupienie jako routera brzegowego modelu hAP ax3 lub rb5009 i spróbować podpiąć go bezpośrednio do ONT'a od dostawcy światłowodu(Inea). W przypadku gdyby nie udało się go skonfigurować bezpośrednio przestawiłbym go w tryb bridge. 
Póki co nie zdecydowałem się na zakup Mikrotika bo chcę polepszyć swój skill i spróbować z wirtualnym routerem na Proxmoxie:-) 
Co możecie mi doradzić w tym temacie? :-) 

 

 

[narmiak 123]

2 godziny temu, Meistero napisał(a):

Od strony programowej rozumiem, że powinienem postawić wirtualkę albo kontener z oprogramowaniem pfSense lub OPNsense lub oprogramowaniem Mikrotika z Winboxem? Będzie to wirutalny router. 

Sporo osób odradza stosowanie pFsense jako wirtualny router i zalecają postawienie go bezpośrednio na HW. Oba rozwiązania mają swoje zalety i wady pewnie. Nie wiem, jak się wtedy zachowają sieciówki jeżeli masz tylko dwie (w sensie jak podłączysz się do Proxmoxa potem?)
Ja bym użył kompa bezpośrednio bez proxmoxa, albo dołożył dedykowaną kartę sieciową z kilkoma portami.
 

2 godziny temu, Meistero napisał(a):

Rozumiem, że fizycznie jedną sieciówkę wykorzystuję jako port WAN(po przestawieniu routera głównego w tryb bridge) a drugi port po podłączeniu do switcha będzie służył jako router? 

Oba porty będą podłączone do routera więc oba służą jako router
Tak. Jeden port będzie dla WAN, przez który dostawać się będzie internet od dostawcy z ich ONT/routera, a drugi port będzie służył jako LAN, do którego podłączysz switch aby móc podłączyć więcej urządzeń.
Nie polecam dodawanie kart WiFi do PFSense. Lepiej sieć bezprzewodową załatwić dedykowanym APkami albo routerami SoHO ustawionymi w ten tryb.

[Joloxx9 941]

A liczy sie jak ktoś ma ubuntu server i wszystko w dockerze? :> 

 

 

 

do tego jest nas z 8TB i 1TB nvme, w ciagu 2 miesięcy dojdzie kolejne 8TB oraz 4TB NVME

[Mistral85 11]

39 kontenerów na 16GB RAM ? Jak Ty to wszystko tam upychasz ?

[Joloxx9 941]

W dniu 19.02.2025 o 19:00, Mistral85 napisał(a):

39 kontenerów na 16GB RAM ? Jak Ty to wszystko tam upychasz ?

To nie sa jakies wymagajace rzeczy, zajmuja raptem 8GB.

 

Swoja droga, zastanawiam sie nad przebudowaniem maszyny. 

 

Dostalem HP G4 800, intel i5 8500, do tego 8GB ram i ssd250. Mysle nad dorzuceniem nastepnej 8mki albo nawet wymiany na 32gb, do tego proxmox intel arc A310 albo a380 do transkodowania i niech smiga jako serwer plexa. 

[Mistral85 11]

4 godziny temu, Joloxx9 napisał(a):

intel arc A310 albo a380 do transkodowania

Z tego co się orientuję jeśli chcesz tylko transkodować, to nie opłaca się kupować nic ponad Intel Arc A310
To sprzętowe transkodowanie jest właśnie w krzemie i z tego co wiem, to dokładnie taki sam kawałek krzemu jest w A380. Oznacza to, że kupując A380 nie będziesz szybciej transkodował (tylko w takiej samej prędkości jak A310), więc nie ma sensu przepłacać. Inna sprawa jest taka, że jeśli porównasz wyniki transkodowania sprzętowego Intel ARC kodekiem AV1 z kompresją softową AV1 z ustawieniami z dość wysoką jakością (powiedzmy Quality 20, Preset 3), to zobaczysz że Intel ARC będzie miał trochę gorszą jakość mimo wszystko. Oczywiście różnice w czasie  transkodowania będą olbrzymie, ale dla niektórych to właśnie jakość ma decydujące znaczenie.

[Joloxx9 941]

2 godziny temu, Mistral85 napisał(a):

Z tego co się orientuję jeśli chcesz tylko transkodować, to nie opłaca się kupować nic ponad Intel Arc A310
To sprzętowe transkodowanie jest właśnie w krzemie i z tego co wiem, to dokładnie taki sam kawałek krzemu jest w A380. Oznacza to, że kupując A380 nie będziesz szybciej transkodował (tylko w takiej samej prędkości jak A310), więc nie ma sensu przepłacać. Inna sprawa jest taka, że jeśli porównasz wyniki transkodowania sprzętowego Intel ARC kodekiem AV1 z kompresją softową AV1 z ustawieniami z dość wysoką jakością (powiedzmy Quality 20, Preset 3), to zobaczysz że Intel ARC będzie miał trochę gorszą jakość mimo wszystko. Oczywiście różnice w czasie  transkodowania będą olbrzymie, ale dla niektórych to właśnie jakość ma decydujące znaczenie.

Tam może być różnica przy ramie różnica, na razie i tak nie przesiadam się na AV1, zwyczajnie mam kilku znajomych, którzy zaczęli z mojego plexa korzystać i koniec końców, iGPU zaczyna się dusić.  Niestety nie zakupili sobie  tak jak ja apple tv, zeby wszystko leciało na streamie bezpośrednim  

[krukkpl 221]

W dniu 13.01.2025 o 19:01, krukkpl napisał(a):

U mnie lata Proxmox na i3-12100, 32GB DDR4 i Gigabyte H610 ITX - postawiłem na szybko parę rzeczy z rok temu i od tamtej pory jakoś nie miałem czasu do tego przysiąść.

Zestaw z 3xHDD ciągnie w idle ok 35-40W, z czego ok 15W ciągną same dyski.

Wszystko w takiej obudowie ITX, która mi zalegała w piwnicy od wielu lat

Update konfiguracji na pełne ATX z uwagi na:

- Coral TPU (do Frigate) na M2 (nie chciałem dongla USB, poza tym wewnętrzny jest połowę tańszy)

- potrzebę użycia dodatkowych HDD

 

Całość idzie do starej, wyciszanej budy Fractal Define R5, która zalegała mi w piwnicy.

MoBo wybrałem: AsRocka B760 Pro RS/D4 z uwagi na możliwość łatwego sterowania wentylatorami z poziomu linuxa.
Płyty Gigabyte/MSI mają z tym problem.

 

No i software'owo stawiam wszystko od nowa, tym razem "zgodnie ze sztuką" odnośnie bezpieczeństwa itd.  

 

Edytowane 13 Czerwca przez krukkpl