Hello la liste !
Premier post ici, j'en ai presque des frissons. Topic qui sort un peu du cadre pro mais je pense trouver des retex intéressants ici.
Je possède aujourd'hui une prod perso basée sur la config suivante: - Dell R320 hébergé en DC par des potes - 64Go de DDR3 - Intel(R) Xeon(R) CPU E5-2430L v2 - Contrôleur de stockage Perc H310 Mini en mode JBOD - 3 Disques de 4To 7200rpm en softraid5 (1xToshiba HDWQ140, 2xToshiba HDWG440) pour le système - 1 Disque de 2To utilisé en tampon de backup (Seagate)
Ce serveur héberge une trentaine de conteneurs LXC, principalement des webapps avec DBs, dont un Nextcloud qui grossit bien et une stack ELK pour la collecte de logs. Ces deux derniers font bien gratter les disques.
Sur le plan CPU et RAM rien à redire, j'ai largement ce qu'il me faut. Mais en HDD, j'aimerais plus d'IOPS pour fluidifier les performances. De plus, mes backups se basent sur des snapshots LVMs pour créer les tarball master et incrémentales, ce qui ralentit fortement encore les IOs lors du backup. Et un apt upgrade c'est bien lent aussi.
J'aimerais aujourd'hui remplacer mes disques plateaux par du SSD SATA. Afin de pouvoir migrer sans casser mon RAID, il me faut des disques au moins aussi gros que mes HDDs (donc 4To).
Vu le prix des SSDs SATA 4To, va falloir être très gentil avec le Père Noël, et les modèles entreprise sont exclus.
Avez-vous des RETEX sur la fiabilité de SSDs grand publics utilisés pour de la prod dans des serveurs de ce type ?
J'ai toujours entendu du bien des Samsung (870 EVO etc) mais j'aimerais être sûr.
Preneur de vos avis, pistes, trucs et astuces !
Merci de m'avoir lu !
Nathan
Hello,
et les modèles entreprise sont exclus
Imo, sauf trouver la perle rare côté consumer, des modèles entreprise d'ocaz seront clairement mieux même si plus cher sur le coup.
À long terme cependant, t'aura à les remplacer moins souvent :) (been there, done that)
Maintenant que ça c'est dit, une autre possibilité sinon que de remplacer tes HDD si t'as besoin de plus "d'IOPS" seulement pour certaines CT où ça bourrinne pas trop à moindre coup --> NVMe sur des cartes PCIe -> M.2 et t'en fait un pool de stockage à part de l'existant. Par contre attention, sur série x2x chez Dell tu ne pourra pas booter le système sur du NVMe directement, donc uniquement à utiliser pour du stockage.
Aussi rien à voir et ne risque pas trop de poser soucis vu qu'à priori du fait du LVM sur un FS type ext4/xfs, ta H310 "en mode JBOD" a été flashée dans le firmware IT ou juste passée en mode "non-raid" ? (sachant qu'il faut prendre en compte aussi que ces vielles cartes ont aussi leurs propres limites techniques même en firmware IT)
- Jarod
Le 27/09/2025 à 17:48, Nathan MALO a écrit :
Hello la liste !
Premier post ici, j'en ai presque des frissons. Topic qui sort un peu du cadre pro mais je pense trouver des retex intéressants ici.
Je possède aujourd'hui une prod perso basée sur la config suivante:
- Dell R320 hébergé en DC par des potes
- 64Go de DDR3
- Intel(R) Xeon(R) CPU E5-2430L v2
- Contrôleur de stockage Perc H310 Mini en mode JBOD
- 3 Disques de 4To 7200rpm en softraid5 (1xToshiba HDWQ140, 2xToshiba
HDWG440) pour le système
- 1 Disque de 2To utilisé en tampon de backup (Seagate)
Ce serveur héberge une trentaine de conteneurs LXC, principalement des webapps avec DBs, dont un Nextcloud qui grossit bien et une stack ELK pour la collecte de logs. Ces deux derniers font bien gratter les disques.
Sur le plan CPU et RAM rien à redire, j'ai largement ce qu'il me faut. Mais en HDD, j'aimerais plus d'IOPS pour fluidifier les performances. De plus, mes backups se basent sur des snapshots LVMs pour créer les tarball master et incrémentales, ce qui ralentit fortement encore les IOs lors du backup. Et un apt upgrade c'est bien lent aussi.
J'aimerais aujourd'hui remplacer mes disques plateaux par du SSD SATA. Afin de pouvoir migrer sans casser mon RAID, il me faut des disques au moins aussi gros que mes HDDs (donc 4To).
Vu le prix des SSDs SATA 4To, va falloir être très gentil avec le Père Noël, et les modèles entreprise sont exclus.
Avez-vous des RETEX sur la fiabilité de SSDs grand publics utilisés pour de la prod dans des serveurs de ce type ?
J'ai toujours entendu du bien des Samsung (870 EVO etc) mais j'aimerais être sûr.
Preneur de vos avis, pistes, trucs et astuces !
Merci de m'avoir lu !
Nathan
Liste de diffusion du French Sysadmin Group https://www.frsag.org/
Hello !
Intéressant le coup de la carte pci-e pour du nvme, je n'y avais pas pensé. Si tu as des modèles en tête je suis preneur !
Pour les SSD entreprise, j'ai déjà testé des disques SSD Dell dans un R720 avec une H710 en mode non raid. Les performances étaient tellement catastrophiques (sans mentionner les timeout d'IO sur le SSD) que ça m'a laissé penser qu'ils y avaient des soucis de compatibilité, du coup que je suis un peu timide à mettre du entreprise dedans vu l'âge de la gamme x2x.
Quant à mon H310, elle n'est pas flashée, juste en mode non-raid.
Preneur de lien de site de revente si tu en connais de qualité !
Merci pour tes réponses,
Nathan
Le sam. 27 sept. 2025, 20:43, Jarod G. skid+frsag@gamindustri.fr a écrit :
Hello,
et les modèles entreprise sont exclus
Imo, sauf trouver la perle rare côté consumer, des modèles entreprise d'ocaz seront clairement mieux même si plus cher sur le coup.
À long terme cependant, t'aura à les remplacer moins souvent :) (been there, done that)
Maintenant que ça c'est dit, une autre possibilité sinon que de remplacer tes HDD si t'as besoin de plus "d'IOPS" seulement pour certaines CT où ça bourrinne pas trop à moindre coup --> NVMe sur des cartes PCIe -> M.2 et t'en fait un pool de stockage à part de l'existant. Par contre attention, sur série x2x chez Dell tu ne pourra pas booter le système sur du NVMe directement, donc uniquement à utiliser pour du stockage.
Aussi rien à voir et ne risque pas trop de poser soucis vu qu'à priori du fait du LVM sur un FS type ext4/xfs, ta H310 "en mode JBOD" a été flashée dans le firmware IT ou juste passée en mode "non-raid" ? (sachant qu'il faut prendre en compte aussi que ces vielles cartes ont aussi leurs propres limites techniques même en firmware IT)
- Jarod
Le 27/09/2025 à 17:48, Nathan MALO a écrit :
Hello la liste !
Premier post ici, j'en ai presque des frissons. Topic qui sort un peu du cadre pro mais je pense trouver des retex intéressants ici.
Je possède aujourd'hui une prod perso basée sur la config suivante:
- Dell R320 hébergé en DC par des potes
- 64Go de DDR3
- Intel(R) Xeon(R) CPU E5-2430L v2
- Contrôleur de stockage Perc H310 Mini en mode JBOD
- 3 Disques de 4To 7200rpm en softraid5 (1xToshiba HDWQ140, 2xToshiba
HDWG440) pour le système
- 1 Disque de 2To utilisé en tampon de backup (Seagate)
Ce serveur héberge une trentaine de conteneurs LXC, principalement des webapps avec DBs, dont un Nextcloud qui grossit bien et une stack ELK pour la collecte de logs. Ces deux derniers font bien gratter les disques.
Sur le plan CPU et RAM rien à redire, j'ai largement ce qu'il me faut. Mais en HDD, j'aimerais plus d'IOPS pour fluidifier les performances. De plus, mes backups se basent sur des snapshots LVMs pour créer les tarball master et incrémentales, ce qui ralentit fortement encore les IOs lors du backup. Et un apt upgrade c'est bien lent aussi.
J'aimerais aujourd'hui remplacer mes disques plateaux par du SSD SATA. Afin de pouvoir migrer sans casser mon RAID, il me faut des disques au moins aussi gros que mes HDDs (donc 4To).
Vu le prix des SSDs SATA 4To, va falloir être très gentil avec le Père Noël, et les modèles entreprise sont exclus.
Avez-vous des RETEX sur la fiabilité de SSDs grand publics utilisés pour de la prod dans des serveurs de ce type ?
J'ai toujours entendu du bien des Samsung (870 EVO etc) mais j'aimerais être sûr.
Preneur de vos avis, pistes, trucs et astuces !
Merci de m'avoir lu !
Nathan
Liste de diffusion du French Sysadmin Group https://www.frsag.org/
J'utilise personnellement ces cartes là : https://l.anjara.eu/7c78fe, elles ont un chip pour gérer la bifurcation PCIe au cas où le système sait pas faire tout seul.
Pour les perfs sur les cartes séries 10 je suis pas surpris malheureusement, c'est pas un soucis de compatibilité, juste les cartes sont pour des usages en 2025, rincées.
Si tu veux garder des machines séries 20, tu peux tenter de coller des HBA un peu plus modernes, sinon déjà flasher tes cartes avec le firmware IT ça sera déjà (un peu) mieux. (tu passe de 25 de queue depth à 600) À noter que le passage du firmware IR à IT tu perd les fonctions de raid hardware (normal) mais aussi le reporting stockage dans l'idrac. Et autre note, entre une H310 et une H310 mini mono, même si ça a le même firmware, ça se flash pas exactement pareil, faudra bien faire attention :)
T'as une doc qui semble pas trop mal ici : https://fohdeesha.com/docs/perc.html
Je l'ai déjà fait plusieurs fois, faut juste pas skip des étapes et ça se passe bien :)
- Jarod
Le 27/09/2025 à 21:02, Nathan MALO a écrit :
Hello !
Intéressant le coup de la carte pci-e pour du nvme, je n'y avais pas pensé. Si tu as des modèles en tête je suis preneur !
Pour les SSD entreprise, j'ai déjà testé des disques SSD Dell dans un R720 avec une H710 en mode non raid. Les performances étaient tellement catastrophiques (sans mentionner les timeout d'IO sur le SSD) que ça m'a laissé penser qu'ils y avaient des soucis de compatibilité, du coup que je suis un peu timide à mettre du entreprise dedans vu l'âge de la gamme x2x.
Quant à mon H310, elle n'est pas flashée, juste en mode non-raid.
Preneur de lien de site de revente si tu en connais de qualité !
Merci pour tes réponses,
Nathan
Le sam. 27 sept. 2025, 20:43, Jarod G. <skid+frsag@gamindustri.fr mailto:skid%2Bfrsag@gamindustri.fr> a écrit :
Hello, > et les modèles entreprise sont exclus Imo, sauf trouver la perle rare côté consumer, des modèles entreprise d'ocaz seront clairement mieux même si plus cher sur le coup. À long terme cependant, t'aura à les remplacer moins souvent :) (been there, done that) Maintenant que ça c'est dit, une autre possibilité sinon que de remplacer tes HDD si t'as besoin de plus "d'IOPS" seulement pour certaines CT où ça bourrinne pas trop à moindre coup --> NVMe sur des cartes PCIe -> M.2 et t'en fait un pool de stockage à part de l'existant. Par contre attention, sur série x2x chez Dell tu ne pourra pas booter le système sur du NVMe directement, donc uniquement à utiliser pour du stockage. Aussi rien à voir et ne risque pas trop de poser soucis vu qu'à priori du fait du LVM sur un FS type ext4/xfs, ta H310 "en mode JBOD" a été flashée dans le firmware IT ou juste passée en mode "non-raid" ? (sachant qu'il faut prendre en compte aussi que ces vielles cartes ont aussi leurs propres limites techniques même en firmware IT) - Jarod Le 27/09/2025 à 17:48, Nathan MALO a écrit : > Hello la liste ! > > Premier post ici, j'en ai presque des frissons. > Topic qui sort un peu du cadre pro mais je pense trouver des retex > intéressants ici. > > Je possède aujourd'hui une prod perso basée sur la config suivante: > - Dell R320 hébergé en DC par des potes > - 64Go de DDR3 > - Intel(R) Xeon(R) CPU E5-2430L v2 > - Contrôleur de stockage Perc H310 Mini en mode JBOD > - 3 Disques de 4To 7200rpm en softraid5 (1xToshiba HDWQ140, 2xToshiba > HDWG440) pour le système > - 1 Disque de 2To utilisé en tampon de backup (Seagate) > > Ce serveur héberge une trentaine de conteneurs LXC, principalement des > webapps avec DBs, dont un Nextcloud qui grossit bien et une stack ELK > pour la collecte de logs. > Ces deux derniers font bien gratter les disques. > > Sur le plan CPU et RAM rien à redire, j'ai largement ce qu'il me faut. > Mais en HDD, j'aimerais plus d'IOPS pour fluidifier les performances. > De plus, mes backups se basent sur des snapshots LVMs pour créer les > tarball master et incrémentales, ce qui ralentit fortement encore les > IOs lors du backup. > Et un apt upgrade c'est bien lent aussi. > > J'aimerais aujourd'hui remplacer mes disques plateaux par du SSD SATA. > Afin de pouvoir migrer sans casser mon RAID, il me faut des disques au > moins aussi gros que mes HDDs (donc 4To). > > Vu le prix des SSDs SATA 4To, va falloir être très gentil avec le Père > Noël, et les modèles entreprise sont exclus. > > Avez-vous des RETEX sur la fiabilité de SSDs grand publics utilisés > pour de la prod dans des serveurs de ce type ? > > J'ai toujours entendu du bien des Samsung (870 EVO etc) mais > j'aimerais être sûr. > > Preneur de vos avis, pistes, trucs et astuces ! > > Merci de m'avoir lu ! > > Nathan > > _______________________________________________ > Liste de diffusion du French Sysadmin Group > https://www.frsag.org/
Liste de diffusion du French Sysadmin Group https://www.frsag.org/
Merci pour le lien !
Hmm quand je parles de soucis de perfs je dépassais à peine les 10Mo/s en écriture aléatoire, d'où mon doute sur la compatibilité.
Merci pour la doc, je vais regarder ça !
Le sam. 27 sept. 2025, 22:12, Jarod G. skid+frsag@gamindustri.fr a écrit :
J'utilise personnellement ces cartes là : https://l.anjara.eu/7c78fe, elles ont un chip pour gérer la bifurcation PCIe au cas où le système sait pas faire tout seul.
Pour les perfs sur les cartes séries 10 je suis pas surpris malheureusement, c'est pas un soucis de compatibilité, juste les cartes sont pour des usages en 2025, rincées.
Si tu veux garder des machines séries 20, tu peux tenter de coller des HBA un peu plus modernes, sinon déjà flasher tes cartes avec le firmware IT ça sera déjà (un peu) mieux. (tu passe de 25 de queue depth à 600) À noter que le passage du firmware IR à IT tu perd les fonctions de raid hardware (normal) mais aussi le reporting stockage dans l'idrac. Et autre note, entre une H310 et une H310 mini mono, même si ça a le même firmware, ça se flash pas exactement pareil, faudra bien faire attention :)
T'as une doc qui semble pas trop mal ici : https://fohdeesha.com/docs/perc.html
Je l'ai déjà fait plusieurs fois, faut juste pas skip des étapes et ça se passe bien :)
- Jarod
Le 27/09/2025 à 21:02, Nathan MALO a écrit :
Hello !
Intéressant le coup de la carte pci-e pour du nvme, je n'y avais pas pensé. Si tu as des modèles en tête je suis preneur !
Pour les SSD entreprise, j'ai déjà testé des disques SSD Dell dans un R720 avec une H710 en mode non raid. Les performances étaient tellement catastrophiques (sans mentionner les timeout d'IO sur le SSD) que ça m'a laissé penser qu'ils y avaient des soucis de compatibilité, du coup que je suis un peu timide à mettre du entreprise dedans vu l'âge de la gamme x2x.
Quant à mon H310, elle n'est pas flashée, juste en mode non-raid.
Preneur de lien de site de revente si tu en connais de qualité !
Merci pour tes réponses,
Nathan
Le sam. 27 sept. 2025, 20:43, Jarod G. skid+frsag@gamindustri.fr a écrit :
Hello,
et les modèles entreprise sont exclus
Imo, sauf trouver la perle rare côté consumer, des modèles entreprise d'ocaz seront clairement mieux même si plus cher sur le coup.
À long terme cependant, t'aura à les remplacer moins souvent :) (been there, done that)
Maintenant que ça c'est dit, une autre possibilité sinon que de remplacer tes HDD si t'as besoin de plus "d'IOPS" seulement pour certaines CT où ça bourrinne pas trop à moindre coup --> NVMe sur des cartes PCIe -> M.2 et t'en fait un pool de stockage à part de l'existant. Par contre attention, sur série x2x chez Dell tu ne pourra pas booter le système sur du NVMe directement, donc uniquement à utiliser pour du stockage.
Aussi rien à voir et ne risque pas trop de poser soucis vu qu'à priori du fait du LVM sur un FS type ext4/xfs, ta H310 "en mode JBOD" a été flashée dans le firmware IT ou juste passée en mode "non-raid" ? (sachant qu'il faut prendre en compte aussi que ces vielles cartes ont aussi leurs propres limites techniques même en firmware IT)
- Jarod
Le 27/09/2025 à 17:48, Nathan MALO a écrit :
Hello la liste !
Premier post ici, j'en ai presque des frissons. Topic qui sort un peu du cadre pro mais je pense trouver des retex intéressants ici.
Je possède aujourd'hui une prod perso basée sur la config suivante:
- Dell R320 hébergé en DC par des potes
- 64Go de DDR3
- Intel(R) Xeon(R) CPU E5-2430L v2
- Contrôleur de stockage Perc H310 Mini en mode JBOD
- 3 Disques de 4To 7200rpm en softraid5 (1xToshiba HDWQ140, 2xToshiba
HDWG440) pour le système
- 1 Disque de 2To utilisé en tampon de backup (Seagate)
Ce serveur héberge une trentaine de conteneurs LXC, principalement des webapps avec DBs, dont un Nextcloud qui grossit bien et une stack ELK pour la collecte de logs. Ces deux derniers font bien gratter les disques.
Sur le plan CPU et RAM rien à redire, j'ai largement ce qu'il me faut. Mais en HDD, j'aimerais plus d'IOPS pour fluidifier les performances. De plus, mes backups se basent sur des snapshots LVMs pour créer les tarball master et incrémentales, ce qui ralentit fortement encore les IOs lors du backup. Et un apt upgrade c'est bien lent aussi.
J'aimerais aujourd'hui remplacer mes disques plateaux par du SSD SATA. Afin de pouvoir migrer sans casser mon RAID, il me faut des disques au moins aussi gros que mes HDDs (donc 4To).
Vu le prix des SSDs SATA 4To, va falloir être très gentil avec le Père Noël, et les modèles entreprise sont exclus.
Avez-vous des RETEX sur la fiabilité de SSDs grand publics utilisés pour de la prod dans des serveurs de ce type ?
J'ai toujours entendu du bien des Samsung (870 EVO etc) mais j'aimerais être sûr.
Preneur de vos avis, pistes, trucs et astuces !
Merci de m'avoir lu !
Nathan
Liste de diffusion du French Sysadmin Group https://www.frsag.org/
Liste de diffusion du French Sysadmin Grouphttps://www.frsag.org/
Si tu as des modèles en tête je suis preneur !
A $job-2, on utilisait une carte Startech (1 seul emplacement M2, probablement la PEX4M2E1) avec un 970 Evo M2 de 2To. Le SSD était utilisé pour écrire le syslog (~50Go/j) et écrire les PCAP de la totalité du SIP+RTP qui passait sur la plateforme (~800Go/j). Quasi que de l'écriture, peu de lectures. Après 4 ans de loyaux services, ça marchait comme au premier jour et le SMART m'indiquait qu'il avait encore de beaux jours devant lui. La capacité de stockage aurait de toute façon été obsolète bien avant la fin de vie du SSD.
Le seul "défaut" que je lui trouvais était que quand j'écrivais de grandes quantités de données (plusieurs dizaines de Go) en saturant sa bande passante (quelques Go/s), sa température augmentait jusqu'a ce que le throttling s'active et limite le débit (le débit limité étant de toute façon très supérieur a mon besoin de l'époque). Il n'y avait pas de dissipateur sur le SSD, et de toute façon je n'avais ce "problème" que sur des usages très ponctuels.
Si j'avais aujourd'hui le même besoin, je referais exactement la même chose : SSD grand public sur M2 (soit natif s'il y a un slot sur la carte mère, soit via carte PCI-e). Le prix est ridiculement faible par rapport a la performance. A savoir que ce SSD n'était pas critique : si je le perdais, ça n'impactait pas la production.
Alexis
Le 27/09/2025 à 21:02, Nathan MALO a écrit :
Hello !
Intéressant le coup de la carte pci-e pour du nvme, je n'y avais pas pensé. Si tu as des modèles en tête je suis preneur !
Pour les SSD entreprise, j'ai déjà testé des disques SSD Dell dans un R720 avec une H710 en mode non raid. Les performances étaient tellement catastrophiques (sans mentionner les timeout d'IO sur le SSD) que ça m'a laissé penser qu'ils y avaient des soucis de compatibilité, du coup que je suis un peu timide à mettre du entreprise dedans vu l'âge de la gamme x2x.
Quant à mon H310, elle n'est pas flashée, juste en mode non-raid.
Preneur de lien de site de revente si tu en connais de qualité !
Merci pour tes réponses,
Nathan
Le sam. 27 sept. 2025, 20:43, Jarod G. <skid+frsag@gamindustri.fr mailto:skid%2Bfrsag@gamindustri.fr> a écrit :
Hello, > et les modèles entreprise sont exclus Imo, sauf trouver la perle rare côté consumer, des modèles entreprise d'ocaz seront clairement mieux même si plus cher sur le coup. À long terme cependant, t'aura à les remplacer moins souvent :) (been there, done that) Maintenant que ça c'est dit, une autre possibilité sinon que de remplacer tes HDD si t'as besoin de plus "d'IOPS" seulement pour certaines CT où ça bourrinne pas trop à moindre coup --> NVMe sur des cartes PCIe -> M.2 et t'en fait un pool de stockage à part de l'existant. Par contre attention, sur série x2x chez Dell tu ne pourra pas booter le système sur du NVMe directement, donc uniquement à utiliser pour du stockage. Aussi rien à voir et ne risque pas trop de poser soucis vu qu'à priori du fait du LVM sur un FS type ext4/xfs, ta H310 "en mode JBOD" a été flashée dans le firmware IT ou juste passée en mode "non-raid" ? (sachant qu'il faut prendre en compte aussi que ces vielles cartes ont aussi leurs propres limites techniques même en firmware IT) - Jarod Le 27/09/2025 à 17:48, Nathan MALO a écrit : > Hello la liste ! > > Premier post ici, j'en ai presque des frissons. > Topic qui sort un peu du cadre pro mais je pense trouver des retex > intéressants ici. > > Je possède aujourd'hui une prod perso basée sur la config suivante: > - Dell R320 hébergé en DC par des potes > - 64Go de DDR3 > - Intel(R) Xeon(R) CPU E5-2430L v2 > - Contrôleur de stockage Perc H310 Mini en mode JBOD > - 3 Disques de 4To 7200rpm en softraid5 (1xToshiba HDWQ140, 2xToshiba > HDWG440) pour le système > - 1 Disque de 2To utilisé en tampon de backup (Seagate) > > Ce serveur héberge une trentaine de conteneurs LXC, principalement des > webapps avec DBs, dont un Nextcloud qui grossit bien et une stack ELK > pour la collecte de logs. > Ces deux derniers font bien gratter les disques. > > Sur le plan CPU et RAM rien à redire, j'ai largement ce qu'il me faut. > Mais en HDD, j'aimerais plus d'IOPS pour fluidifier les performances. > De plus, mes backups se basent sur des snapshots LVMs pour créer les > tarball master et incrémentales, ce qui ralentit fortement encore les > IOs lors du backup. > Et un apt upgrade c'est bien lent aussi. > > J'aimerais aujourd'hui remplacer mes disques plateaux par du SSD SATA. > Afin de pouvoir migrer sans casser mon RAID, il me faut des disques au > moins aussi gros que mes HDDs (donc 4To). > > Vu le prix des SSDs SATA 4To, va falloir être très gentil avec le Père > Noël, et les modèles entreprise sont exclus. > > Avez-vous des RETEX sur la fiabilité de SSDs grand publics utilisés > pour de la prod dans des serveurs de ce type ? > > J'ai toujours entendu du bien des Samsung (870 EVO etc) mais > j'aimerais être sûr. > > Preneur de vos avis, pistes, trucs et astuces ! > > Merci de m'avoir lu ! > > Nathan > > _______________________________________________ > Liste de diffusion du French Sysadmin Group > https://www.frsag.org/
Liste de diffusion du French Sysadmin Group https://www.frsag.org/
Salut,j'ai un cluster de 3 noeuds proxmox avec du Samsung EVO 870 et du Sandisk en SATA. Plus ils sont gros plus ils ont un TBW élevé.Mes 2To EVO 870 sont donnés pour du 1200TBW, les 4To c'est le 2400 TBW. 4 ans de service H24, pas de souci. Snapshots réguliers entre les noeuds (15 min à 6h selon le service, ça reste du perso).A moins d'avoir de grosses applis très intensives en écritures, si c'est pour du perso t'es tranquille. Et clairement le spinning rust c'est fini pour moi dans le homelab, la vitesse du SSD pour les maj, les backups (5/10Gb entre les noeuds et le NAS) etc c'est devenu indispensable.Y a que le NAS qui a du rotatif désormais mais le RAIDZ permet de bien encaisser les transferts lors du backupRichardEnvoyé depuis mon appareil Galaxy -------- Message d'origine --------De : "Jarod G. via FRsAG" frsag@frsag.org Date : 27/09/2025 20:45 (GMT+01:00) À : Nathan MALO nathan.malo@gmail.com, frsag@frsag.org Objet : [FRsAG] Re: Quels SSDs pour une prod-perso ? Hello,> et les modèles entreprise sont exclusImo, sauf trouver la perle rare côté consumer, des modèles entreprise d'ocaz seront clairement mieux même si plus cher sur le coup.À long terme cependant, t'aura à les remplacer moins souvent :) (been there, done that)Maintenant que ça c'est dit, une autre possibilité sinon que de remplacer tes HDD si t'as besoin de plus "d'IOPS" seulement pour certaines CT où ça bourrinne pas trop à moindre coup --> NVMe sur des cartes PCIe -> M.2 et t'en fait un pool de stockage à part de l'existant.Par contre attention, sur série x2x chez Dell tu ne pourra pas booter le système sur du NVMe directement, donc uniquement à utiliser pour du stockage.Aussi rien à voir et ne risque pas trop de poser soucis vu qu'à priori du fait du LVM sur un FS type ext4/xfs, ta H310 "en mode JBOD" a été flashée dans le firmware IT ou juste passée en mode "non-raid" ?(sachant qu'il faut prendre en compte aussi que ces vielles cartes ont aussi leurs propres limites techniques même en firmware IT)- JarodLe 27/09/2025 à 17:48, Nathan MALO a écrit :> Hello la liste !>> Premier post ici, j'en ai presque des frissons.> Topic qui sort un peu du cadre pro mais je pense trouver des retex > intéressants ici.>> Je possède aujourd'hui une prod perso basée sur la config suivante:> - Dell R320 hébergé en DC par des potes> - 64Go de DDR3> - Intel(R) Xeon(R) CPU E5-2430L v2> - Contrôleur de stockage Perc H310 Mini en mode JBOD> - 3 Disques de 4To 7200rpm en softraid5 (1xToshiba HDWQ140, 2xToshiba > HDWG440) pour le système> - 1 Disque de 2To utilisé en tampon de backup (Seagate)>> Ce serveur héberge une trentaine de conteneurs LXC, principalement des > webapps avec DBs, dont un Nextcloud qui grossit bien et une stack ELK > pour la collecte de logs.> Ces deux derniers font bien gratter les disques.>> Sur le plan CPU et RAM rien à redire, j'ai largement ce qu'il me faut.> Mais en HDD, j'aimerais plus d'IOPS pour fluidifier les performances.> De plus, mes backups se basent sur des snapshots LVMs pour créer les > tarball master et incrémentales, ce qui ralentit fortement encore les > IOs lors du backup.> Et un apt upgrade c'est bien lent aussi.>> J'aimerais aujourd'hui remplacer mes disques plateaux par du SSD SATA.> Afin de pouvoir migrer sans casser mon RAID, il me faut des disques au > moins aussi gros que mes HDDs (donc 4To).>> Vu le prix des SSDs SATA 4To, va falloir être très gentil avec le Père > Noël, et les modèles entreprise sont exclus.>> Avez-vous des RETEX sur la fiabilité de SSDs grand publics utilisés > pour de la prod dans des serveurs de ce type ?>> J'ai toujours entendu du bien des Samsung (870 EVO etc) mais > j'aimerais être sûr.>> Preneur de vos avis, pistes, trucs et astuces !>> Merci de m'avoir lu !>> Nathan>> _______________________________________________> Liste de diffusion du French Sysadmin Group> https://www.frsag.org/_______________________________________________Liste de diffusion du French Sysadmin Grouphttps://www.frsag.org/
Oh intéressant ! Et après 4 ans les données SMART ne montrent pas d'usure particulière ?
Merci pour ton retour,
Nathan
Le sam. 27 sept. 2025, 21:13, Richard Baret richard@baret.me a écrit :
Salut,
j'ai un cluster de 3 noeuds proxmox avec du Samsung EVO 870 et du Sandisk en SATA. Plus ils sont gros plus ils ont un TBW élevé.
Mes 2To EVO 870 sont donnés pour du 1200TBW, les 4To c'est le 2400 TBW. 4 ans de service H24, pas de souci. Snapshots réguliers entre les noeuds (15 min à 6h selon le service, ça reste du perso).
A moins d'avoir de grosses applis très intensives en écritures, si c'est pour du perso t'es tranquille. Et clairement le spinning rust c'est fini pour moi dans le homelab, la vitesse du SSD pour les maj, les backups (5/10Gb entre les noeuds et le NAS) etc c'est devenu indispensable.
Y a que le NAS qui a du rotatif désormais mais le RAIDZ permet de bien encaisser les transferts lors du backup
Richard
Envoyé depuis mon appareil Galaxy
-------- Message d'origine -------- De : "Jarod G. via FRsAG" frsag@frsag.org Date : 27/09/2025 20:45 (GMT+01:00) À : Nathan MALO nathan.malo@gmail.com, frsag@frsag.org Objet : [FRsAG] Re: Quels SSDs pour une prod-perso ?
Hello,
et les modèles entreprise sont exclus
Imo, sauf trouver la perle rare côté consumer, des modèles entreprise d'ocaz seront clairement mieux même si plus cher sur le coup.
À long terme cependant, t'aura à les remplacer moins souvent :) (been there, done that)
Maintenant que ça c'est dit, une autre possibilité sinon que de remplacer tes HDD si t'as besoin de plus "d'IOPS" seulement pour certaines CT où ça bourrinne pas trop à moindre coup --> NVMe sur des cartes PCIe -> M.2 et t'en fait un pool de stockage à part de l'existant. Par contre attention, sur série x2x chez Dell tu ne pourra pas booter le système sur du NVMe directement, donc uniquement à utiliser pour du stockage.
Aussi rien à voir et ne risque pas trop de poser soucis vu qu'à priori du fait du LVM sur un FS type ext4/xfs, ta H310 "en mode JBOD" a été flashée dans le firmware IT ou juste passée en mode "non-raid" ? (sachant qu'il faut prendre en compte aussi que ces vielles cartes ont aussi leurs propres limites techniques même en firmware IT)
- Jarod
Le 27/09/2025 à 17:48, Nathan MALO a écrit :
Hello la liste !
Premier post ici, j'en ai presque des frissons. Topic qui sort un peu du cadre pro mais je pense trouver des retex intéressants ici.
Je possède aujourd'hui une prod perso basée sur la config suivante:
- Dell R320 hébergé en DC par des potes
- 64Go de DDR3
- Intel(R) Xeon(R) CPU E5-2430L v2
- Contrôleur de stockage Perc H310 Mini en mode JBOD
- 3 Disques de 4To 7200rpm en softraid5 (1xToshiba HDWQ140, 2xToshiba
HDWG440) pour le système
- 1 Disque de 2To utilisé en tampon de backup (Seagate)
Ce serveur héberge une trentaine de conteneurs LXC, principalement des webapps avec DBs, dont un Nextcloud qui grossit bien et une stack ELK pour la collecte de logs. Ces deux derniers font bien gratter les disques.
Sur le plan CPU et RAM rien à redire, j'ai largement ce qu'il me faut. Mais en HDD, j'aimerais plus d'IOPS pour fluidifier les performances. De plus, mes backups se basent sur des snapshots LVMs pour créer les tarball master et incrémentales, ce qui ralentit fortement encore les IOs lors du backup. Et un apt upgrade c'est bien lent aussi.
J'aimerais aujourd'hui remplacer mes disques plateaux par du SSD SATA. Afin de pouvoir migrer sans casser mon RAID, il me faut des disques au moins aussi gros que mes HDDs (donc 4To).
Vu le prix des SSDs SATA 4To, va falloir être très gentil avec le Père Noël, et les modèles entreprise sont exclus.
Avez-vous des RETEX sur la fiabilité de SSDs grand publics utilisés pour de la prod dans des serveurs de ce type ?
J'ai toujours entendu du bien des Samsung (870 EVO etc) mais j'aimerais être sûr.
Preneur de vos avis, pistes, trucs et astuces !
Merci de m'avoir lu !
Nathan
Liste de diffusion du French Sysadmin Group https://www.frsag.org/
Liste de diffusion du French Sysadmin Group https://www.frsag.org/
Bonsoir, On peut avoir des écarts de perf considérables entre des SSD grand public, même pro et les gammes DC entreprise : https://gist.github.com/anarazel/b527e5317bb7d58483a9858f5f2435ca https://www.sebastien-han.fr/blog/2014/10/10/ceph-how-to-test-if-your-ssd-is... https://kcall.co.uk/ssd/index.html
Le dim. 28 sept. 2025 à 16:45, Nathan MALO nathan.malo@gmail.com a écrit :
Oh intéressant ! Et après 4 ans les données SMART ne montrent pas d'usure particulière ?
Merci pour ton retour,
Nathan
Le sam. 27 sept. 2025, 21:13, Richard Baret richard@baret.me a écrit :
Salut,
j'ai un cluster de 3 noeuds proxmox avec du Samsung EVO 870 et du Sandisk en SATA. Plus ils sont gros plus ils ont un TBW élevé.
Mes 2To EVO 870 sont donnés pour du 1200TBW, les 4To c'est le 2400 TBW. 4 ans de service H24, pas de souci. Snapshots réguliers entre les noeuds (15 min à 6h selon le service, ça reste du perso).
A moins d'avoir de grosses applis très intensives en écritures, si c'est pour du perso t'es tranquille. Et clairement le spinning rust c'est fini pour moi dans le homelab, la vitesse du SSD pour les maj, les backups (5/10Gb entre les noeuds et le NAS) etc c'est devenu indispensable.
Y a que le NAS qui a du rotatif désormais mais le RAIDZ permet de bien encaisser les transferts lors du backup
Richard
Envoyé depuis mon appareil Galaxy
-------- Message d'origine -------- De : "Jarod G. via FRsAG" frsag@frsag.org Date : 27/09/2025 20:45 (GMT+01:00) À : Nathan MALO nathan.malo@gmail.com, frsag@frsag.org Objet : [FRsAG] Re: Quels SSDs pour une prod-perso ?
Hello,
et les modèles entreprise sont exclus
Imo, sauf trouver la perle rare côté consumer, des modèles entreprise d'ocaz seront clairement mieux même si plus cher sur le coup.
À long terme cependant, t'aura à les remplacer moins souvent :) (been there, done that)
Maintenant que ça c'est dit, une autre possibilité sinon que de remplacer tes HDD si t'as besoin de plus "d'IOPS" seulement pour certaines CT où ça bourrinne pas trop à moindre coup --> NVMe sur des cartes PCIe -> M.2 et t'en fait un pool de stockage à part de l'existant. Par contre attention, sur série x2x chez Dell tu ne pourra pas booter le système sur du NVMe directement, donc uniquement à utiliser pour du stockage.
Aussi rien à voir et ne risque pas trop de poser soucis vu qu'à priori du fait du LVM sur un FS type ext4/xfs, ta H310 "en mode JBOD" a été flashée dans le firmware IT ou juste passée en mode "non-raid" ? (sachant qu'il faut prendre en compte aussi que ces vielles cartes ont aussi leurs propres limites techniques même en firmware IT)
- Jarod
Le 27/09/2025 à 17:48, Nathan MALO a écrit :
Hello la liste !
Premier post ici, j'en ai presque des frissons. Topic qui sort un peu du cadre pro mais je pense trouver des retex intéressants ici.
Je possède aujourd'hui une prod perso basée sur la config suivante:
- Dell R320 hébergé en DC par des potes
- 64Go de DDR3
- Intel(R) Xeon(R) CPU E5-2430L v2
- Contrôleur de stockage Perc H310 Mini en mode JBOD
- 3 Disques de 4To 7200rpm en softraid5 (1xToshiba HDWQ140, 2xToshiba
HDWG440) pour le système
- 1 Disque de 2To utilisé en tampon de backup (Seagate)
Ce serveur héberge une trentaine de conteneurs LXC, principalement des webapps avec DBs, dont un Nextcloud qui grossit bien et une stack ELK pour la collecte de logs. Ces deux derniers font bien gratter les disques.
Sur le plan CPU et RAM rien à redire, j'ai largement ce qu'il me faut. Mais en HDD, j'aimerais plus d'IOPS pour fluidifier les performances. De plus, mes backups se basent sur des snapshots LVMs pour créer les tarball master et incrémentales, ce qui ralentit fortement encore les IOs lors du backup. Et un apt upgrade c'est bien lent aussi.
J'aimerais aujourd'hui remplacer mes disques plateaux par du SSD SATA. Afin de pouvoir migrer sans casser mon RAID, il me faut des disques au moins aussi gros que mes HDDs (donc 4To).
Vu le prix des SSDs SATA 4To, va falloir être très gentil avec le Père Noël, et les modèles entreprise sont exclus.
Avez-vous des RETEX sur la fiabilité de SSDs grand publics utilisés pour de la prod dans des serveurs de ce type ?
J'ai toujours entendu du bien des Samsung (870 EVO etc) mais j'aimerais être sûr.
Preneur de vos avis, pistes, trucs et astuces !
Merci de m'avoir lu !
Nathan
Liste de diffusion du French Sysadmin Group https://www.frsag.org/
Liste de diffusion du French Sysadmin Group https://www.frsag.org/
Liste de diffusion du French Sysadmin Group https://www.frsag.org/
Bonsoir !
Sur les 4 870 EVO 4To que j'ai dans mon homelab, y en a 3 qui ont laché (dont 2 avec même pas 5To en écriture) et le 4ème est pas loin du décès non plus, après 3 ans d'usage. Et ils proviennent de séries différentes ... Comme les disques mécaniques, il vaut mieux avoir de la diversité dans les modèles. Dans les mêmes gammes de prix, on peut aussi trouver des SSD de NAS comme les WD Red.
Le 28/09/2025 à 22:22, adrien nayrat a écrit :
Bonsoir, On peut avoir des écarts de perf considérables entre des SSD grand public, même pro et les gammes DC entreprise : https://gist.github.com/anarazel/b527e5317bb7d58483a9858f5f2435ca https://gist.github.com/anarazel/b527e5317bb7d58483a9858f5f2435ca https://www.sebastien-han.fr/blog/2014/10/10/ceph-how-to-test-if-your- ssd-is-suitable-as-a-journal-device/ <https://www.sebastien-han.fr/ blog/2014/10/10/ceph-how-to-test-if-your-ssd-is-suitable-as-a-journal- device/> https://kcall.co.uk/ssd/index.html https://kcall.co.uk/ssd/index.html
Le dim. 28 sept. 2025 à 16:45, Nathan MALO <nathan.malo@gmail.com mailto:nathan.malo@gmail.com> a écrit :
Oh intéressant ! Et après 4 ans les données SMART ne montrent pas d'usure particulière ? Merci pour ton retour, Nathan Le sam. 27 sept. 2025, 21:13, Richard Baret <richard@baret.me <mailto:richard@baret.me>> a écrit : Salut, j'ai un cluster de 3 noeuds proxmox avec du Samsung EVO 870 et du Sandisk en SATA. Plus ils sont gros plus ils ont un TBW élevé. Mes 2To EVO 870 sont donnés pour du 1200TBW, les 4To c'est le 2400 TBW. 4 ans de service H24, pas de souci. Snapshots réguliers entre les noeuds (15 min à 6h selon le service, ça reste du perso). A moins d'avoir de grosses applis très intensives en écritures, si c'est pour du perso t'es tranquille. Et clairement le spinning rust c'est fini pour moi dans le homelab, la vitesse du SSD pour les maj, les backups (5/10Gb entre les noeuds et le NAS) etc c'est devenu indispensable. Y a que le NAS qui a du rotatif désormais mais le RAIDZ permet de bien encaisser les transferts lors du backup Richard Envoyé depuis mon appareil Galaxy -------- Message d'origine -------- De : "Jarod G. via FRsAG" <frsag@frsag.org <mailto:frsag@frsag.org>> Date : 27/09/2025 20:45 (GMT+01:00) À : Nathan MALO <nathan.malo@gmail.com <mailto:nathan.malo@gmail.com>>, frsag@frsag.org <mailto:frsag@frsag.org> Objet : [FRsAG] Re: Quels SSDs pour une prod-perso ? Hello, > et les modèles entreprise sont exclus Imo, sauf trouver la perle rare côté consumer, des modèles entreprise d'ocaz seront clairement mieux même si plus cher sur le coup. À long terme cependant, t'aura à les remplacer moins souvent :) (been there, done that) Maintenant que ça c'est dit, une autre possibilité sinon que de remplacer tes HDD si t'as besoin de plus "d'IOPS" seulement pour certaines CT où ça bourrinne pas trop à moindre coup --> NVMe sur des cartes PCIe -> M.2 et t'en fait un pool de stockage à part de l'existant. Par contre attention, sur série x2x chez Dell tu ne pourra pas booter le système sur du NVMe directement, donc uniquement à utiliser pour du stockage. Aussi rien à voir et ne risque pas trop de poser soucis vu qu'à priori du fait du LVM sur un FS type ext4/xfs, ta H310 "en mode JBOD" a été flashée dans le firmware IT ou juste passée en mode "non-raid" ? (sachant qu'il faut prendre en compte aussi que ces vielles cartes ont aussi leurs propres limites techniques même en firmware IT) - Jarod Le 27/09/2025 à 17:48, Nathan MALO a écrit : > Hello la liste ! > > Premier post ici, j'en ai presque des frissons. > Topic qui sort un peu du cadre pro mais je pense trouver des retex > intéressants ici. > > Je possède aujourd'hui une prod perso basée sur la config suivante: > - Dell R320 hébergé en DC par des potes > - 64Go de DDR3 > - Intel(R) Xeon(R) CPU E5-2430L v2 > - Contrôleur de stockage Perc H310 Mini en mode JBOD > - 3 Disques de 4To 7200rpm en softraid5 (1xToshiba HDWQ140, 2xToshiba > HDWG440) pour le système > - 1 Disque de 2To utilisé en tampon de backup (Seagate) > > Ce serveur héberge une trentaine de conteneurs LXC, principalement des > webapps avec DBs, dont un Nextcloud qui grossit bien et une stack ELK > pour la collecte de logs. > Ces deux derniers font bien gratter les disques. > > Sur le plan CPU et RAM rien à redire, j'ai largement ce qu'il me faut. > Mais en HDD, j'aimerais plus d'IOPS pour fluidifier les performances. > De plus, mes backups se basent sur des snapshots LVMs pour créer les > tarball master et incrémentales, ce qui ralentit fortement encore les > IOs lors du backup. > Et un apt upgrade c'est bien lent aussi. > > J'aimerais aujourd'hui remplacer mes disques plateaux par du SSD SATA. > Afin de pouvoir migrer sans casser mon RAID, il me faut des disques au > moins aussi gros que mes HDDs (donc 4To). > > Vu le prix des SSDs SATA 4To, va falloir être très gentil avec le Père > Noël, et les modèles entreprise sont exclus. > > Avez-vous des RETEX sur la fiabilité de SSDs grand publics utilisés > pour de la prod dans des serveurs de ce type ? > > J'ai toujours entendu du bien des Samsung (870 EVO etc) mais > j'aimerais être sûr. > > Preneur de vos avis, pistes, trucs et astuces ! > > Merci de m'avoir lu ! > > Nathan > > _______________________________________________ > Liste de diffusion du French Sysadmin Group > https://www.frsag.org/ <https://www.frsag.org/> _______________________________________________ Liste de diffusion du French Sysadmin Group https://www.frsag.org/ <https://www.frsag.org/> _______________________________________________ Liste de diffusion du French Sysadmin Group https://www.frsag.org/ <https://www.frsag.org/>
Liste de diffusion du French Sysadmin Group https://www.frsag.org/
Hello !
EDIT; Désolé pour l'envoi en double, j'ai oublié de mettre la liste en copie
Oh c'est vraiment pas de chance toutes ces défaillances. Sur des samsung cela me surprend !
Peux-tu donner plus d'infos sur la machine qui héberge ces disques ? Quelle est la workload type sur ton stockage ? Many reads ? Many writes ? Write Once Read Many ? Séquentiel ? Aléatoire ? Je suppose que trim est configuré de bout en bout (fstrim, mount option discard, conf LVM et luks si tu as, prise en charge par le contrôleur de disque) ? Ces disques étaient utilisés dans un raid ? Soft ? Hard ?
Ont-ils lâchés sans prévenir ou l'as tu vu venir avec les indicateurs SMART ou une baisse de performance ? Sur les 3 qui ont lâché et le 4e en fin de vie, as-tu pu déterminer la cause ?
Merci pour tes réponses,
Nathan
Le mar. 30 sept. 2025 à 07:20, ml-frsag@srv.mx a écrit :
Bonsoir !
Sur les 4 870 EVO 4To que j'ai dans mon homelab, y en a 3 qui ont laché (dont 2 avec même pas 5To en écriture) et le 4ème est pas loin du décès non plus, après 3 ans d'usage. Et ils proviennent de séries différentes ... Comme les disques mécaniques, il vaut mieux avoir de la diversité dans les modèles. Dans les mêmes gammes de prix, on peut aussi trouver des SSD de NAS comme les WD Red.
Le 28/09/2025 à 22:22, adrien nayrat a écrit :
Bonsoir, On peut avoir des écarts de perf considérables entre des SSD grand public, même pro et les gammes DC entreprise : https://gist.github.com/anarazel/b527e5317bb7d58483a9858f5f2435ca https://gist.github.com/anarazel/b527e5317bb7d58483a9858f5f2435ca https://www.sebastien-han.fr/blog/2014/10/10/ceph-how-to-test-if-your- ssd-is-suitable-as-a-journal-device/ https://www.sebastien-han.fr/ blog/2014/10/10/ceph-how-to-test-if-your-ssd-is-suitable-as-a-journal- device/ https://kcall.co.uk/ssd/index.html https://kcall.co.uk/ssd/index.html
Le dim. 28 sept. 2025 à 16:45, Nathan MALO <nathan.malo@gmail.com mailto:nathan.malo@gmail.com> a écrit :
Oh intéressant ! Et après 4 ans les données SMART ne montrent pas d'usureparticulière ?
Merci pour ton retour, Nathan Le sam. 27 sept. 2025, 21:13, Richard Baret <richard@baret.me <mailto:richard@baret.me>> a écrit : Salut, j'ai un cluster de 3 noeuds proxmox avec du Samsung EVO 870 et du Sandisk en SATA. Plus ils sont gros plus ils ont un TBW élevé. Mes 2To EVO 870 sont donnés pour du 1200TBW, les 4To c'est le 2400 TBW. 4 ans de service H24, pas de souci. Snapshots réguliers entre les noeuds (15 min à 6h selon le service, ça reste du perso). A moins d'avoir de grosses applis très intensives en écritures, si c'est pour du perso t'es tranquille. Et clairement le spinning rust c'est fini pour moi dans le homelab, la vitesse du SSD pour les maj, les backups (5/10Gb entre les noeuds et le NAS) etc c'est devenu indispensable. Y a que le NAS qui a du rotatif désormais mais le RAIDZ permet de bien encaisser les transferts lors du backup Richard Envoyé depuis mon appareil Galaxy -------- Message d'origine -------- De : "Jarod G. via FRsAG" <frsag@frsag.org <mailto:frsag@frsag.org>> Date : 27/09/2025 20:45 (GMT+01:00) À : Nathan MALO <nathan.malo@gmail.com <mailto:nathan.malo@gmail.com>>, frsag@frsag.org <mailto:frsag@frsag.org> Objet : [FRsAG] Re: Quels SSDs pour une prod-perso ? Hello, > et les modèles entreprise sont exclus Imo, sauf trouver la perle rare côté consumer, des modèles entreprise d'ocaz seront clairement mieux même si plus cher sur le coup. À long terme cependant, t'aura à les remplacer moins souvent :) (been there, done that) Maintenant que ça c'est dit, une autre possibilité sinon que de remplacer tes HDD si t'as besoin de plus "d'IOPS" seulement pour certaines CT où ça bourrinne pas trop à moindre coup --> NVMe sur des cartes PCIe -> M.2 et t'en fait un pool de stockage à part de l'existant. Par contre attention, sur série x2x chez Dell tu ne pourra pas booter le système sur du NVMe directement, donc uniquement à utiliser pourdu
stockage. Aussi rien à voir et ne risque pas trop de poser soucis vu qu'à priori du fait du LVM sur un FS type ext4/xfs, ta H310 "en mode JBOD" a été flashée dans le firmware IT ou juste passée en mode "non-raid" ? (sachant qu'il faut prendre en compte aussi que ces vielles cartes ont aussi leurs propres limites techniques même en firmware IT) - Jarod Le 27/09/2025 à 17:48, Nathan MALO a écrit : > Hello la liste ! > > Premier post ici, j'en ai presque des frissons. > Topic qui sort un peu du cadre pro mais je pense trouver des retex > intéressants ici. > > Je possède aujourd'hui une prod perso basée sur la config suivante: > - Dell R320 hébergé en DC par des potes > - 64Go de DDR3 > - Intel(R) Xeon(R) CPU E5-2430L v2 > - Contrôleur de stockage Perc H310 Mini en mode JBOD > - 3 Disques de 4To 7200rpm en softraid5 (1xToshiba HDWQ140, 2xToshiba > HDWG440) pour le système > - 1 Disque de 2To utilisé en tampon de backup (Seagate) > > Ce serveur héberge une trentaine de conteneurs LXC, principalement des > webapps avec DBs, dont un Nextcloud qui grossit bien et une stack ELK > pour la collecte de logs. > Ces deux derniers font bien gratter les disques. > > Sur le plan CPU et RAM rien à redire, j'ai largement ce qu'il me faut. > Mais en HDD, j'aimerais plus d'IOPS pour fluidifier les performances. > De plus, mes backups se basent sur des snapshots LVMs pour créer les > tarball master et incrémentales, ce qui ralentit fortement encore les > IOs lors du backup. > Et un apt upgrade c'est bien lent aussi. > > J'aimerais aujourd'hui remplacer mes disques plateaux par du SSD SATA. > Afin de pouvoir migrer sans casser mon RAID, il me faut des disques au > moins aussi gros que mes HDDs (donc 4To). > > Vu le prix des SSDs SATA 4To, va falloir être très gentil avec le Père > Noël, et les modèles entreprise sont exclus. > > Avez-vous des RETEX sur la fiabilité de SSDs grand publics utilisés > pour de la prod dans des serveurs de ce type ? > > J'ai toujours entendu du bien des Samsung (870 EVO etc) mais > j'aimerais être sûr. > > Preneur de vos avis, pistes, trucs et astuces ! > > Merci de m'avoir lu ! > > Nathan > > _______________________________________________ > Liste de diffusion du French Sysadmin Group > https://www.frsag.org/ <https://www.frsag.org/> _______________________________________________ Liste de diffusion du French Sysadmin Group https://www.frsag.org/ <https://www.frsag.org/> _______________________________________________ Liste de diffusion du French Sysadmin Group https://www.frsag.org/ <https://www.frsag.org/>
Liste de diffusion du French Sysadmin Group https://www.frsag.org/
Liste de diffusion du French Sysadmin Group https://www.frsag.org/
Petite remarque, je prendrais plutôt du PRO au lieu du EVO, pour avoir la DRAM.
Le 29/09/2025 à 18:56, ml-frsag@srv.mx a écrit :
Bonsoir !
Sur les 4 870 EVO 4To que j'ai dans mon homelab, y en a 3 qui ont laché (dont 2 avec même pas 5To en écriture) et le 4ème est pas loin du décès non plus, après 3 ans d'usage. Et ils proviennent de séries différentes ... Comme les disques mécaniques, il vaut mieux avoir de la diversité dans les modèles. Dans les mêmes gammes de prix, on peut aussi trouver des SSD de NAS comme les WD Red.
Le 28/09/2025 à 22:22, adrien nayrat a écrit :
Bonsoir, On peut avoir des écarts de perf considérables entre des SSD grand public, même pro et les gammes DC entreprise : https://gist.github.com/anarazel/b527e5317bb7d58483a9858f5f2435ca https://gist.github.com/anarazel/b527e5317bb7d58483a9858f5f2435ca https://www.sebastien-han.fr/blog/2014/10/10/ceph-how-to-test-if-your- ssd-is-suitable-as-a-journal-device/ <https://www.sebastien-han.fr/ blog/2014/10/10/ceph-how-to-test-if-your-ssd-is-suitable-as-a-journal- device/> https://kcall.co.uk/ssd/index.html https://kcall.co.uk/ssd/index.html
Le dim. 28 sept. 2025 à 16:45, Nathan MALO <nathan.malo@gmail.com mailto:nathan.malo@gmail.com> a écrit :
Oh intéressant ! Et après 4 ans les données SMART ne montrent pas d'usure particulière ?
Merci pour ton retour,
Nathan
Le sam. 27 sept. 2025, 21:13, Richard Baret <richard@baret.me mailto:richard@baret.me> a écrit :
Salut,
j'ai un cluster de 3 noeuds proxmox avec du Samsung EVO 870 et du Sandisk en SATA. Plus ils sont gros plus ils ont un TBW élevé.
Mes 2To EVO 870 sont donnés pour du 1200TBW, les 4To c'est le 2400 TBW. 4 ans de service H24, pas de souci. Snapshots réguliers entre les noeuds (15 min à 6h selon le service, ça reste du perso).
A moins d'avoir de grosses applis très intensives en écritures, si c'est pour du perso t'es tranquille. Et clairement le spinning rust c'est fini pour moi dans le homelab, la vitesse du SSD pour les maj, les backups (5/10Gb entre les noeuds et le NAS) etc c'est devenu indispensable.
Y a que le NAS qui a du rotatif désormais mais le RAIDZ permet de bien encaisser les transferts lors du backup
Richard
Envoyé depuis mon appareil Galaxy
-------- Message d'origine -------- De : "Jarod G. via FRsAG" <frsag@frsag.org mailto:frsag@frsag.org> Date : 27/09/2025 20:45 (GMT+01:00) À : Nathan MALO <nathan.malo@gmail.com mailto:nathan.malo@gmail.com>, frsag@frsag.org mailto:frsag@frsag.org Objet : [FRsAG] Re: Quels SSDs pour une prod-perso ?
Hello,
> et les modèles entreprise sont exclus Imo, sauf trouver la perle rare côté consumer, des modèles entreprise d'ocaz seront clairement mieux même si plus cher sur le coup.
À long terme cependant, t'aura à les remplacer moins souvent :) (been there, done that)
Maintenant que ça c'est dit, une autre possibilité sinon que de remplacer tes HDD si t'as besoin de plus "d'IOPS" seulement pour certaines CT où ça bourrinne pas trop à moindre coup --> NVMe sur des cartes PCIe -> M.2 et t'en fait un pool de stockage à part de l'existant. Par contre attention, sur série x2x chez Dell tu ne pourra pas booter le système sur du NVMe directement, donc uniquement à utiliser pour du stockage.
Aussi rien à voir et ne risque pas trop de poser soucis vu qu'à priori du fait du LVM sur un FS type ext4/xfs, ta H310 "en mode JBOD" a été flashée dans le firmware IT ou juste passée en mode "non-raid" ? (sachant qu'il faut prendre en compte aussi que ces vielles cartes ont aussi leurs propres limites techniques même en firmware IT)
- Jarod
Le 27/09/2025 à 17:48, Nathan MALO a écrit : > Hello la liste ! > > Premier post ici, j'en ai presque des frissons. > Topic qui sort un peu du cadre pro mais je pense trouver des retex > intéressants ici. > > Je possède aujourd'hui une prod perso basée sur la config suivante: > - Dell R320 hébergé en DC par des potes > - 64Go de DDR3 > - Intel(R) Xeon(R) CPU E5-2430L v2 > - Contrôleur de stockage Perc H310 Mini en mode JBOD > - 3 Disques de 4To 7200rpm en softraid5 (1xToshiba HDWQ140, 2xToshiba > HDWG440) pour le système > - 1 Disque de 2To utilisé en tampon de backup (Seagate) > > Ce serveur héberge une trentaine de conteneurs LXC, principalement des > webapps avec DBs, dont un Nextcloud qui grossit bien et une stack ELK > pour la collecte de logs. > Ces deux derniers font bien gratter les disques. > > Sur le plan CPU et RAM rien à redire, j'ai largement ce qu'il me faut. > Mais en HDD, j'aimerais plus d'IOPS pour fluidifier les performances. > De plus, mes backups se basent sur des snapshots LVMs pour créer les > tarball master et incrémentales, ce qui ralentit fortement encore les > IOs lors du backup. > Et un apt upgrade c'est bien lent aussi. > > J'aimerais aujourd'hui remplacer mes disques plateaux par du SSD SATA. > Afin de pouvoir migrer sans casser mon RAID, il me faut des disques au > moins aussi gros que mes HDDs (donc 4To). > > Vu le prix des SSDs SATA 4To, va falloir être très gentil avec le Père > Noël, et les modèles entreprise sont exclus. > > Avez-vous des RETEX sur la fiabilité de SSDs grand publics utilisés > pour de la prod dans des serveurs de ce type ? > > J'ai toujours entendu du bien des Samsung (870 EVO etc) mais > j'aimerais être sûr. > > Preneur de vos avis, pistes, trucs et astuces ! > > Merci de m'avoir lu ! > > Nathan > > _______________________________________________ > Liste de diffusion du French Sysadmin Group > https://www.frsag.org/ https://www.frsag.org/ _______________________________________________ Liste de diffusion du French Sysadmin Group https://www.frsag.org/ https://www.frsag.org/
_______________________________________________ Liste de diffusion du French Sysadmin Group https://www.frsag.org/ https://www.frsag.org/
Liste de diffusion du French Sysadmin Group https://www.frsag.org/
Liste de diffusion du French Sysadmin Group https://www.frsag.org/
Bonjour,
Backblaze sort ses statistiques tous les ans sur les disques qu'ils utilisent :
BACKBLAZE DRIVE STATS: HARD DRIVE RELIABILITY TEST DATA https://www.backblaze.com/cloud-storage/resources/hard-drive-test-data
Peut-être un bon indicateur également.
Cordialement,
-- Séb
Le 2025-10-01T02:51:30.000+02:00, Jeremie jeremie@crasse.fr a écrit :
Petite remarque, je prendrais plutôt du PRO au lieu du EVO, pour avoir la DRAM. Le 29/09/2025 à 18:56, ml-frsag@srv.mx a écrit :
Bonsoir ! Sur les 4 870 EVO 4To que j'ai dans mon homelab, y en a 3 qui ont laché (dont 2 avec même pas 5To en écriture) et le 4ème est pas loin du décès non plus, après 3 ans d'usage. Et ils proviennent de séries différentes ... Comme les disques mécaniques, il vaut mieux avoir de la diversité dans les modèles. Dans les mêmes gammes de prix, on peut aussi trouver des SSD de NAS comme les WD Red. Le 28/09/2025 à 22:22, adrien nayrat a écrit :
Bonsoir, On peut avoir des écarts de perf considérables entre des SSD grand public, même pro et les gammes DC entreprise : https://gist.github.com/anarazel/b527e5317bb7d58483a9858f5f2435ca https://gist.github.com/anarazel/b527e5317bb7d58483a9858f5f2435ca; https://www.sebastien-han.fr/blog/2014/10/10/ceph-how-to-test-if-your- ssd-is-suitable-as-a-journal-device/ <https://www.sebastien-han.fr/ blog/2014/10/10/ceph-how-to-test-if-your-ssd-is-suitable-as-a-journal-
device/>
https://kcall.co.uk/ssd/index.html https://kcall.co.uk/ssd/index.html; Le dim. 28 sept. 2025 à 16:45, Nathan MALO <nathan.malo@gmail.com nathan.malo@gmail.com> a écrit : Oh intéressant ! Et après 4 ans les données SMART ne montrent pas d'usure particulière ? Merci pour ton retour, Nathan Le sam. 27 sept. 2025, 21:13, Richard Baret <richard@baret.me richard@baret.me> a écrit : Salut, j'ai un cluster de 3 noeuds proxmox avec du Samsung EVO 870 et du Sandisk en SATA. Plus ils sont gros plus ils ont un TBW élevé. Mes 2To EVO 870 sont donnés pour du 1200TBW, les 4To c'est le 2400 TBW. 4 ans de service H24, pas de souci. Snapshots réguliers entre les noeuds (15 min à 6h selon le service, ça reste du perso). A moins d'avoir de grosses applis très intensives en écritures, si c'est pour du perso t'es tranquille. Et clairement le spinning rust c'est fini pour moi dans le homelab, la vitesse du SSD pour les maj, les backups (5/10Gb entre les noeuds et le NAS) etc c'est devenu indispensable. Y a que le NAS qui a du rotatif désormais mais le RAIDZ permet de bien encaisser les transferts lors du backup Richard Envoyé depuis mon appareil Galaxy -------- Message d'origine -------- De : "Jarod G. via FRsAG" <frsag@frsag.org frsag@frsag.org> Date : 27/09/2025 20:45 (GMT+01:00) À : Nathan MALO <nathan.malo@gmail.com nathan.malo@gmail.com>, frsag@frsag.org frsag@frsag.org Objet : [FRsAG] Re: Quels SSDs pour une prod-perso ? Hello, et les modèles entreprise sont exclus Imo, sauf trouver la perle rare côté consumer, des modèles entreprise d'ocaz seront clairement mieux même si plus cher sur le coup. À long terme cependant, t'aura à les remplacer moins souvent :) (been there, done that) Maintenant que ça c'est dit, une autre possibilité sinon que de remplacer tes HDD si t'as besoin de plus "d'IOPS" seulement pour certaines CT où ça bourrinne pas trop à moindre coup --> NVMe sur des cartes PCIe -> M.2 et t'en fait un pool de stockage à part de l'existant. Par contre attention, sur série x2x chez Dell tu ne pourra pas booter le système sur du NVMe directement, donc uniquement à utiliser pour du stockage. Aussi rien à voir et ne risque pas trop de poser soucis vu qu'à priori du fait du LVM sur un FS type ext4/xfs, ta H310 "en mode JBOD" a été flashée dans le firmware IT ou juste passée en mode "non-raid" ? (sachant qu'il faut prendre en compte aussi que ces vielles cartes ont aussi leurs propres limites techniques même en firmware IT) - Jarod Le 27/09/2025 à 17:48, Nathan MALO a écrit : Hello la liste ! Premier post ici, j'en ai presque des frissons. Topic qui sort un peu du cadre pro mais je pense trouver des retex intéressants ici. Je possède aujourd'hui une prod perso basée sur la config suivante: - Dell R320 hébergé en DC par des potes - 64Go de DDR3 - Intel(R) Xeon(R) CPU E5-2430L v2 - Contrôleur de stockage Perc H310 Mini en mode JBOD - 3 Disques de 4To 7200rpm en softraid5 (1xToshiba HDWQ140, 2xToshiba HDWG440) pour le système - 1 Disque de 2To utilisé en tampon de backup (Seagate) Ce serveur héberge une trentaine de conteneurs LXC, principalement des webapps avec DBs, dont un Nextcloud qui grossit bien et une stack ELK pour la collecte de logs. Ces deux derniers font bien gratter les disques. Sur le plan CPU et RAM rien à redire, j'ai largement ce qu'il me faut. Mais en HDD, j'aimerais plus d'IOPS pour fluidifier les performances. De plus, mes backups se basent sur des snapshots LVMs pour créer les tarball master et incrémentales, ce qui ralentit fortement encore les IOs lors du backup. Et un apt upgrade c'est bien lent aussi. J'aimerais aujourd'hui remplacer mes disques plateaux par du SSD SATA. Afin de pouvoir migrer sans casser mon RAID, il me faut des disques au moins aussi gros que mes HDDs (donc 4To). Vu le prix des SSDs SATA 4To, va falloir être très gentil avec le Père Noël, et les modèles entreprise sont exclus. Avez-vous des RETEX sur la fiabilité de SSDs grand publics utilisés pour de la prod dans des serveurs de ce type ? J'ai toujours entendu du bien des Samsung (870 EVO etc) mais j'aimerais être sûr. Preneur de vos avis, pistes, trucs et astuces ! Merci de m'avoir lu ! Nathan _______________________________________________ Liste de diffusion du French Sysadmin Group https://www.frsag.org/ https://www.frsag.org/; _______________________________________________ Liste de diffusion du French Sysadmin Group https://www.frsag.org/ https://www.frsag.org/; _______________________________________________ Liste de diffusion du French Sysadmin Group https://www.frsag.org/ https://www.frsag.org/; _______________________________________________ Liste de diffusion du French Sysadmin Group https://www.frsag.org/
_______________________________________________ Liste de diffusion du French Sysadmin Group https://www.frsag.org/
_______________________________________________ Liste de diffusion du French Sysadmin Group https://www.frsag.org/
On Sat, Sep 27, 2025 at 5:50 PM Nathan MALO nathan.malo@gmail.com wrote:
Hello la liste !
Premier post ici, j'en ai presque des frissons. Topic qui sort un peu du cadre pro mais je pense trouver des retex intéressants ici.
Bienvenue!
J'aimerais aujourd'hui remplacer mes disques plateaux par du SSD SATA. Afin de pouvoir migrer sans casser mon RAID, il me faut des disques au moins aussi gros que mes HDDs (donc 4To).
Vu le prix des SSDs SATA 4To, va falloir être très gentil avec le Père Noël, et les modèles entreprise sont exclus.
Avez-vous des RETEX sur la fiabilité de SSDs grand publics utilisés pour de la prod dans des serveurs de ce type ?
Alors cela fait longtemps que les NVMe ont remplacé les SATA au boulot. Notre usage: Massivement de la lecture (serveurs CDN de SVoD, donc pas de techno style RAID).
Mais les derniers SSD que l’on utilisait étaient ceux-ci: - Micron 5210 (MTFDDAK1T9QDE) - Micron 1100 (MTFDDAK1T0TBN)
Puis on a utilisé des disques NVMe dans des supports «fait maison» à base de Microsemi Switchtec qui permettaient de brancher 4 disques M.2 dans un emplacement U.2, car on cherchait une densité maximale.
Désormais nous utilisons des disques NVMe Micron 7500 Pro et Micron 6500 ION.
Salutations, Olivier
Le samedi 27 septembre 2025 17:48:12, Nathan MALO nathan.malo@gmail.com a écrit:
- 3 Disques de 4To 7200rpm en softraid5
../..
Mais en HDD, j'aimerais plus d'IOPS pour fluidifier les performances.
Ca fait très longtemps que j'ai pas fait de comparatif de vitesse selon les types de RAID, mais je pense qu'avec le raid5, quelque soit la technologie utilisée (HDD/SSD) tu auras toujours un problème de performances du fait du calcul puis du stockage de la parité.
Le raid5, c'est très bien pour stocker de la donnée qui n'est écrite qu'une fois puis beaucoup lue (serveurs de vidéos, par exemple), pas pour du stockage plus généraliste (et surtout pas pour des serveurs de mail).
A+ Jacques.
Hello, pas forcément une énorme différence en perf avec le RAID5 : https://www.phoronix.com/review/btrfs-raid-linux412/2 Par contre attention au RAID5 qui a tendance à être exigeant sur les disques restants en cas de perte de disque et de rebuild, ce qui peut avoir tendance à crasher un deuxième disque pendant la reconstruction, auquel cas perte totale des données de la grappe. Pour de la prod prenez plutôt du RAID6, plus permissif, ou RAID10
On Sun, Sep 28, 2025, 15:36 Jacques Belin jbelin@oryva.net wrote:
Le samedi 27 septembre 2025 17:48:12, Nathan MALO nathan.malo@gmail.com a écrit:
- 3 Disques de 4To 7200rpm en softraid5
../..
Mais en HDD, j'aimerais plus d'IOPS pour fluidifier les performances.
Ca fait très longtemps que j'ai pas fait de comparatif de vitesse selon les types de RAID, mais je pense qu'avec le raid5, quelque soit la technologie utilisée (HDD/SSD) tu auras toujours un problème de performances du fait du calcul puis du stockage de la parité.
Le raid5, c'est très bien pour stocker de la donnée qui n'est écrite qu'une fois puis beaucoup lue (serveurs de vidéos, par exemple), pas pour du stockage plus généraliste (et surtout pas pour des serveurs de mail).
A+ Jacques.
Le dernier Homme connecté sur le Net regardait d'anciens sites Web. "Vous avez du courrier" apparut sur l'écran... --------------------------- adapté d'une courte histoire de Fredric Brown
Liste de diffusion du French Sysadmin Group https://www.frsag.org/
Hello,
Je suis parti sur un raid 5 vu le nombre restreint de disques que le R320 offre en 3,5" (4, et il me fallait un tampon de backup en dehors du RAID). Pour l'instant RAS niveau santé des disques, j'ai reconstruit mon raid plusieurs fois pour changer mes tables de partition et changer la chunk size.
Les DDs ont encaissés sans soucis (rewrite de 4To complet à chaque fois quand même). Et tous les mois mdadm re-vérifies la parité de la totalité du raid. All good so far, les disques ne bronchent pas.
J'avais en tête aussi que le raid 6 ralentissait encore les écritures par rapport au raid 5. Mais c'est peut être une idée reçue, j'ai jamais vérifié rigoureusement avec des benchmarks.
Le dim. 28 sept. 2025, 19:19, Fabien Schwebel fabien.schwebel@gmail.com a écrit :
Hello, pas forcément une énorme différence en perf avec le RAID5 : https://www.phoronix.com/review/btrfs-raid-linux412/2 Par contre attention au RAID5 qui a tendance à être exigeant sur les disques restants en cas de perte de disque et de rebuild, ce qui peut avoir tendance à crasher un deuxième disque pendant la reconstruction, auquel cas perte totale des données de la grappe. Pour de la prod prenez plutôt du RAID6, plus permissif, ou RAID10
On Sun, Sep 28, 2025, 15:36 Jacques Belin jbelin@oryva.net wrote:
Le samedi 27 septembre 2025 17:48:12, Nathan MALO nathan.malo@gmail.com a écrit:
- 3 Disques de 4To 7200rpm en softraid5
../..
Mais en HDD, j'aimerais plus d'IOPS pour fluidifier les performances.
Ca fait très longtemps que j'ai pas fait de comparatif de vitesse selon les types de RAID, mais je pense qu'avec le raid5, quelque soit la technologie utilisée (HDD/SSD) tu auras toujours un problème de performances du fait du calcul puis du stockage de la parité.
Le raid5, c'est très bien pour stocker de la donnée qui n'est écrite qu'une fois puis beaucoup lue (serveurs de vidéos, par exemple), pas pour du stockage plus généraliste (et surtout pas pour des serveurs de mail).
A+ Jacques.
Le dernier Homme connecté sur le Net regardait d'anciens sites Web. "Vous avez du courrier" apparut sur l'écran... --------------------------- adapté d'une courte histoire de Fredric Brown
Liste de diffusion du French Sysadmin Group https://www.frsag.org/
J nterviens dans le debat pour dire qu a premiere vue le raid 10 est le saint graal, avez vous des arguments contre ?
On Sun, Sep 28, 2025 at 7:21 PM Fabien Schwebel fabien.schwebel@gmail.com wrote:
Hello, pas forcément une énorme différence en perf avec le RAID5 : https://www.phoronix.com/review/btrfs-raid-linux412/2 Par contre attention au RAID5 qui a tendance à être exigeant sur les disques restants en cas de perte de disque et de rebuild, ce qui peut avoir tendance à crasher un deuxième disque pendant la reconstruction, auquel cas perte totale des données de la grappe. Pour de la prod prenez plutôt du RAID6, plus permissif, ou RAID10
On Sun, Sep 28, 2025, 15:36 Jacques Belin jbelin@oryva.net wrote:
Le samedi 27 septembre 2025 17:48:12, Nathan MALO nathan.malo@gmail.com a écrit:
- 3 Disques de 4To 7200rpm en softraid5
../..
Mais en HDD, j'aimerais plus d'IOPS pour fluidifier les performances.
Ca fait très longtemps que j'ai pas fait de comparatif de vitesse selon les types de RAID, mais je pense qu'avec le raid5, quelque soit la technologie utilisée (HDD/SSD) tu auras toujours un problème de performances du fait du calcul puis du stockage de la parité.
Le raid5, c'est très bien pour stocker de la donnée qui n'est écrite qu'une fois puis beaucoup lue (serveurs de vidéos, par exemple), pas pour du stockage plus généraliste (et surtout pas pour des serveurs de mail).
A+ Jacques.
Le dernier Homme connecté sur le Net regardait d'anciens sites Web. "Vous avez du courrier" apparut sur l'écran... --------------------------- adapté d'une courte histoire de Fredric Brown
Liste de diffusion du French Sysadmin Group https://www.frsag.org/
Liste de diffusion du French Sysadmin Group https://www.frsag.org/
-
adrien nayrat -
Alexis -
Fabien Schwebel -
Jacques Belin -
Jarod G. -
Jeremie -
ml-frsag＠srv.mx -
Nathan MALO -
neo futur -
Olivier Cochard-Labbé -
Richard Baret -
Séb