FRsAG

frsag@frsag.org

7 participants
2621 discussions

Jobs Hadoop dans Yarn
by Greg 06 Oct '14

06 Oct '14

Bonjour ! et joyeux lundi matin. J'ai fais quelques jobs Hadoop 2.5 que je lance avec la commande "yarn jar monjob.jar -mesparams" Pour l'instant ça tourne même dans une boucle "while true; do yarn jar ...; done" dans un screen ... et ça marche ! Je voudrais maintenant mettre en production ces jobs. Savez vous comment je peux les transformer en job Yarn, et comment configurer Yarn pour qu'il me lance ces jobs régulièrement ? Greg

1 0

Un webmail pour plusieurs serveurs imap
by Antoine Durant 05 Oct '14

05 Oct '14

Bonjour, J'ai plusieurs serveurs de messagerie sous linux, avec un webmail sur chaque serveur. Pour des questions de simplicités d'administration, j'ai enlevé tous les webmails des serveurs de messagerie, et monté un serveur spécialement pour le webmail. Sur le serveur webmail j'ai installé postfix tournant uniquement sur 127.0.0.1:25 afin de pouvoir faire l'envoi des mails rédigés depuis le webmail. Ma question est-ce que je dois mettre l'IP du serveur webmail dans les champs TXT-SPF des domaines qui utilisent le webmail ? Quel est la configuration recommandée dans le cas d'une centralisation du webmail sur une machine séparée afin d'utiliser plusieurs serveurs imap distants ? Merci.

4 4

Oracle & Swap
by Benoit Garcia 30 Sep '14

30 Sep '14

Bonjour, Je dévie un peu du sujet initial: 2014-09-29 16:37 GMT+02:00 nap <naparuba(a)gmail.com>: > > > 2014-09-29 16:15 GMT+02:00 <frsag(a)jack.fr.eu.org>: >> > +1. sur mes serveurs Oracle c'était 0 de swap (enfin si à l'install car > Oracel check, mais après hop on vire). Même avec swapiness à 0 le swap st > trop utilisé face au cache disque (or dans lecas d'une bdd on préfère que ce > soit la base qui gère ça, pas trop le système). Les précos d'Oracle sont de mettre entre 1,5Go et 16Go de swap, en fonction de la quantité de mémoire disponible (voir : http://docs.oracle.com/cd/E11882_01/install.112/e47689/pre_install.htm#LADB… En dehors de pouvoir récupérer un peu de disque, est-ce que ça vaut vraiment le coup? Et comment réagit le support Oracle en cas de problème? Pour la gestion de la mémoire, j'ai tendance à ne pas toucher au swapiness mais à configurer les huges pages et activer les paramètres pre_page_sga & lock_sga: Le premier permet à l'instance de réserver tout les segments mémoire de la SGA (correspondant à SGA_MAX) dès le démarrage. Le second que ces segments soient des segments de mémoire réelle (ie de la vraie RAM) et non de la mémoire virtuelle (qui elle peut partir en swap si le système le décide). Ca a par contre des effets de bords: - Les instances sont plus longues à démarrer (le temps d'allouer l'ensemble des segments mémoire) - Si on n'est pas carré au niveau des huges pages on peut justement se retrouver avec des Out of Memory error (si on essaie d'allouer plus de huge pages que la quantité disponible par exemple). -- Benoit

6 6

Re: [FRsAG] Swap or not swap ? (was: Out Of memory - linux ne libère pas le cache)
by Grégory Poudrel 30 Sep '14

30 Sep '14

Bonjour, pour un serveur: - Un peu de swap (500 Mo, 1 Go, voire plus selon le contexte) - vm.swappiness au minimum - Pour les processus critiques qui ne doivent pas être tués, ajuster la valeur de /proc/[pid]/oom_score_adj à 0 ou au plus proche de 0 Comme dit précédemment cela permet de garder un filet de sécurité, sans dégrader les performances en fonctionnement nominal, tout en évitant à oom de tuer n'importe quoi. -- Gregory Poudrel

2 2

Re: [FRsAG] Swap or not swap ? (was: Out Of memory - linux ne libère pas le cache)
by Aurélien 30 Sep '14

30 Sep '14

2014-09-29 17:03 GMT+02:00 Jean Weisbuch <jean(a)plusquenet.net>: > Désactiver complètement le swap est rarement une bonne idée, il est plus > prudent d'en laisser un peu avec le swapiness très bas (ou à 0). > > Bonjour, L'ayant en production et n'ayant jamais rencontré de problématique dans mes utilisations (principalement des bases de données et du caching HTTP), as-tu des exemples où, malgré une utilisation calibrée du serveur (calcul précis des utilisations des programmes installés, pas de multi-utilisateur, un seul jeu de services par serveur, etc), cela pose problème ? Sous quelle forme cela se manifeste-t'il ? Merci ! Cordialement, -- Aurélien Guillaume

9 10

Re: [FRsAG] Out Of memory - linux ne libère pas le cache.
by adrien nayrat 29 Sep '14

29 Sep '14

Le 29 septembre 2014 16:06, Aurélien <footplus(a)gmail.com> a écrit : > 2014-09-29 15:53 GMT+02:00 adrien nayrat <adrien.nayrat.axess(a)gmail.com>: >> >> >> La solution serait soit d'augmenter la RAM de la machine soit >> d'augmenter la swap même si elle ne sera jamais utilisée. >> On va revoir quelques check sur notre nagios! >> Merci pour vos retours > > > Mais pourquoi mettre du swap du coup, si tu ne l'utilise pas ? :) > Pour influer sur la du CommitLimit. En fait j'ai dis qu'elle ne sera jamais utilisée grâce à cette sur-allocation. La swap pourrait être utilisée si tous les process se mettaient à bouffer toute la mémoire qu'ils avaient demandé à l'allocation.

6 7

Re: [FRsAG] Out Of memory - linux ne libère pas le cache.
by adrien nayrat 29 Sep '14

29 Sep '14

Le 29 septembre 2014 15:26, <jean-yves(a)lenhof.eu.org> a écrit : > Le 2014-09-29 12:13, adrien nayrat a écrit : >> >> Bonjour, >> >> J'ai rencontré des erreurs Out Of memory sur un serveur de bdd, on >> avait ces messages d'erreurs à la création de process : >> Sep 29 10:42:26 hostname t of memory [13286] > > > > Je suppose qu'il faut lire "Out of memory" ici ? Oui mais c'est cette ligne qui apparait dans les logs. >> >> La machine possède 20Go de ram et en a utilisé la moitié pour le cache. > > > 32 bits ? 64 bits ? > OS ? Version ? > Version de kernel ? 64 Bits, Centos 6.5 kernel : 2.6.32-431.20.3.el6.x86_64 > > ulimit -a sur l'utilisateur qui fait tourner postgresql donne quoi ? core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited scheduling priority (-e) 0 file size (blocks, -f) unlimited pending signals (-i) 159701 max locked memory (kbytes, -l) 64 max memory size (kbytes, -m) unlimited open files (-n) 1048560 pipe size (512 bytes, -p) 8 POSIX message queues (bytes, -q) 819200 real-time priority (-r) 0 stack size (kbytes, -s) 10240 cpu time (seconds, -t) unlimited max user processes (-u) 65535 virtual memory (kbytes, -v) unlimited file locks (-x) unlimited > > Cdlt, > > JYL > Le 29 septembre 2014 15:12, Aurélien <footplus(a)gmail.com> a écrit : > > > Hello, > > Et sans swap du tout ? Je pense que si tu commences à mettre ta bdd dans le > swap, tu as un souci non ? > > Je sais qu'on a fini par dégager entièrement le swap de certaines machines > (sql, varnish, etc), et que ça tourne très bien. > > Cordialement, > -- > Aurélien Guillaume > Oui, en fait c'est un peu trompeur cette histoire de swap. Je pense avoir trouvé. Pour info, quand on fait un cat /proc/meminfo Il y a ces deux lignes : CommitLimit: 28887044 kB Committed_AS: 24921056 kB Elles indiquent la quantité de mémoire allouable (CommitLimit en gros : RAM + SWAP)[1] et la quantité allouée (Committed_AS) . Vu qu'on a interdit la sur-allocation (overcommit=2) Committed_AS ne peut être supérieur à CommitLimit.[2] Quand on fait un free -m, c'est assez trompeur, la commande indique la mémoire utilisée et non la mémoire allouée. Sur une même machine au même moment : free -m total used free shared buffers cached Mem: 24086 19908 4177 0 227 8021 -/+ buffers/cache: 11660 12426 Swap: 5327 0 5327 cat /proc/meminfo CommitLimit: 28887044 kB Committed_AS: 25343012 kB On pense avoir 12Go de libre alors qu'on a 28887044 -25343012 => 3Go de libre! La solution serait soit d'augmenter la RAM de la machine soit d'augmenter la swap même si elle ne sera jamais utilisée. On va revoir quelques check sur notre nagios! Merci pour vos retours [1] : http://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.git/tree/Documen… [2] : http://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.git/tree/Documen…

1 0

Out Of memory - linux ne libère pas le cache.
by adrien nayrat 29 Sep '14

29 Sep '14

Bonjour, J'ai rencontré des erreurs Out Of memory sur un serveur de bdd, on avait ces messages d'erreurs à la création de process : Sep 29 10:42:26 hostname t of memory [13286] La machine possède 20Go de ram et en a utilisé la moitié pour le cache. Petite subtilité, les paramètres mémoire ont été "tuné". Afin d'éviter la sur-allocation (et de risquer un kill de process par le OOM killer) : vm.swappiness = 10 vm.overcommit_memory = 2 vm.overcommit_ratio = 95 https://www.kernel.org/doc/Documentation/vm/overcommit-accounting Normalement la machine autorise l'allocation de 95% de la RAM + swap et ne commence à swapper qu'en dernier recours. Voici ce que donne free -m au moment des erreurs. free -m total used free shared buffers cached Mem: 19990 19797 192 0 133 9299 -/+ buffers/cache: 10363 9626 Swap: 5327 0 5327 Je suis surpris par le fait que linux n'a pas libéré la mémoire "cached" ni utilisé le swap? La ligne "-/+ buffers/cache:" indique pourtant qu'il y a plus de 9Go de disponible. Dans l'urgence on stoppé les erreurs en ajoutant de la ram à chaud (vmware). Any idea?

3 6

Machine Learning: retours d'expérience
by Greg 28 Sep '14

28 Sep '14

Bonjour, est-ce que parmi vous certains aurait expérimenté ou mis en place des architectures de machine learning ? Le domaine est assez vaste, et intéressant, et je pense qu'un retour d'expérience en environnement professionnel pourrait intéresser les membres de ce groupe. Attention, je ne suis pas à la recherche de tuto pour savoir comment installer Apache Storm, mais de vrais retours d'expériences: par où commencer, quelles erreurs éviter, dans quel cas utiliser tel ou tel techno, comment l'intégrer à une architecture existante ... Un grand merci d'avance aux contributeurs ;) Greg

2 3

Une offre de job pour vos membres ? :-)
by Sarah le Bechennec 28 Sep '14

28 Sep '14

Bonjour ! Je travaille pour la société Oodrive et mes collègues ont grand besoin dun Administrateur Systèmes et Réseaux expérimenté (avec environ 3 à 5 ans dexpérience). Est-ce possible de poster mon annonce sur votre Groupe ? Vos membres peuvent menvoyer leurs candidatures à s.lebechennec(a)oodrive.fr Lannonce complète est copiée collée ci-dessous ; je peux changer le format si besoin. Un grand merci par avance ; nhésitez pas à mappeler si besoin. Bien à vous , Sarah Sarah Le Bechennec Chargée du Recrutement oodrive T : +33 (0)1 46 22 88 70 F : +33 (0)1 46 22 91 10 26, rue du Faubourg Poissonnière 75010 Paris - France Pour suivre l'actualité d'oodrive Twitter <http://twitter.com/#!/oodriveofficiel> Facebook <http://www.facebook.com/pages/Oodrive/158807010863141> Viadeo <http://www.viadeo.com/groups/?containerId=0021j1nthx14sm2g> Linkedin <http://www.linkedin.com/company/oodrive/products?trk=tabs_biz_product> Administrateur Systèmes et Réseaux Ø Entreprise OODRIVE Editeur de logiciels créé en 2000, pionnier du mode SaaS (Software as a Service) en France, le Groupe Oodrive est lun des leaders européens des fournisseurs de services sécurisés de gestion de fichiers en ligne à destination des entreprises : * La gamme AdBackup, solutions de sauvegarde en ligne n°1 en Europe * PostFiles et iExtranet, solutions de partage de fichiers en ligne * La gamme Omnikles, solutions de dématérialisation des appels d'offres * La gamme CertEurope, solutions de e-confiance * AirShip et Virtual Browser, solutions de navigation cloud. Les solutions Oodrive sont utilisées aussi bien par les TPE, PME que par les grands comptes (plus de 70% des sociétés du CAC 40 sont équipées dune solution Oodrive) issues de nombreux secteurs dactivité (industrie, BTP, médias et communication, services, luxe, service public, conseil, finance, juridique). Oodrive développe également des applications pour le grand public dans le cadre de partenariats stratégiques avec des acteurs européens majeurs de la distribution (Fnac, Darty, Auchan, Orange, NordNet, The Phone House, La MAAF). Pour chaque enseigne Oodrive développe des services spécifiques de télé-sauvegarde, stockage et partage de fichiers en ligne proposés le plus souvent dans des offres packagées à destination des particuliers. Aujourd'hui implanté en France, en Belgique, en Espagne, en Allemagne, en Suisse, en UK, au Brésil et en Chine, Oodrive compte 14 500 clients professionnels et plus dun million dutilisateurs à travers plus de 90 pays. Ø Poste et missions Au sein de l'équipe IT (10 pers), vous travaillerez dans un environnement technique de production, complexe et à haute disponibilité. Vous serez amené à intervenir: - sur les différentes infrastructures IT du Groupe (Oodrive, Certeurope ...) présentes dans 5 pays et 8 Datacenters. - sur l'installation, la configuration, la gestion de nos serveurs physiques (env.200) et différents types d'hyperviseur. - sur des baies de stockage cumulant plusieurs Péta octets de données - dans le processus de publication et de mise à jour de nos applications - pour assurer la sécurité de nos infrastructures IT selon les alertes de sécurité et nos différents audits - pour assurer le monitoring d'infrastructures critiques (Via Nagios) et leur maintien en condition opérationnelle - sur la rédaction de la documentation, création et suivi des tickets d'incident (ITIL/ISO 27001) Ø Profil : Pour vous assurer une bonne intégration, vous devez disposer : - d'une expérience confirmée chez un éditeur SaaS - de très bonnes connaissances sur : § Les OS Linux (Debian, RedHat) § Les serveurs webs Apache/Tomcat § le scripting Shell - de bonnes connaissances sur l'administration : § des hyperviseurs Esx et Proxmox (kvm) § des bases de données MySQL, PostgreSQL § d'NFS - de connaissances : § En déploiement à grande échelle via Puppet § En firewalling (Netfilter/Iptables, Fortinet) § en load balancing Mais surtout, vous êtes un(e) passionné(e) rigoureux(se) et aimez travailler en équipe. Merci de menvoyer votre CV à s.lebechennec(a)oodrive.fr Sarah Le Bechennec Chargée du Recrutement oodrive T : +33 (0)1 46 22 88 70 F : +33 (0)1 46 22 91 10 26, rue du Faubourg Poissonnière 75010 Paris - France Pour suivre l'actualité d'oodrive Twitter <http://twitter.com/#!/oodriveofficiel> Facebook <http://www.facebook.com/pages/Oodrive/158807010863141> Viadeo <http://www.viadeo.com/groups/?containerId=0021j1nthx14sm2g> Linkedin <http://www.linkedin.com/company/oodrive/products?trk=tabs_biz_product>

7 12

Jump to page:

2025

2024

2023

2022

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

FRsAG