GCP partage

News 1 : Sécurité GCP et machine learning Google est adepte du machine learning surtout quand il s’agit de monitorer ces serveurs et on le comprend quand on a plus de 70 000 serveurs dans un datacenter on voit bien l’intérêt de régler automatiquement la climatisation et l’électricité. Google est aussi adepte d’analyse de logs c’est comme cela que Google élimine ou développe ces centaines d’applications. Malheur aux application avec peu de trafic. Une énorme introduction qui va m’aider à expliquer le nouveau service que propose Google en béta en effet Google fait du machine learning sur les logs d’accès des utilisateurs GCP sur les 3 derniers mois pour prédire si les droits ne sont pas trop permissifs et alerter les administrateurs sur le fait qu’un droit n’a pas été utilisé depuis longtemps et qu’il n’est peut être pas pertinent de le conserver ou que tel autre était propriétaire et qu’il peut passer éditeur seulement. Vous l’aurez compris ce service s’adresse aux ...

News 1 : Procédures stockées et tables temporaires dans BigQuery L’outil BigQuery est très puissant, de ce fait il est largement utilisé par les personnes qui ont besoin de préparer leurs données sur des millions ou des milliards de lignes. Aujourd’hui il est plus facile de faire cette tâche car des options de scripts sont arrivés comme les boucles De plus nous pouvons créer des procédures stockées ce qui va alléger les requêtes et faciliter la lecture de celles ci et pour la maintenance c’est une réelle bouffée d’air pur.  La dernière chose est la possibilité de créer des tables temporaires. Pour nous cela n’était pas essentiel puisqu’il existait un workaround facile à mettre en place : utiliser un dataset de travail qui ne conserve les données qu’un seul jour cela est d’ailleurs beaucoup plus utile que les tables temporaires pour débugger.  Plus d’informations en anglais ici News 2 : BigQuery est compatible avec Parquet et ORC Parquet et Apach...