What’s new 20/05/2019

News 1 : Data Fusion
Google est certainement en avance de plusieurs années sur tout le monde en ce qui concerne le
traitement de données. Il a des solutions de bases de données excellentes comme BigQuery et
Cloud Spanner. Cependant les meilleures bases de données au monde ne valent rien si on ne peut
pas facilement charger des données à l’intérieur. Google vient de rectifier le tir en proposant enfin
une solution simple et totalement graphique du chargement de données vers ces deux bases de
données phares. Le service s’appelle Data fusion et est déjà disponible dans GCP.


Lien vers la page data fusion ici
Nous vous conseillons ce très bon démarrage rapide en anglais qui détaille bien pas à pas ici

News 2 : Auto ML Tables
Nous pensons que Google se distingue largement des autres plateformes cloud publiques sur deux
aspects le traitement de la données et le machine learning. Et sur ce dernier en proposant Auto ML
Tables Google frappe une fois encore un grand coup dans ce domaine. Auto ML Tables est un
service permettant à tous d’utiliser tensorflow sans avoir la moindre connaissance en Datascience.
C’est d’une simplicité redoutable et cela permet à tout le monde de tester le machine learning.
Il suffit juste d’uploader une table de données (soit CSV soit BigQuery) et de définir quelle sera
la colonne qui définit le résultat. Ensuite Google s’occupe de tout de l’entraînement du modèle au
déploiement de celui ci comme service Web. Il ne reste plus qu’à utiliser ce service Web. Bien
entendu Google propose aussi une interface web pour tester vous même manuellement ce modèle.
Interface de chargement de données avec sélection de la colonne résultat
Interface web pour tester les prédictions

Plus d’information ici

News 3 : BigQuery GIS
Google vient d’intégrer des fonctionnalités géographiques dans BigQuery. Rares sont les bases
de données ayant cette fonctionnalité. Cela est très utile pour connaître par exemple un chiffre
d’affaire à partir d’un point précis et d’un rayon d’action. Encore une fonctionnalité intéressante pour
cette base de données et nous vous encourageons à la tester c’est un must à adopter. Nous lui
consacrerons un dossier spécial bientôt.

Plus d’information en anglais ici

News 4 : Machine learning TPU
Google veut vraiment s'inscrire en tant qu’acteur majeur dans le domaine du machine learning. Et
après avoir initié tensorflow Google a développé des coprocesseurs spécialisés dans le calcul de
modèle tensorflow appelés TPU, avant que ces processeurs ne sortent les datascientistes se
tournaient vers les GPU pour réaliser ces calculs plus rapidement. Sur le papier ces coprocesseurs
permettent d’aller plus vite et promettent des gains de temps assez importants à un coût moindre.


Plus d’information ici

Commentaires

Enregistrer un commentaire

Posts les plus consultés de ce blog

Datalake comparaison - 10 Conclusion

Franchement nous avions d’énormes à priori avant de commencer ce comparatif et honnêtement le résultat nous surprend nous même. Toutes les solutions analysées présentent des intérêts et aucune ne peut prétendre être la solution ultime, c’est d’ailleurs celle qui veut tout faire à la fois qui pour nous est la moins intéressante. Nous ne pouvons que saluer les efforts d’innovations que les différents éditeurs ont trouvées et nous les remercions de proposer des outils qui permettent de traiter nos chères données. En effet nous parlons toujours comme si LA donnée était une seule entité et devait se traiter de la même manière mais c’est faux il y a plusieurs types de données : les chaudes qui sont consommées immédiatement, les froides qu’on ne va voir qu’une fois de temps en temps, il y a aussi des données qui servent à tirer des tendances, il y a des données qui servent à savoir ce qu’il s’est passé pour trouver une cause au problème, il y a des données confidentielles, il y a d...
Lire la suite

Load Balancer

Image
Le load balancer est un composant majeur dans Google Cloud platform , Il participe comme son nom l’indique à router les utilisateurs sur une ressource disponible. Il participe également à la bonne santé du système complet car son premier rôle est de servir de point d’entrée ce qui simplifie grandement la vie des utilisateurs et des développeurs. C’est un aiguilleur qui dirige les utilisateurs vers la bonne ressource. C’est un organe essentiel  d’une solution cloud. De plus lors d’un changement de logiciel ou de mise à niveau cela évite aux utilisateurs de devoir changer leurs raccourcis et leurs habitudes. Il permet donc de faire des déploiements sans rupture de service. Après le déploiement, les utilisateurs ne changent rien à leurs habitudes et le load balancer envoie toutes leurs demandent à la nouvelle application et un lien direct peut être mis en place pour certains utilisateurs qui ont encore besoin de se connecter à l’ancienne application. ...
Lire la suite

Data loss prevention API

Image
Les entreprises traitent de plus en plus leur données automatiquement. Plusieurs profils peuvent être amenés à “jouer” avec leurs données : data scientists internes, data scientists externes ou entreprises spécialisées dans ce domaine. Par faute de temps ou par manque d’outil les données fournies ne sont pas toujours pré traitées et sont souvent envoyées telles quelles, or cela a deux inconvénients : le premier (que tout le monde avait trouvé) transmettre des informations importantes inutiles et donc augmenter le risque de fuite d’information, Le deuxième c’est qu’une donnée trop riche nuit à son traitement. Je donne un exemple pour un ordinateur un numéro de téléphone est une suite de 4 numéros et s’ils ne sont pas contextualisé il prendra cela pour 4 numéros de 2 chiffres. Dans certains cas il est préférable de remplacer ces 4 séries de chiffres par un libellé comme NumTéléphone pour faire comprendre à l’algorithme que c’est l’information de la présence de numéro...
Lire la suite