[Data Engineering] Smooth dynamic dataset

[martindaniel4]

Wut?

Cette PR ajoute une fonction au sein de la classe Dataset permettant de lisser les données dynamiques en utilisant une rolling function mean (voir issue - #51).

Cette PR ajoute deux paramètres à la classe Dataset:

• smooth: True / False, par défaut False. Si set à True retourne un DataFrame lissé en utilisant la moyenne sur n périodes
• smooth_periods: défini le nombre de périodes (ici minutes) sur lequel appliquer le smoothing

Usage:

from transplant.data.dataset import Dataset
a = Dataset(smooth=True)
b, c = a.get_dynamic()

La fonction smooth met ~12" à tourner sur l'intégralité du set dynamique. Plus de détails sur ce notebook

Reviewers

cc - @sirineBS @Karinehoo

[martindaniel4]

@armgilles @Max-Pol vous pouvez jeter un coup d'oeil 👀 ?

[armgilles]

J'ai comparé les valeurs smooth avec les valeurs originales (dynamiques) avec un merge.

testing[testing.id_patient == 105][['id_patient', 'time', 'FC', 'FC_smooth']].tail(35)

Il y a pas mal de valeurs de la variable smoothée qui sont à NaN, je pense qu'il faudrait qu'il faut mettre le code de smooth avant _truncate_datetime

batch_5_transplant/transplant/data/dataset.py

Line 71 in 2e481a6

df = df.groupby('id_patient').apply(self._truncate_datetime)

Je ne sais pas si c'est très claire...

Un graphique pour illustrer ma remarque :

[martindaniel4]

Good catch @armgilles, je ne pige pas pourquoi la fonction smooth a ce comportement. Je vais regarder plus en détail demain.

[armgilles]

Finalement c'est normal qu'il manque des données, on enlève des données lié au time_offset.

@martindaniel4 si tu peux ajouter une liste de variables à smooth (dans config.py afin qu'on puisse facilement jouer sur ce paramètre ? )

[martindaniel4]

Yep je peux ajouter ça milieu de semaine prochaine. Le dim. 27 janv. 2019 à 12:59, GILLES Armand <[email protected]> a écrit :

Finalement c'est normal qu'il manque des données, on enlève des données lié au time_offset. @martindaniel4 <https://github.com/martindaniel4> si tu peux ajouter une liste de variables à smooth (dans config.py afin qu'on puisse facilement jouer sur ce paramètre ? ) — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub <#61 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AAqa3u11nG1xjxoPi6gPSfwU7i0et7pjks5vHZSlgaJpZM4Z55xA> .

-- Martin DANIEL @martindaniel4 + 33 6 51 24 16 68