AVC_ANÁLISE.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Data Science Aplicada à Área de Saúde"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Análisando Dados de AVC"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "O Acidente Vascular Cerebral (AVC) acontece quando vasos que levam sangue ao cérebro entopem ou se rompem, provocando a paralisia da área cerebral que ficou sem circulação sanguínea. É uma doença que acomete mais os homens e é uma das principais causas de morte, incapacitação e internações em todo o mundo.\n",
    "\n",
    "Quanto mais rápido for o diagnóstico e o tratamento do AVC, maiores serão as chances de recuperação completa. Desta forma, torna-se primordial ficar atento aos sinais e sintomas e procurar atendimento médico imediato.\n",
    "\n",
    "Existem dois tipos de AVC, que ocorrem por motivos diferentes: AVC hemorrágico e AVC isquêmico."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "O que é um AVC isquêmico\n",
    "\n",
    "O AVC isquêmico ocorre quando há obstrução de uma artéria, impedindo a passagem de oxigênio para células cerebrais, que acabam morrendo. Essa obstrução pode acontecer devido a um trombo (trombose) ou a um êmbolo (embolia). O AVC isquêmico é o mais comum e representa 85% de todos os casos.\n",
    "\n",
    "O que é um AVC hemorrágico\n",
    "\n",
    "O AVC hemorrágico ocorre quando há rompimento de um vaso cerebral, provocando hemorragia. Esta hemorragia pode acontecer dentro do tecido cerebral ou na superfície entre o cérebro e a meninge. É responsável por 15% de todos os casos de AVC, mas pode causar a morte com mais frequência do que o AVC isquêmico."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Quais os principais fatores de risco para desenvolver um AVC?\n",
    "\n",
    "Existem diversos fatores que aumentam a probabilidade de ocorrência de um AVC, seja ele hemorrágico ou isquêmico. Os principais fatores causais das doenças são:\n",
    "\n",
    "- Hipertensão;\n",
    "- Diabetes tipo 2;\n",
    "- Colesterol alto;\n",
    "- Sobrepeso;\n",
    "- Obesidade;\n",
    "- Tabagismo;\n",
    "- Uso excessivo de álcool;\n",
    "- Idade avançada;\n",
    "- Sedentarismo;\n",
    "- Uso de drogas ilícitas;\n",
    "- Histórico familiar;\n",
    "- Ser do sexo masculino."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "O AVC está altamente relacionado à idade, hipertensão, nível médio de glicose, status de tabagismo e IMC, enquanto isso depende parcialmente do sexo, doença cardíaca, tipo de trabalho e tipo de residência."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Carregando os Dados"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Imports\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "import seaborn as sns\n",
    "%matplotlib inline"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Carregando os dados\n",
    "url = 'https://raw.githubusercontent.com/Py013/Open-Data-Day-2020/master/dataset-data-munging-01.csv'\n",
    "dataset = pd.read_csv(url,index_col=0,parse_dates=[0])\n",
    "#dataset = pd.read_csv('dataset-data-munging-01.csv')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(43400, 11)"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Formato dos dados\n",
    "dataset.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# Visualizando os primeiros registros\n",
    "dataset.head(5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# Tipos dos dados\n",
    "dataset.dtypes"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset['avc'].value_counts()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Identificando e Removendo Colunas Irrelevantes"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "O AVC está altamente relacionado à idade, hipertensão, nível médio de glicose, status de tabagismo e IMC, enquanto isso depende parcialmente do sexo, doença cardíaca, tipo de trabalho e tipo de residência."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Excluímos a coluna id porque esse é apenas um número atribuído a cada paciente sem relevância \n",
    "# com acidente vascular cerebral.\n",
    "del dataset['id']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Excluímos a coluna \"casado\", já que não parece ser um bom identificador para prever um avc, \n",
    "# algumas pessoas gostam de se casar, outras não, o que pode resultar em hipertensão ou vida estressada.\n",
    "del dataset['casado']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# Coletando estatísticas das colunas (Quantitativas)\n",
    "dataset.describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# Extraindo variáveis do tipo categóricas\n",
    "dfcatname = dataset.dtypes[dataset.dtypes == 'object'].index\n",
    "dfcatname"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Extraindo variáveis do tipo numéricas contínuas\n",
    "dfconname = [item for item in list(dataset.columns) if item not in list(dfcatname)]\n",
    "dfconname"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# Descrevendo as variáveis categóricas\n",
    "dataset[dfcatname].describe()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Tratamento de Valores Missing no IMC"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Coletando estatísticas das colunas\n",
    "dataset.describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# Descrevendo a coluna IMC\n",
    "dataset['imc'].describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Checando por valores missing\n",
    "dataset['imc'].isnull().sum() "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Uma maneira de tratar um valor ausente é simplesmente remover o registro completo, e em nosso exemplo teríamos que remover 1462/43400 o que é um número relativamente pequeno."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Outra solução quando trabalhamos com variáveis numéricas é imputar zero, valores centrais ou estatisticamente estimados, no lugar de NAN."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Para verificar se podemos atribuir valor central, vamos plotar o histograma."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "dataset.hist(column = 'imc', figsize=(9,6), bins=20)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vê-se no histograma que o valor de IMC entre 20 e 40 é o mais comum, portanto, não é totalmente irracional utilizá-lo no lugar de valores missing."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vamos imputar a tendência central (média) no lugar de valores ausentes."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Gera o novo imc\n",
    "# Onde for nulo, preenche com a média, senão, mantemos o valor atual.\n",
    "novo_imc = np.where(dataset['imc'].isnull(), dataset['imc'].mean(), dataset['imc'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "novo_imc"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# Grava o novo valor do imc no dataset\n",
    "dataset['imc'] = novo_imc"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset['imc'].describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Checando o histograma\n",
    "dataset.hist(column = 'imc', figsize=(9,6), bins=20)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Tratamento de Valores Missing no Status de Tabagismo"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Descrevendo as variáveis categóricas\n",
    "dataset[dfcatname].describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset['status_tabagismo'].describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset['status_tabagismo'].isnull().sum() "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset['status_tabagismo'].value_counts().plot(kind='bar')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vamos preencher os valores missing com uma nova categoria chamada \"desconhecido\"."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "novo_status_tabagismo = np.where(dataset['status_tabagismo'].isnull(), \"desconhecido\", dataset['status_tabagismo'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset['status_tabagismo'] = novo_status_tabagismo"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "dataset['status_tabagismo'].value_counts().plot(kind='bar')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset.count()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Tratamento de Outliers"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset[dfconname].head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Variável Idade\n",
    "dataset[dfconname[0]].describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Variável Nivel de GLicose\n",
    "dataset[dfconname[3]].describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Variável IMC\n",
    "dataset[dfconname[4]].describe()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Box-plot "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Grafico que é utilizado para verificar a variação de dados observados de uma variável numérica"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from IPython.core.display import Image, display\n",
    "display(Image('box_plot1.png'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# Verificando outliers para recursos numéricos em nosso conjunto de dados.\n",
    "# Variável media_nivel_glicose\n",
    "dataset[dfconname[3]].plot(kind=\"box\", figsize=(9,9))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# Removendo outliers\n",
    "index1 = np.where(dataset[\"media_nivel_glicose\"] == max(dataset[\"media_nivel_glicose\"]) )"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset.loc[index1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset = dataset.drop(index1[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Verificando outliers para recursos numéricos em nosso conjunto de dados\n",
    "dataset[dfconname[3]].plot(kind=\"box\", figsize=(9,9))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# Verificando outliers para recursos numéricos em nosso conjunto de dados.\n",
    "# Variável imc\n",
    "dataset[dfconname[4]].plot(kind=\"box\", figsize=(9,9))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "index2 = np.where(dataset[\"imc\"] == max(dataset[\"imc\"]) )"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset.loc[index2]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "O valor do IMC pode chegar ao máximo de até 54, o que também é um caso muito raro, mas nosso conjunto de dados tem alguns valores maiores que 54, que também atuam apenas como outliers, eu prefiro removê-los mantendo a margem. Isso não afetará os dados, e os manterão realistas."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "dataset = dataset[dataset['imc'] < 60]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Verificando outliers para recursos numéricos em nosso conjunto de dados.\n",
    "# Variável imc\n",
    "dataset[dfconname[4]].plot(kind=\"box\", figsize=(9,9))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset.count()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "dataset.describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset['avc'].value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "##Análise das pessoas que tiveram AVC\n",
    "#dataset_avc = dataset[dataset['avc'] == 1]\n",
    "#dataset_avc.shape\n",
    "\n",
    "##Por tipo de residência \n",
    "#print(dataset_avc['tipo_residencia'].value_counts())\n",
    "#dataset_avc['tipo_residencia'].value_counts().plot(kind=\"bar\")\n",
    "\n",
    "##Por Sexo\n",
    "#print(dataset_avc['sexo'].value_counts())\n",
    "#dataset_avc['sexo'].value_counts().plot(kind=\"bar\")\n",
    "\n",
    "##Por Status Tabagismo\n",
    "#print(dataset_avc['status_tabagismo'].value_counts())\n",
    "#dataset_avc['status_tabagismo'].value_counts().plot(kind=\"bar\")\n",
    "\n",
    "##Por hipertensão \n",
    "#print(dataset_avc['hipertensao'].value_counts())\n",
    "#dataset_avc['hipertensao'].value_counts().plot(kind=\"bar\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Comparação da Glicose entre pessoas que tiveram e não tiveram AVC\n",
    "\n",
    "plt.figure(figsize=(4,8))\n",
    "sns.boxplot(x=\"avc\", y=\"media_nivel_glicose\", data=dataset, linewidth=2.5)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "plt.figure(figsize=(4,8))\n",
    "sns.boxplot(x=\"avc\", y=\"imc\", data=dataset, linewidth=2.5)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "plt.figure(figsize=(4,8))\n",
    "sns.boxplot(x=\"avc\", y=\"idade\", data=dataset, linewidth=2.5)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset.head(5)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}