import pandas as pd
fname = 'data/opendatasus/INFLUD2020.csv'
df1 = pd.read_csv(fname)
/home/victor/anaconda3/lib/python3.7/site-packages/IPython/core/interactiveshell.py:3166: DtypeWarning: Columns (15,18,60,62,63,64,92,94,106,108,115,117,118,119,123) have mixed types.Specify dtype option on import or set low_memory=False.
  interactivity=interactivity, compiler=compiler, result=result)
df1.shape[0]
1189743
df1.shape[0] - df1.PAC_COCBO.isna().sum()
25774
( df1.shape[0] - df1.PAC_COCBO.isna().sum() ) / df1.shape[0]
0.02166350211768424
df1.PAC_DSCBO.value_counts()[:40]
NAO INFORMADO                                                                                 3124
TRABALHADOR VOLANTE DA AGRICULTURA                                                            2074
TRABALHADOR AGROPECUARIO EM GERAL                                                             1021
TECNICO DE ENFERMAGEM                                                                          862
COMERCIANTE VAREJISTA                                                                          705
PEDREIRO                                                                                       703
ENFERMEIRO                                                                                     628
EMPREGADO  DOMESTICO  NOS SERVICOS GERAIS                                                      618
PROFESSOR DA  EDUCACAO DE JOVENS E ADULTOS DO ENSINO FUNDAMENTAL (PRIMEIRA A QUARTA SERIE)     452
MOTORISTA DE CARRO DE PASSEIO                                                                  421
ADVOGADO                                                                                       404
REPRESENTANTE COMERCIAL AUTONOMO                                                               396
ADMINISTRADOR                                                                                  383
MOTORISTA DE CAMINHAO (ROTAS REGIONAIS E INTERNACIONAIS)                                       369
ASSISTENTE ADMINISTRATIVO                                                                      304
VENDEDOR DE COMERCIO VAREJISTA                                                                 277
COZINHEIRO GERAL                                                                               262
VIGILANTE                                                                                      259
MEDICO CLINICO                                                                                 253
EMPREGADO DOMESTICO DIARISTA                                                                   244
AUXILIAR DE ENFERMAGEM                                                                         241
COZINHEIRO DO SERVICO DOMESTICO                                                                209
CONTADOR                                                                                       191
CABELEIREIRO                                                                                   185
COMERCIANTE ATACADISTA                                                                         176
CASEIRO (AGRICULTURA)                                                                          172
ENGENHEIRO CIVIL                                                                               167
PRODUTOR AGRICOLA POLIVALENTE                                                                  158
VENDEDOR AMBULANTE                                                                             153
ELETRICISTA DE INSTALACOES                                                                     153
PRODUTOR AGROPECUARIO, EM GERAL                                                                149
ALIMENTADOR DE LINHA DE PRODUCAO                                                               140
EMPREGADO DOMESTICO  FAXINEIRO                                                                 138
COSTUREIRA DE PECAS SOB ENCOMENDA                                                              137
MOTORISTA DE TAXI                                                                              129
FAXINEIRO                                                                                      123
CAMINHONEIRO AUTONOMO (ROTAS REGIONAIS E INTERNACIONAIS)                                       122
COSTUREIRA DE REPARACAO DE ROUPAS                                                              120
AGENTE DE SEGURANCA                                                                            107
MEDICO EM MEDICINA INTENSIVA                                                                   106
Name: PAC_DSCBO, dtype: int64
df = df1.loc[df1.PAC_DSCBO.notna()]
df = df.query('PAC_DSCBO != "NAO INFORMADO"')

df.SG_UF_NOT.value_counts(normalize=True)
df.shape[0] 
df.shape[0] / df1.shape[0]
0.019037724954044696
x = df.ID_MUNICIP.value_counts() / df1.ID_MUNICIP.value_counts()
x = x.loc[x.notna()]
x = x.sort_values()
x
UBERLANDIA               0.000145
CAMPINA GRANDE           0.000261
IPATINGA                 0.000299
VITORIA DA CONQUISTA     0.000312
CAXIAS DO SUL            0.000315
                           ...   
GETULINA                 1.000000
IGUATAMA                 1.000000
ESTRELA DO NORTE         1.000000
SAO PEDRO DOS CRENTES    1.000000
ARCEBURGO                1.000000
Name: ID_MUNICIP, Length: 1358, dtype: float64
n = len(x)
selected_cities = x[-1*n:].index
print(x[-1*n])
df_mun = df.loc[df.ID_MUNICIP.isin(selected_cities)]
# df_mun.shape[0] / n
df_mun.PAC_DSCBO.value_counts()[:40]
0.00014539110206455364
TRABALHADOR VOLANTE DA AGRICULTURA                                                            2074
TRABALHADOR AGROPECUARIO EM GERAL                                                             1021
TECNICO DE ENFERMAGEM                                                                          862
COMERCIANTE VAREJISTA                                                                          705
PEDREIRO                                                                                       703
ENFERMEIRO                                                                                     628
EMPREGADO  DOMESTICO  NOS SERVICOS GERAIS                                                      618
PROFESSOR DA  EDUCACAO DE JOVENS E ADULTOS DO ENSINO FUNDAMENTAL (PRIMEIRA A QUARTA SERIE)     452
MOTORISTA DE CARRO DE PASSEIO                                                                  421
ADVOGADO                                                                                       404
REPRESENTANTE COMERCIAL AUTONOMO                                                               396
ADMINISTRADOR                                                                                  383
MOTORISTA DE CAMINHAO (ROTAS REGIONAIS E INTERNACIONAIS)                                       369
ASSISTENTE ADMINISTRATIVO                                                                      304
VENDEDOR DE COMERCIO VAREJISTA                                                                 277
COZINHEIRO GERAL                                                                               262
VIGILANTE                                                                                      259
MEDICO CLINICO                                                                                 253
EMPREGADO DOMESTICO DIARISTA                                                                   244
AUXILIAR DE ENFERMAGEM                                                                         241
COZINHEIRO DO SERVICO DOMESTICO                                                                209
CONTADOR                                                                                       191
CABELEIREIRO                                                                                   185
COMERCIANTE ATACADISTA                                                                         176
CASEIRO (AGRICULTURA)                                                                          172
ENGENHEIRO CIVIL                                                                               167
PRODUTOR AGRICOLA POLIVALENTE                                                                  158
VENDEDOR AMBULANTE                                                                             153
ELETRICISTA DE INSTALACOES                                                                     153
PRODUTOR AGROPECUARIO, EM GERAL                                                                149
ALIMENTADOR DE LINHA DE PRODUCAO                                                               140
EMPREGADO DOMESTICO  FAXINEIRO                                                                 138
COSTUREIRA DE PECAS SOB ENCOMENDA                                                              137
MOTORISTA DE TAXI                                                                              129
FAXINEIRO                                                                                      123
CAMINHONEIRO AUTONOMO (ROTAS REGIONAIS E INTERNACIONAIS)                                       122
COSTUREIRA DE REPARACAO DE ROUPAS                                                              120
AGENTE DE SEGURANCA                                                                            107
MEDICO EM MEDICINA INTENSIVA                                                                   106
PORTEIRO DE EDIFICIOS                                                                          105
Name: PAC_DSCBO, dtype: int64
Recarrega wiki_url