da_p01

%23%20SPDX-FileCopyrightText%3A%202026%20fruzitent%0A%23%0A%23%20SPDX-License-Identifier%3A%20MIT%0A%0A%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.14%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22altair%3D%3D6.1.0%22%2C%0A%23%20%20%20%20%20%22marimo%5Brecommended%5D%3D%3D0.23.6%22%2C%0A%23%20%20%20%20%20%22polars%3D%3D1.40.1%22%2C%0A%23%20%20%20%20%20%22pyarrow%3D%3D24.0.0%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.6%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22da_p01%22)%0A%0Awith%20app.setup%3A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20polars%20as%20pl%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Preparing%20data%20for%20analysis%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%201%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Examine%20the%20data%20structure%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20fetch_file(path%3A%20str)%20-%3E%20bytes%20%7C%20None%3A%0A%20%20%20%20from%20requests%20import%20get%0A%20%20%20%20from%20requests.exceptions%20import%20RequestException%0A%20%20%20%20from%20os.path%20import%20exists%0A%0A%20%20%20%20if%20exists(path)%3A%0A%20%20%20%20%20%20%20%20with%20open(path%2C%20%22rb%22)%20as%20file%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20file.read()%0A%0A%20%20%20%20if%20path.startswith(%22https%3A%2F%2Fmarimo.app%22)%3A%0A%20%20%20%20%20%20%20%20return%20None%0A%0A%20%20%20%20if%20path.startswith((%22http%3A%2F%2F%22%2C%20%22https%3A%2F%2F%22))%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20with%20get(path)%20as%20res%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20res.status_code%20%3D%3D%20200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20res.content%0A%20%20%20%20%20%20%20%20except%20RequestException%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20None%0A%0A%20%20%20%20return%20None%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20data%20%3D%20fetch_file(str(mo.notebook_location()%20%2F%20%22public%22%20%2F%20%22Data2.csv%22))%0A%20%20%20%20file%20%3D%20mo.ui.file(filetypes%3D%5B%22.csv%22%5D)%0A%20%20%20%20file%20if%20data%20is%20None%20else%20None%0A%20%20%20%20return%20data%2C%20file%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20file)%3A%0A%20%20%20%20mo.stop(data%20is%20None%20and%20not%20file.value%2C%20mo.md(%22waiting%20on%20source...%22))%0A%0A%20%20%20%20df_source%20%3D%20pl.read_csv(%0A%20%20%20%20%20%20%20%20encoding%3D%22cp1252%22%2C%0A%20%20%20%20%20%20%20%20infer_schema%3DFalse%2C%0A%20%20%20%20%20%20%20%20separator%3D%22%3B%22%2C%0A%20%20%20%20%20%20%20%20source%3Dfile.contents()%20if%20data%20is%20None%20else%20data%2C%0A%20%20%20%20)%0A%0A%20%20%20%20df_source%0A%20%20%20%20return%20(df_source%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%202%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(df_source)%3A%0A%20%20%20%20df_fixed%20%3D%20df_source.pipe(df_rename).pipe(df_types).pipe(df_values)%0A%20%20%20%20df_fixed%0A%20%20%20%20return%20(df_fixed%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Bad%20column%20names%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20df_rename(df%3A%20pl.DataFrame)%20-%3E%20pl.DataFrame%3A%0A%20%20%20%20return%20df.rename(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Country%20Name%22%3A%20%22country_name%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Region%22%3A%20%22region%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22GDP%20per%20capita%22%3A%20%22gdp_per_capita%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Populatiion%22%3A%20%22population%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22CO2%20emission%22%3A%20%22co2_emission%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Area%22%3A%20%22area%22%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Incorrect%20data%20types%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20df_types(df%3A%20pl.DataFrame)%20-%3E%20pl.DataFrame%3A%0A%20%20%20%20return%20df.with_columns(%0A%20%20%20%20%20%20%20%20pl.col(%22area%22).str.replace(%22%2C%22%2C%20%22.%22).cast(pl.Float64)%2C%0A%20%20%20%20%20%20%20%20pl.col(%22co2_emission%22).str.replace(%22%2C%22%2C%20%22.%22).cast(pl.Float64)%2C%0A%20%20%20%20%20%20%20%20pl.col(%22gdp_per_capita%22).str.replace(%22%2C%22%2C%20%22.%22).cast(pl.Float64)%2C%0A%20%20%20%20%20%20%20%20pl.col(%22population%22).cast(pl.UInt64)%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Invalid%20values%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20df_values(df%3A%20pl.DataFrame)%20-%3E%20pl.DataFrame%3A%0A%20%20%20%20return%20df.with_columns(%0A%20%20%20%20%20%20%20%20pl.when(pl.col(%22country_name%22)%20%3D%3D%20%22Myanmar%22)%0A%20%20%20%20%20%20%20%20.then(pl.col(%22area%22).abs())%0A%20%20%20%20%20%20%20%20.otherwise(pl.col(%22area%22))%0A%20%20%20%20%20%20%20%20.alias(%22area%22)%2C%0A%20%20%20%20%20%20%20%20pl.when(pl.col(%22country_name%22)%20%3D%3D%20%22Dominican%20Republic%22)%0A%20%20%20%20%20%20%20%20.then(pl.col(%22gdp_per_capita%22).abs())%0A%20%20%20%20%20%20%20%20.otherwise(pl.col(%22gdp_per_capita%22))%0A%20%20%20%20%20%20%20%20.alias(%22gdp_per_capita%22)%2C%0A%20%20%20%20%20%20%20%20pl.when(pl.col(%22country_name%22)%20%3D%3D%20%22Latvia%22)%0A%20%20%20%20%20%20%20%20.then(1_862_700)%0A%20%20%20%20%20%20%20%20.otherwise(pl.col(%22population%22))%0A%20%20%20%20%20%20%20%20.alias(%22population%22)%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%203%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Box%20plot%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_fixed)%3A%0A%20%20%20%20_area%20%3D%20alt.Chart(df_fixed).mark_boxplot().encode(alt.Y(%22area%22).axis(format%3D%22e%22))%0A%20%20%20%20_co2_emission%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df_fixed)%0A%20%20%20%20%20%20%20%20.mark_boxplot()%0A%20%20%20%20%20%20%20%20.encode(alt.Y(%22co2_emission%22).axis(format%3D%22e%22))%0A%20%20%20%20)%0A%20%20%20%20_gdp_per_capita%20%3D%20alt.Chart(df_fixed).mark_boxplot().encode(alt.Y(%22gdp_per_capita%22))%0A%20%20%20%20_population%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df_fixed).mark_boxplot().encode(alt.Y(%22population%22).axis(format%3D%22e%22))%0A%20%20%20%20)%0A%0A%20%20%20%20_chart%20%3D%20_area%20%7C%20_co2_emission%20%7C%20_gdp_per_capita%20%7C%20_population%0A%0A%20%20%20%20mo.ui.altair_chart(_chart)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Bar%20chart%20(binned)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_fixed)%3A%0A%20%20%20%20_area%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df_fixed)%0A%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20.encode(alt.X(%22area%22%2C%20bin%3DTrue).axis(format%3D%22e%22)%2C%20alt.Y(%22count()%22))%0A%20%20%20%20)%0A%20%20%20%20_co2_emission%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df_fixed)%0A%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20.encode(alt.X(%22co2_emission%22%2C%20bin%3DTrue).axis(format%3D%22e%22)%2C%20alt.Y(%22count()%22))%0A%20%20%20%20)%0A%20%20%20%20_gdp_per_capita%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df_fixed)%0A%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20.encode(alt.X(%22gdp_per_capita%22%2C%20bin%3DTrue)%2C%20alt.Y(%22count()%22))%0A%20%20%20%20)%0A%20%20%20%20_population%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df_fixed)%0A%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20.encode(alt.X(%22population%22%2C%20bin%3DTrue).axis(format%3D%22e%22)%2C%20alt.Y(%22count()%22))%0A%20%20%20%20)%0A%0A%20%20%20%20_chart%20%3D%20_area%20%7C%20_co2_emission%20%7C%20_gdp_per_capita%20%7C%20_population%0A%0A%20%20%20%20mo.ui.altair_chart(_chart)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%204%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_fixed)%3A%0A%20%20%20%20df_full%20%3D%20df_fixed.pipe(df_missing).pipe(df_approx)%0A%20%20%20%20return%20(df_full%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Missing%20values%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20df_missing(df%3A%20pl.DataFrame)%20-%3E%20pl.DataFrame%3A%0A%20%20%20%20return%20df.with_columns(%0A%20%20%20%20%20%20%20%20pl.when(pl.col(%22country_name%22)%20%3D%3D%20%22Bermuda%22)%0A%20%20%20%20%20%20%20%20.then(pl.lit(53.2))%0A%20%20%20%20%20%20%20%20.when(pl.col(%22country_name%22)%20%3D%3D%20%22Cuba%22)%0A%20%20%20%20%20%20%20%20.then(pl.lit(109_884))%0A%20%20%20%20%20%20%20%20.otherwise(pl.col(%22area%22))%0A%20%20%20%20%20%20%20%20.alias(%22area%22)%2C%0A%20%20%20%20%20%20%20%20pl.when(pl.col(%22country_name%22)%20%3D%3D%20%22Eritrea%22)%0A%20%20%20%20%20%20%20%20.then(pl.lit(3_667_300))%0A%20%20%20%20%20%20%20%20.otherwise(pl.col(%22population%22))%0A%20%20%20%20%20%20%20%20.alias(%22population%22)%2C%0A%20%20%20%20)%0A%0A%0A%40app.function%0Adef%20df_approx(df%3A%20pl.DataFrame)%20-%3E%20pl.DataFrame%3A%0A%20%20%20%20return%20df.with_columns(%0A%20%20%20%20%20%20%20%20pl.col(%22co2_emission%22).fill_null(%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22co2_emission%22).median().over(%22region%22)%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20pl.col(%22gdp_per_capita%22).fill_null(%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22gdp_per_capita%22).median().over(%22region%22)%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%205%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Add%20population%20density%20column%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_full)%3A%0A%20%20%20%20df_new%20%3D%20df_full.with_columns(%0A%20%20%20%20%20%20%20%20population_density%3Dpl.col(%22population%22)%20%2F%20pl.col(%22area%22)%0A%20%20%20%20)%0A%20%20%20%20df_new%0A%20%20%20%20return%20(df_new%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%20(Extra)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_new)%3A%0A%20%20%20%20print(%0A%20%20%20%20%20%20%20%20%22Smallest%20area%3A%22%2C%0A%20%20%20%20%20%20%20%20df_new.filter(pl.col(%22area%22)%20%3D%3D%20pl.col(%22area%22).min())%0A%20%20%20%20%20%20%20%20.select(pl.col(%22country_name%22))%0A%20%20%20%20%20%20%20%20.item()%2C%0A%20%20%20%20)%0A%0A%20%20%20%20print(%0A%20%20%20%20%20%20%20%20%22Largest%20population%20density%20in%20the%20world%3A%22%2C%0A%20%20%20%20%20%20%20%20df_new.filter(%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22population_density%22)%20%3D%3D%20pl.col(%22population_density%22).max()%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.select(pl.col(%22country_name%22))%0A%20%20%20%20%20%20%20%20.item()%2C%0A%20%20%20%20)%0A%0A%20%20%20%20print(%0A%20%20%20%20%20%20%20%20%22Largest%20population%20density%20in%20Europe%20and%20Central%20Asia%3A%22%2C%0A%20%20%20%20%20%20%20%20df_new.filter(pl.col(%22region%22)%20%3D%3D%20%22Europe%20%26%20Central%20Asia%22)%0A%20%20%20%20%20%20%20%20.filter(pl.col(%22population_density%22)%20%3D%3D%20pl.col(%22population_density%22).max())%0A%20%20%20%20%20%20%20%20.select(pl.col(%22country_name%22))%0A%20%20%20%20%20%20%20%20.item()%2C%0A%20%20%20%20)%0A%0A%20%20%20%20print(%0A%20%20%20%20%20%20%20%20%22Largest%20GDP%20per%20capita%20in%20the%20world%3A%22%2C%0A%20%20%20%20%20%20%20%20df_new.filter(pl.col(%22gdp_per_capita%22)%20%3D%3D%20pl.col(%22gdp_per_capita%22).max())%0A%20%20%20%20%20%20%20%20.select(pl.col(%22country_name%22))%0A%20%20%20%20%20%20%20%20.item()%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Top%205%20by%20GDP%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_new)%3A%0A%20%20%20%20df_new.top_k(5%2C%20by%3D%22gdp_per_capita%22).select(%22country_name%22%2C%20%22gdp_per_capita%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Bottom%205%20by%20GDP%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_new)%3A%0A%20%20%20%20df_new.bottom_k(5%2C%20by%3D%22gdp_per_capita%22).select(%22country_name%22%2C%20%22gdp_per_capita%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Save%20to%20a%20new%20file%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_new)%3A%0A%20%20%20%20mo.download(%0A%20%20%20%20%20%20%20%20data%3Ddf_new.write_csv()%2C%0A%20%20%20%20%20%20%20%20filename%3D%22clean_data2.csv%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Download%22%2C%0A%20%20%20%20%20%20%20%20mimetype%3D%22text%2Fcsv%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A