da_p02

%23%20SPDX-FileCopyrightText%3A%202026%20fruzitent%0A%23%0A%23%20SPDX-License-Identifier%3A%20MIT%0A%0A%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.14%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22altair%3D%3D6.1.0%22%2C%0A%23%20%20%20%20%20%22dataframely%3D%3D2.9.1%22%2C%0A%23%20%20%20%20%20%22marimo%5Brecommended%5D%3D%3D0.23.6%22%2C%0A%23%20%20%20%20%20%22polars%3D%3D1.40.1%22%2C%0A%23%20%20%20%20%20%22pyarrow%3D%3D24.0.0%22%2C%0A%23%20%20%20%20%20%22scipy%3D%3D1.17.1%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.6%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22da_p02%22)%0A%0Awith%20app.setup%3A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20dataframely%20as%20dy%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20import%20polars.selectors%20as%20cs%0A%0A%20%20%20%20from%20altair%20import%20datum%0A%20%20%20%20from%20itertools%20import%20combinations%0A%20%20%20%20from%20scipy.stats%20import%20f_oneway%0A%20%20%20%20from%20scipy.stats%20import%20pearsonr%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Exploratory%20data%20analysis%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%201%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Read%20file%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20fetch_file(path%3A%20str)%20-%3E%20bytes%20%7C%20None%3A%0A%20%20%20%20from%20requests%20import%20get%0A%20%20%20%20from%20requests.exceptions%20import%20RequestException%0A%20%20%20%20from%20os.path%20import%20exists%0A%0A%20%20%20%20if%20exists(path)%3A%0A%20%20%20%20%20%20%20%20with%20open(path%2C%20%22rb%22)%20as%20file%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20file.read()%0A%0A%20%20%20%20if%20path.startswith(%22https%3A%2F%2Fmarimo.app%22)%3A%0A%20%20%20%20%20%20%20%20return%20None%0A%0A%20%20%20%20if%20path.startswith((%22http%3A%2F%2F%22%2C%20%22https%3A%2F%2F%22))%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20with%20get(path)%20as%20res%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20res.status_code%20%3D%3D%20200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20res.content%0A%20%20%20%20%20%20%20%20except%20RequestException%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20None%0A%0A%20%20%20%20return%20None%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20data%20%3D%20fetch_file(str(mo.notebook_location()%20%2F%20%22public%22%20%2F%20%22clean_data2.csv%22))%0A%20%20%20%20file%20%3D%20mo.ui.file(filetypes%3D%5B%22.csv%22%5D)%0A%20%20%20%20file%20if%20data%20is%20None%20else%20None%0A%20%20%20%20return%20data%2C%20file%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20file)%3A%0A%20%20%20%20mo.stop(data%20is%20None%20and%20not%20file.value%2C%20mo.md(%22waiting%20on%20source...%22))%0A%0A%0A%20%20%20%20class%20Schema(dy.Schema)%3A%0A%20%20%20%20%20%20%20%20country_name%20%3D%20dy.String()%0A%20%20%20%20%20%20%20%20region%20%3D%20dy.String()%0A%20%20%20%20%20%20%20%20gdp_per_capita%20%3D%20dy.Float64()%0A%20%20%20%20%20%20%20%20population%20%3D%20dy.UInt64()%0A%20%20%20%20%20%20%20%20co2_emission%20%3D%20dy.Float64()%0A%20%20%20%20%20%20%20%20area%20%3D%20dy.Float64()%0A%20%20%20%20%20%20%20%20population_density%20%3D%20dy.Float64()%0A%0A%0A%20%20%20%20df%20%3D%20Schema.validate(%0A%20%20%20%20%20%20%20%20pl.read_csv(%0A%20%20%20%20%20%20%20%20%20%20%20%20infer_schema%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20source%3Dfile.contents()%20if%20data%20is%20None%20else%20data%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20cast%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20return%20Schema%2C%20df%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Build%20a%20plot%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df)%3A%0A%20%20%20%20_points%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df)%0A%20%20%20%20%20%20%20%20.mark_point()%0A%20%20%20%20%20%20%20%20.transform_filter(datum.key_x%20!%3D%20datum.key_y)%0A%20%20%20%20%20%20%20%20.transform_calculate(%0A%20%20%20%20%20%20%20%20%20%20%20%20hover_x%3Ddatum.key_x%20%2B%20%22%20%22%20%2B%20datum.value_x%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hover_y%3Ddatum.key_y%20%2B%20%22%20%22%20%2B%20datum.value_y%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(field%3D%22country_name%22%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(field%3D%22region%22%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(field%3D%22hover_x%22%2C%20title%3D%22x%22%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(field%3D%22hover_y%22%2C%20title%3D%22y%22%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20_regression%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df)%0A%20%20%20%20%20%20%20%20.mark_line(color%3D%22red%22)%0A%20%20%20%20%20%20%20%20.transform_filter(datum.key_x%20!%3D%20datum.key_y)%0A%20%20%20%20%20%20%20%20.transform_regression(on%3D%22value_x%22%2C%20regression%3D%22value_y%22)%0A%20%20%20%20)%0A%0A%20%20%20%20_density%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df)%0A%20%20%20%20%20%20%20%20.mark_area()%0A%20%20%20%20%20%20%20%20.transform_filter(datum.key_x%20%3D%3D%20datum.key_y)%0A%20%20%20%20%20%20%20%20.transform_density(as_%3D%5B%22value_x%22%2C%20%22density%22%5D%2C%20density%3D%22value_x%22)%0A%20%20%20%20%20%20%20%20.encode(y%3Dalt.Y(field%3D%22density%22%2C%20type%3D%22quantitative%22))%0A%20%20%20%20)%0A%0A%20%20%20%20_names%20%3D%20df.select(cs.numeric()).columns%0A%0A%20%20%20%20%23%20TODO%3A%20https%3A%2F%2Fgithub.com%2Fvega%2Fvega-lite%2Fissues%2F2518%0A%20%20%20%20_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20(_points%20%2B%20_regression%20%2B%20_density)%0A%20%20%20%20%20%20%20%20.transform_fold(as_%3D%5B%22key_x%22%2C%20%22value_x%22%5D%2C%20fold%3D_names)%0A%20%20%20%20%20%20%20%20.transform_fold(as_%3D%5B%22key_y%22%2C%20%22value_y%22%5D%2C%20fold%3D_names)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(field%3D%22value_x%22%2C%20title%3DNone%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(field%3D%22value_y%22%2C%20title%3DNone%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.facet(%0A%20%20%20%20%20%20%20%20%20%20%20%20column%3Dalt.Column(field%3D%22key_x%22%2C%20title%3DNone%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20row%3Dalt.Row(field%3D%22key_y%22%2C%20title%3DNone%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.resolve_scale(x%3D%22independent%22%2C%20y%3D%22independent%22)%0A%20%20%20%20)%0A%0A%20%20%20%20mo.ui.altair_chart(_chart.interactive())%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%202%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Calculate%20the%20correlation%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df)%3A%0A%20%20%20%20_corr_df%20%3D%20(%0A%20%20%20%20%20%20%20%20df.select(cs.numeric())%0A%20%20%20%20%20%20%20%20.corr()%0A%20%20%20%20%20%20%20%20.pipe(lambda%20df%3A%20df.with_columns(row_attr%3Dpl.Series(df.columns)))%0A%20%20%20%20%20%20%20%20.unpivot(%0A%20%20%20%20%20%20%20%20%20%20%20%20index%3D%22row_attr%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value_name%3D%22correlation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20variable_name%3D%22col_attr%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20_heatmap%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_corr_df)%0A%20%20%20%20%20%20%20%20.mark_rect()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20field%3D%22correlation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20type%3D%22quantitative%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domainMin%3D-1%2C%20domainMax%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20field%3D%22col_attr%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sort%3D%22ascending%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20type%3D%22nominal%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20field%3D%22row_attr%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sort%3D%22ascending%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20type%3D%22nominal%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20_text%20%3D%20_heatmap.mark_text().encode(%0A%20%20%20%20%20%20%20%20color%3Dalt.condition(%0A%20%20%20%20%20%20%20%20%20%20%20%20if_false%3Dalt.value(%22black%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20if_true%3Dalt.value(%22white%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20predicate%3Dabs(alt.datum.correlation)%20%3E%200.5%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20text%3Dalt.Text(format%3D%22.2f%22%2C%20field%3D%22correlation%22%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_chart%20%3D%20(_heatmap%20%2B%20_text).properties(%0A%20%20%20%20%20%20%20%20height%3D400%2C%0A%20%20%20%20%20%20%20%20width%3D400%2C%0A%20%20%20%20)%0A%0A%20%20%20%20mo.ui.altair_chart(_chart)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%203%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Create%20scatter%20plots%20for%20quantitative%20variables%20and%20%22co2_emission%22%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20df)%3A%0A%20%20%20%20_points%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df)%0A%20%20%20%20%20%20%20%20.mark_point()%0A%20%20%20%20%20%20%20%20.transform_calculate(%0A%20%20%20%20%20%20%20%20%20%20%20%20hover_x%3Ddatum.key_x%20%2B%20%22%20%22%20%2B%20datum.value_x%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(field%3D%22country_name%22%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(field%3D%22region%22%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20_regression%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df)%0A%20%20%20%20%20%20%20%20.mark_line(color%3D%22red%22)%0A%20%20%20%20%20%20%20%20.transform_regression(on%3D%22value_x%22%2C%20regression%3DSchema.co2_emission.name)%0A%20%20%20%20)%0A%0A%20%20%20%20_names%20%3D%20(%0A%20%20%20%20%20%20%20%20df.select(cs.numeric())%0A%20%20%20%20%20%20%20%20.select(pl.exclude(Schema.co2_emission.name))%0A%20%20%20%20%20%20%20%20.columns%0A%20%20%20%20)%0A%0A%20%20%20%20_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20(_points%20%2B%20_regression)%0A%20%20%20%20%20%20%20%20.transform_fold(as_%3D%5B%22key_x%22%2C%20%22value_x%22%5D%2C%20fold%3D_names)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20field%3D%22value_x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20type%3D%22quantitative%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20field%3DSchema.co2_emission.name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20type%3D%22quantitative%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.facet(%0A%20%20%20%20%20%20%20%20%20%20%20%20column%3Dalt.Column(field%3D%22key_x%22%2C%20title%3DNone%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20row%3Dalt.Row(field%3D%22key_y%22%2C%20title%3DNone%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.resolve_scale(x%3D%22independent%22%2C%20y%3D%22independent%22)%0A%20%20%20%20)%0A%0A%20%20%20%20mo.ui.altair_chart(_chart.interactive())%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20-%20area%20-%20strong%20correlation%0A%20%20%20%20-%20gpt_per_capita%20-%20weak%20correlation%0A%20%20%20%20-%20population%20-%20strong%20correlation%0A%20%20%20%20-%20population_density%20-%20no%20correlation%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Box%20plot%20by%20region%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20df)%3A%0A%20%20%20%20_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df.select(Schema.co2_emission.col%2C%20Schema.region.col))%0A%20%20%20%20%20%20%20%20.mark_boxplot()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(field%3DSchema.region.name%2C%20legend%3DNone%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20field%3DSchema.co2_emission.name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(type%3D%22symlog%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20type%3D%22quantitative%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(field%3DSchema.region.name%2C%20title%3DNone%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(width%3D%22container%22)%0A%20%20%20%20)%0A%0A%20%20%20%20mo.ui.altair_chart(_chart)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20-%20North%20America%20-%20highest%20emissions%0A%20%20%20%20-%20Sub-Saharan%20Africa%20-%20lowest%20emissions%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%204%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Calculate%20Pearson%20and%20P-Value%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20p_to_str(p%3A%20float)%20-%3E%20str%3A%0A%20%20%20%20return%20%22significant%22%20if%20p%20%3C%200.05%20else%20%22not%20significant%22%0A%0A%0A%40app.function%0Adef%20r_to_str(r%3A%20float)%20-%3E%20str%3A%0A%20%20%20%20r%20%3D%20abs(r)%0A%20%20%20%20if%20r%20%3C%3D%200.19%3A%0A%20%20%20%20%20%20%20%20return%20%22very%20low%20correlation%22%0A%20%20%20%20elif%20r%20%3C%3D%200.39%3A%0A%20%20%20%20%20%20%20%20return%20%22low%20correlation%22%0A%20%20%20%20elif%20r%20%3C%3D%200.59%3A%0A%20%20%20%20%20%20%20%20return%20%22moderate%20correlation%22%0A%20%20%20%20elif%20r%20%3C%3D%200.79%3A%0A%20%20%20%20%20%20%20%20return%20%22high%20correlation%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20return%20%22very%20high%20correlation%22%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20df)%3A%0A%20%20%20%20for%20_attr%20in%20df.select(cs.numeric()).select(%0A%20%20%20%20%20%20%20%20pl.exclude(Schema.co2_emission.name)%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20_r%2C%20_p%20%3D%20pearsonr(x%3Ddf.select(_attr)%2C%20y%3Ddf.select(Schema.co2_emission.col))%0A%20%20%20%20%20%20%20%20print(f%22%7B_attr.name%7D%3A%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20p%3A%20%7B_p%7D%20-%3E%20%7Bp_to_str(_p)%7D%22)%0A%20%20%20%20%20%20%20%20print(f%22%20%20r%3A%20%7B_r%7D%20-%3E%20%7Br_to_str(_r)%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%205%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Dispersion%20analysis%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20df)%3A%0A%20%20%20%20_values%20%3D%20%5B%0A%20%20%20%20%20%20%20%20_sub_df.select(Schema.co2_emission.col)%0A%20%20%20%20%20%20%20%20for%20_sub_df%20in%20df.partition_by(Schema.region.name)%0A%20%20%20%20%5D%0A%20%20%20%20_f%2C%20_p%20%3D%20f_oneway(*_values)%0A%20%20%20%20print(f%22One-way%20ANOVA%20(%7BSchema.co2_emission.name%7D%20by%20%7BSchema.region.name%7D)%3A%22)%0A%20%20%20%20print(f%22%20%20f%3A%20%7B_f%7D%22)%0A%20%20%20%20print(f%22%20%20p%3A%20%7B_p%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20df)%3A%0A%20%20%20%20class%20Anova(dy.Schema)%3A%0A%20%20%20%20%20%20%20%20column%20%3D%20dy.String()%0A%20%20%20%20%20%20%20%20row%20%3D%20dy.String()%0A%20%20%20%20%20%20%20%20f_stat%20%3D%20dy.Float64()%0A%20%20%20%20%20%20%20%20p_value%20%3D%20dy.Float()%0A%0A%20%20%20%20%20%20%20%20def%20new()%20-%3E%20pl.DataFrame%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20regions%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sub_df.select(Schema.region.col).item(0%2C%200)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sub_df.select(Schema.co2_emission.col)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20sub_df%20in%20df.partition_by(Schema.region.name)%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20records%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20(name1%2C%20data1)%2C%20(name2%2C%20data2)%20in%20combinations(regions%2C%202)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f_stat%2C%20p_val%20%3D%20f_oneway(data1%2C%20data2)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20records.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Anova.column.name%3A%20name1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Anova.row.name%3A%20name2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Anova.f_stat.name%3A%20f_stat%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Anova.p_value.name%3A%20p_val%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20records.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Anova.column.name%3A%20name2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Anova.row.name%3A%20name1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Anova.f_stat.name%3A%20f_stat%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Anova.p_value.name%3A%20p_val%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20name%2C%20_%20in%20regions%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20records.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Anova.column.name%3A%20name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Anova.row.name%3A%20name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Anova.f_stat.name%3A%200.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Anova.p_value.name%3A%201.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20Anova.validate(pl.DataFrame(records)%2C%20cast%3DTrue)%0A%0A%0A%20%20%20%20df_anova%20%3D%20Anova.new()%0A%0A%20%20%20%20_base%20%3D%20alt.Chart(df_anova).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%0A%20%20%20%20%20%20%20%20%20%20%20%20axis%3Dalt.Axis(labelAngle%3D-45)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20field%3D%22column%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20type%3D%22nominal%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(field%3D%22row%22%2C%20title%3DNone%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_heatmap%20%3D%20_base.mark_rect().encode(%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20field%3DAnova.f_stat.name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(scheme%3D%22blues%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20type%3D%22quantitative%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(field%3DAnova.column.name%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(field%3DAnova.row.name%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20field%3DAnova.f_stat.name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20format%3D%22.2f%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20type%3D%22quantitative%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20field%3DAnova.p_value.name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20format%3D%22.4f%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20type%3D%22quantitative%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_max_f_stat%20%3D%20df_anova.select(Anova.f_stat.col).max().item()%0A%0A%20%20%20%20_text%20%3D%20_base.mark_text().encode(%0A%20%20%20%20%20%20%20%20color%3Dalt.condition(%0A%20%20%20%20%20%20%20%20%20%20%20%20if_false%3Dalt.value(%22black%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20if_true%3Dalt.value(%22white%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20predicate%3Ddatum.f_stat%20%3E%20(_max_f_stat%20%2F%202)%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20text%3Dalt.Text(format%3D%22.3f%22%2C%20field%3DAnova.p_value.name%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_chart%20%3D%20(_heatmap%20%2B%20_text).properties(height%3D400%2C%20width%3D400)%0A%0A%20%20%20%20mo.ui.altair_chart(_chart)%0A%20%20%20%20return%20Anova%2C%20df_anova%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%20(Extra)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Identify%20the%20pair%20of%20regions%20that%20differ%20the%20most%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Anova%2C%20Schema%2C%20df_anova)%3A%0A%20%20%20%20_top%20%3D%20df_anova.top_k(by%3DAnova.f_stat.col%2C%20k%3D1)%0A%20%20%20%20_name1%20%3D%20_top.select(Anova.column.col).item()%0A%20%20%20%20_name2%20%3D%20_top.select(Anova.row.col).item()%0A%20%20%20%20print(%0A%20%20%20%20%20%20%20%20f%22%7B_name1%7D%20and%20%7B_name2%7D%20differ%20the%20most%20in%20terms%20of%20%7BSchema.co2_emission.name%7D%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Cluster%20by%20GDP.%20Visually%20assess%20results%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20freedman_diaconis(series%3A%20pl.Series)%20-%3E%20int%3A%0A%20%20%20%20from%20math%20import%20ceil%0A%0A%20%20%20%20iqr%20%3D%20series.quantile(0.75)%20-%20series.quantile(0.25)%0A%20%20%20%20range%20%3D%20series.max()%20-%20series.min()%0A%20%20%20%20width%20%3D%202%20*%20iqr%20*%20(series.len()%20**%20(-1%20%2F%203))%0A%0A%20%20%20%20return%20ceil(range%20%2F%20width)%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20df)%3A%0A%20%20%20%20_series%20%3D%20df.select(Schema.gdp_per_capita.col).to_series()%0A%20%20%20%20_kwargs%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22series%22%3A%20_series%2C%0A%20%20%20%20%20%20%20%20%22show_value%22%3A%20True%2C%0A%20%20%20%20%7D%0A%20%20%20%20_median%20%3D%20_series.median()%0A%20%20%20%20bounds%20%3D%20mo.ui.dictionary(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22low%22%3A%20mo.ui.slider.from_series(value%3D_median%20*%200.67%2C%20**_kwargs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22middle%22%3A%20mo.ui.slider.from_series(value%3D_median%2C%20**_kwargs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22high%22%3A%20mo.ui.slider.from_series(value%3D_median%20*%202.00%2C%20**_kwargs)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20bounds%0A%20%20%20%20return%20(bounds%2C)%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20bounds%2C%20df)%3A%0A%20%20%20%20_bins%20%3D%20freedman_diaconis(df.select(Schema.gdp_per_capita.col).to_series())%0A%0A%20%20%20%20_hist%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df)%0A%20%20%20%20%20%20%20%20.mark_bar(opacity%3D0.5)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bin%3Dalt.Bin(maxbins%3D_bins)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20field%3DSchema.gdp_per_capita.name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20type%3D%22quantitative%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(aggregate%3D%22count%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20_stats_df%20%3D%20pl.DataFrame(%5Bbounds.value%5D).unpivot(%0A%20%20%20%20%20%20%20%20variable_name%3D%22class%22%2C%0A%20%20%20%20%20%20%20%20value_name%3D%22value%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_lines%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_stats_df)%0A%20%20%20%20%20%20%20%20.mark_rule(size%3D5%2C%20strokeDash%3D%5B5%2C%205%5D)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(field%3D%22class%22%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(field%3D%22value%22%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20_chart%20%3D%20(_hist%20%2B%20_lines).properties(width%3D%22container%22)%0A%0A%20%20%20%20mo.ui.altair_chart(_chart)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20bounds%2C%20df)%3A%0A%20%20%20%20labels%20%3D%20%5B%22low%22%2C%20%22lower-middle%22%2C%20%22upper-middle%22%2C%20%22high%22%5D%0A%0A%20%20%20%20df_class%20%3D%20df.with_columns(%0A%20%20%20%20%20%20%20%20Schema.gdp_per_capita.col.cut(%0A%20%20%20%20%20%20%20%20%20%20%20%20breaks%3Dlist(bounds.value.values())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20labels%3Dlabels%2C%0A%20%20%20%20%20%20%20%20).alias(%22class%22)%0A%20%20%20%20)%0A%0A%20%20%20%20_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df_class)%0A%20%20%20%20%20%20%20%20.mark_boxplot()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20field%3D%22class%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20type%3D%22nominal%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(field%3D%22class%22%2C%20sort%3Dlabels%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20field%3DSchema.co2_emission.name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(type%3D%22symlog%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20type%3D%22quantitative%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(width%3D400)%0A%20%20%20%20)%0A%0A%20%20%20%20mo.ui.altair_chart(_chart)%0A%20%20%20%20return%20(df_class%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Dispersion%20analysis%20by%20income%20class%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20df_class)%3A%0A%20%20%20%20_values%20%3D%20%5B%0A%20%20%20%20%20%20%20%20_sub_df.select(Schema.co2_emission.col)%0A%20%20%20%20%20%20%20%20for%20_sub_df%20in%20df_class.partition_by(%22class%22)%0A%20%20%20%20%5D%0A%20%20%20%20_f%2C%20_p%20%3D%20f_oneway(*_values)%0A%20%20%20%20print(%22One-way%20ANOVA%20(co2_emission%20by%20class)%3A%22)%0A%20%20%20%20print(f%22%20%20f%3A%20%7B_f%7D%22)%0A%20%20%20%20print(f%22%20%20p%3A%20%7B_p%7D%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A