da_p04

%23%20SPDX-FileCopyrightText%3A%202026%20fruzitent%0A%23%0A%23%20SPDX-License-Identifier%3A%20MIT%0A%0A%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.14%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22altair%3D%3D6.1.0%22%2C%0A%23%20%20%20%20%20%22dataframely%3D%3D2.9.1%22%2C%0A%23%20%20%20%20%20%22marimo%5Brecommended%5D%3D%3D0.23.6%22%2C%0A%23%20%20%20%20%20%22numpy%3D%3D2.4.6%22%2C%0A%23%20%20%20%20%20%22polars%3D%3D1.40.1%22%2C%0A%23%20%20%20%20%20%22polars-ds%5Ball%5D%3D%3D0.11.2%22%2C%0A%23%20%20%20%20%20%22pyarrow%3D%3D24.0.0%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.6%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22da_p04%22)%0A%0Awith%20app.setup%3A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20dataframely%20as%20dy%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20import%20polars_ds%20as%20pds%0A%0A%20%20%20%20from%20collections.abc%20import%20Iterator%0A%20%20%20%20from%20collections.abc%20import%20Sequence%0A%20%20%20%20from%20dataclasses%20import%20dataclass%0A%20%20%20%20from%20dataclasses%20import%20fields%0A%20%20%20%20from%20itertools%20import%20product%0A%20%20%20%20from%20math%20import%20prod%0A%20%20%20%20from%20polars%20import%20selectors%20as%20cs%0A%20%20%20%20from%20polars_ds.exprs.num%20import%20z_normalize%0A%20%20%20%20from%20polars_ds.linear_models%20import%20LR%0A%20%20%20%20from%20polars_ds.sample_and_split%20import%20split_by_ratio%0A%20%20%20%20from%20typing%20import%20Self%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Model%20refinement%0A%0A%20%20%20%20IP-44%20Hretskyi%20Vladyslav%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%201%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Read%20file%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20fetch_file(path%3A%20str)%20-%3E%20bytes%20%7C%20None%3A%0A%20%20%20%20from%20requests%20import%20get%0A%20%20%20%20from%20requests.exceptions%20import%20RequestException%0A%20%20%20%20from%20os.path%20import%20exists%0A%0A%20%20%20%20if%20exists(path)%3A%0A%20%20%20%20%20%20%20%20with%20open(path%2C%20%22rb%22)%20as%20file%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20file.read()%0A%0A%20%20%20%20if%20path.startswith(%22https%3A%2F%2Fmarimo.app%22)%3A%0A%20%20%20%20%20%20%20%20return%20None%0A%0A%20%20%20%20if%20path.startswith((%22http%3A%2F%2F%22%2C%20%22https%3A%2F%2F%22))%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20with%20get(path)%20as%20res%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20res.status_code%20%3D%3D%20200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20res.content%0A%20%20%20%20%20%20%20%20except%20RequestException%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20None%0A%0A%20%20%20%20return%20None%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20data%20%3D%20fetch_file(str(mo.notebook_location()%20%2F%20%22public%22%20%2F%20%22clean_data2.csv%22))%0A%20%20%20%20file%20%3D%20mo.ui.file(filetypes%3D%5B%22.csv%22%5D)%0A%20%20%20%20file%20if%20data%20is%20None%20else%20None%0A%20%20%20%20return%20data%2C%20file%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20file)%3A%0A%20%20%20%20mo.stop(data%20is%20None%20and%20not%20file.value%2C%20mo.md(%22waiting%20on%20source...%22))%0A%0A%0A%20%20%20%20class%20Schema(dy.Schema)%3A%0A%20%20%20%20%20%20%20%20country_name%20%3D%20dy.String()%0A%20%20%20%20%20%20%20%20region%20%3D%20dy.String()%0A%20%20%20%20%20%20%20%20gdp_per_capita%20%3D%20dy.Float64()%0A%20%20%20%20%20%20%20%20population%20%3D%20dy.Float64()%0A%20%20%20%20%20%20%20%20co2_emission%20%3D%20dy.Float64()%0A%20%20%20%20%20%20%20%20area%20%3D%20dy.Float64()%0A%20%20%20%20%20%20%20%20population_density%20%3D%20dy.Float64()%0A%0A%0A%20%20%20%20df%20%3D%20Schema.validate(%0A%20%20%20%20%20%20%20%20pl.read_csv(%0A%20%20%20%20%20%20%20%20%20%20%20%20infer_schema%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20source%3Dfile.contents()%20if%20data%20is%20None%20else%20data%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20cast%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20return%20Schema%2C%20df%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Split%20the%20data%20into%20training%20and%20test%20sets%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20mo_seed%20%3D%20mo.ui.number(label%3D%22seed%22%2C%20value%3D42)%0A%0A%20%20%20%20mo_ratio%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20label%3D%22ratio%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20start%3D0.00%2C%0A%20%20%20%20%20%20%20%20step%3D0.01%2C%0A%20%20%20%20%20%20%20%20stop%3D1.00%2C%0A%20%20%20%20%20%20%20%20value%3D0.20%2C%0A%20%20%20%20)%0A%0A%20%20%20%20mo.vstack(items%3D%5Bmo_seed%2C%20mo_ratio%5D)%0A%20%20%20%20return%20mo_ratio%2C%20mo_seed%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20mo_ratio%2C%20mo_seed)%3A%0A%20%20%20%20df_split%20%3D%20split_by_ratio(%0A%20%20%20%20%20%20%20%20df%3Ddf.select(cs.numeric())%2C%0A%20%20%20%20%20%20%20%20seed%3Dmo_seed.value%2C%0A%20%20%20%20%20%20%20%20split_ratio%3D1%20-%20mo_ratio.value%2C%0A%20%20%20%20)%0A%0A%20%20%20%20df_test%20%3D%20df_split.filter(pl.col(%22__split%22)%20%3D%3D%20%22test%22)%0A%20%20%20%20df_train%20%3D%20df_split.filter(pl.col(%22__split%22)%20%3D%3D%20%22train%22)%0A%0A%20%20%20%20df_split.group_by(%5B%22__split%22%5D).len()%0A%20%20%20%20return%20df_split%2C%20df_test%2C%20df_train%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%202%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Build%20a%20linear%20model%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20eval_r2(%0A%20%20%20%20df%3A%20pl.DataFrame%2C%0A%20%20%20%20features%3A%20pl.Expr%2C%0A%20%20%20%20lre%3A%20LR%2C%0A%20%20%20%20target%3A%20pl.Expr%2C%0A)%20-%3E%20float%3A%0A%20%20%20%20preds%20%3D%20lre.predict(df.select(features).to_numpy())%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%23%20_lre.predict_df(df%3Ddf)%20%23%20TODO%3A%20TypeError%3A%20'builtins.PyArr'%20object%20is%20not%20iterable%0A%20%20%20%20%20%20%20%20df.with_columns(pl.Series(%22prediction%22%2C%20preds.flatten()))%0A%20%20%20%20%20%20%20%20.select(pds.query_r2(actual%3Dtarget%2C%20pred%3D%22prediction%22))%0A%20%20%20%20%20%20%20%20.item()%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20df_test%2C%20df_train)%3A%0A%20%20%20%20_lre%20%3D%20LR(has_bias%3DTrue)%0A%0A%20%20%20%20_%20%3D%20_lre.fit_df(%0A%20%20%20%20%20%20%20%20df%3Ddf_train%2C%0A%20%20%20%20%20%20%20%20features%3D(_features%20%3A%3D%20%5BSchema.population.col%5D)%2C%0A%20%20%20%20%20%20%20%20target%3D(_target%20%3A%3D%20Schema.co2_emission.col)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_r2_test%20%3D%20eval_r2(df%3Ddf_test%2C%20features%3D_features%2C%20lre%3D_lre%2C%20target%3D_target)%0A%20%20%20%20_r2_train%20%3D%20eval_r2(df%3Ddf_train%2C%20features%3D_features%2C%20lre%3D_lre%2C%20target%3D_target)%0A%0A%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20train%20%24R%5E2%20%3D%20%7B_r2_train%3A.4g%7D%24%0A%0A%20%20%20%20test%20%24R%5E2%20%3D%20%7B_r2_test%3A.4g%7D%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Models%20tend%20to%20do%20better%20on%20the%20data%20they%20have%20already%20seen.%0A%20%20%20%20Determination%20is%20different%20for%20train%20and%20test%20sets%20because%20the%20test%20data%0A%20%20%20%20(that%20may%20contain%20outliers)%20is%20are%20completely%20ignored%20in%20the%20fitting%20process.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%203%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Build%20a%20poly%20model%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20df_test%2C%20df_train)%3A%0A%20%20%20%20_base%20%3D%20Schema.population%0A%20%20%20%20poly_res%20%3D%20%5B%5D%0A%0A%20%20%20%20for%20_i%20in%20range(2%2C%204%20%2B%201)%3A%0A%20%20%20%20%20%20%20%20_exprs%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20_base.col.pipe(z_normalize).alias(f%22%7B_base.name%7D_z%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_d%20%3D%3D%201%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20_base.col.pipe(z_normalize).pow(_d).alias(f%22%7B_base.name%7D_z%5E%7B_d%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_d%20in%20range(1%2C%20_i%20%2B%201)%0A%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%20%20%20%20_lre%20%3D%20LR(has_bias%3DTrue)%0A%0A%20%20%20%20%20%20%20%20_%20%3D%20_lre.fit_df(%0A%20%20%20%20%20%20%20%20%20%20%20%20df%3Ddf_train.with_columns(_exprs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20features%3D(_features%20%3A%3D%20%5B_expr.meta.output_name()%20for%20_expr%20in%20_exprs%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20target%3D(_target%20%3A%3D%20Schema.co2_emission.col)%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20_r2_test%20%3D%20eval_r2(%0A%20%20%20%20%20%20%20%20%20%20%20%20df%3Ddf_test.with_columns(_exprs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20lre%3D_lre%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20features%3D_features%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20target%3D_target%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20poly_res.append(_r2_test)%0A%0A%20%20%20%20_r2_md%20%3D%20%5B%0A%20%20%20%20%20%20%20%20rf%22test%20%24R_%7B_i%20%2B%202%7D%5E2%20%3D%20%7B_r2%3A.4g%7D%24%22%20for%20_i%2C%20_r2%20in%20enumerate(poly_res)%0A%20%20%20%20%5D%0A%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20%7B%22%5Cn%5Cn%22.join(_r2_md)%7D%0A%0A%20%20%20%20The%20best%20model%20is%20the%20one%20with%20the%20highest%20%24R%5E2%24.%0A%20%20%20%20The%20worst%20model%20is%20the%20one%20with%20the%20lowest%20%24R%5E2%24.%0A%20%20%20%20Negative%20%24R%5E2%24%20means%20overfitting.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%20(poly_res%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(Schema%2C%20df_split%2C%20df_train%2C%20poly_res)%3A%0A%20%20%20%20_regs%20%3D%20%5B%5D%0A%20%20%20%20for%20_degree%20in%20range(2%2C%202%20%2B%20len(poly_res))%3A%0A%20%20%20%20%20%20%20%20_regs.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(df_train)%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_line()%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.datum(f%22degree%20%7B_degree%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.transform_regression(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20method%3D%22poly%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20on%3DSchema.population.name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20regression%3DSchema.co2_emission.name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20order%3D_degree%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20_points%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df_split)%0A%20%20%20%20%20%20%20%20.mark_circle(size%3D64)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(field%3D%22__split%22%2C%20title%3DNone%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.layer(*_regs%2C%20_points)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(field%3DSchema.population.name%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(field%3DSchema.co2_emission.name%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(height%3D512%2C%20width%3D%22container%22)%0A%20%20%20%20)%0A%0A%20%20%20%20mo.ui.altair_chart(_chart.interactive())%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(poly_res)%3A%0A%20%20%20%20_df_r2%20%3D%20pl.DataFrame(%0A%20%20%20%20%20%20%20%20data%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22degree%22%3A%20%5B_i%20%2B%202%20for%20_i%2C%20_%20in%20enumerate(poly_res)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22r2_test%22%3A%20poly_res%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_df_r2)%0A%20%20%20%20%20%20%20%20.mark_line(point%3Dalt.OverlayMarkDef(size%3D128%2C%20color%3D%22orange%22))%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(field%3D%22degree%22%2C%20type%3D%22ordinal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(field%3D%22r2_test%22%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(width%3D400)%0A%20%20%20%20)%0A%0A%20%20%20%20mo.ui.altair_chart(_chart.interactive())%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%204%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Build%20a%20ridge%20model%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20df_test%2C%20df_train)%3A%0A%20%20%20%20_ridge%20%3D%20LR(has_bias%3DTrue%2C%20lambda_%3D10.0)%0A%0A%20%20%20%20_%20%3D%20_ridge.fit_df(%0A%20%20%20%20%20%20%20%20df%3Ddf_train%2C%0A%20%20%20%20%20%20%20%20features%3D(_features%20%3A%3D%20%5BSchema.population.col%2C%20Schema.area.col%5D)%2C%0A%20%20%20%20%20%20%20%20target%3D(_target%20%3A%3D%20Schema.co2_emission.col)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_r2_test%20%3D%20eval_r2(%0A%20%20%20%20%20%20%20%20df%3Ddf_test%2C%0A%20%20%20%20%20%20%20%20features%3D_features%2C%0A%20%20%20%20%20%20%20%20lre%3D_ridge%2C%0A%20%20%20%20%20%20%20%20target%3D_target%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_r2_train%20%3D%20eval_r2(%0A%20%20%20%20%20%20%20%20df%3Ddf_train%2C%0A%20%20%20%20%20%20%20%20features%3D_features%2C%0A%20%20%20%20%20%20%20%20lre%3D_ridge%2C%0A%20%20%20%20%20%20%20%20target%3D_target%2C%0A%20%20%20%20)%0A%0A%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20train%20%24R%5E2%20%3D%20%7B_r2_train%3A.4g%7D%24%0A%0A%20%20%20%20test%20%24R%5E2%20%3D%20%7B_r2_test%3A.4g%7D%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%205%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Search%20for%20the%20best%20model%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.class_definition%0A%40dataclass(frozen%3DTrue)%0Aclass%20Grid%3A%0A%20%20%20%20alpha%3A%20Sequence%5Bfloat%5D%20%3D%20(1e-3%2C%201e-2%2C%201e-1%2C%201%2C%201e1%2C%201e2%2C%201e3)%0A%20%20%20%20with_mean%3A%20Sequence%5Bbool%5D%20%3D%20(False%2C%20True)%0A%20%20%20%20with_std%3A%20Sequence%5Bbool%5D%20%3D%20(False%2C%20True)%0A%0A%20%20%20%20def%20__iter__(self)%20-%3E%20Iterator%5BSelf%5D%3A%0A%20%20%20%20%20%20%20%20fs%20%3D%20fields(self)%0A%20%20%20%20%20%20%20%20for%20combo%20in%20product(*(getattr(self%2C%20f.name)%20for%20f%20in%20fs))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20yield%20self.__class__(**%7Bf.name%3A%20v%20for%20f%2C%20v%20in%20zip(fs%2C%20combo)%7D)%0A%0A%20%20%20%20def%20__len__(self)%20-%3E%20int%3A%0A%20%20%20%20%20%20%20%20return%20prod(len(getattr(self%2C%20f.name))%20for%20f%20in%20fields(self))%0A%0A%20%20%20%20def%20pipeline(self%2C%20features%3A%20pl.Expr)%20-%3E%20pl.Expr%3A%0A%20%20%20%20%20%20%20%20exprs%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20feat%20in%20features%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20self.with_mean%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20feat%20%3D%20feat%20-%20feat.mean()%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20self.with_std%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20feat%20%3D%20feat%20%2F%20feat.std()%0A%20%20%20%20%20%20%20%20%20%20%20%20exprs.append(feat.alias(f%22%7Bfeat.meta.output_name()%7D_scaled%22))%0A%20%20%20%20%20%20%20%20return%20exprs%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20df_test%2C%20df_train)%3A%0A%20%20%20%20_grid%20%3D%20Grid()%0A%0A%20%20%20%20_exprs%20%3D%20_grid.pipeline(%0A%20%20%20%20%20%20%20%20features%3D(_features%20%3A%3D%20%5BSchema.population.col%2C%20Schema.area.col%5D)%0A%20%20%20%20)%0A%0A%20%20%20%20params_best%20%3D%20None%0A%20%20%20%20_r2_best%20%3D%20None%0A%0A%20%20%20%20for%20_params%20in%20_grid%3A%0A%20%20%20%20%20%20%20%20_ridge%20%3D%20LR(has_bias%3DTrue%2C%20lambda_%3D_params.alpha)%0A%0A%20%20%20%20%20%20%20%20_%20%3D%20_ridge.fit_df(%0A%20%20%20%20%20%20%20%20%20%20%20%20df%3Ddf_train.with_columns(_exprs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20features%3D_features%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20target%3D(_target%20%3A%3D%20Schema.co2_emission.col)%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20_r2_curr%20%3D%20eval_r2(%0A%20%20%20%20%20%20%20%20%20%20%20%20df%3Ddf_test.with_columns(_exprs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20features%3D_features%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20lre%3D_ridge%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20target%3D_target%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20if%20_r2_best%20is%20None%20or%20_r2_curr%20%3E%20_r2_best%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20params_best%20%3D%20_params%0A%20%20%20%20%20%20%20%20%20%20%20%20_r2_best%20%3D%20_r2_curr%0A%0A%20%20%20%20params_best%2C%20_r2_best%0A%20%20%20%20return%20(params_best%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%20(Extra)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Plot%20the%20results%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20df_test%2C%20df_train%2C%20params_best)%3A%0A%20%20%20%20_target%20%3D%20Schema.co2_emission.col%0A%0A%0A%20%20%20%20def%20_linear_reg()%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20_lre%20%3D%20LR(has_bias%3DTrue)%0A%0A%20%20%20%20%20%20%20%20_%20%3D%20_lre.fit_df(%0A%20%20%20%20%20%20%20%20%20%20%20%20df%3Ddf_train%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20features%3D(_features%20%3A%3D%20%5BSchema.population.col%2C%20Schema.area.col%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20target%3D_target%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20return%20_lre.predict(df_test.select(_features).to_numpy()).flatten()%0A%0A%0A%20%20%20%20_poly_exprs%20%3D%20%5B%0A%20%20%20%20%20%20%20%20Schema.population.col%2C%0A%20%20%20%20%20%20%20%20Schema.area.col%2C%0A%20%20%20%20%20%20%20%20Schema.population.col.pow(2).alias(%22pop_sq%22)%2C%0A%20%20%20%20%20%20%20%20Schema.area.col.pow(2).alias(%22area_sq%22)%2C%0A%20%20%20%20%20%20%20%20(Schema.population.col%20*%20Schema.area.col).alias(%22pop_area%22)%2C%0A%20%20%20%20%5D%0A%0A%0A%20%20%20%20def%20_poly_reg()%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20_poly%20%3D%20LR(has_bias%3DTrue)%0A%0A%20%20%20%20%20%20%20%20_%20%3D%20_poly.fit_df(%0A%20%20%20%20%20%20%20%20%20%20%20%20df%3Ddf_train.with_columns(_poly_exprs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20features%3D%5Bexpr.meta.output_name()%20for%20expr%20in%20_poly_exprs%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20target%3D_target%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20return%20_poly.predict(df_test.select(_poly_exprs).to_numpy()).flatten()%0A%0A%0A%20%20%20%20def%20_ridge_reg()%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20_ridge_exprs%20%3D%20params_best.pipeline(features%3D_poly_exprs)%0A%0A%20%20%20%20%20%20%20%20_ridge%20%3D%20LR(has_bias%3DTrue%2C%20lambda_%3Dparams_best.alpha)%0A%0A%20%20%20%20%20%20%20%20_ridge.fit_df(%0A%20%20%20%20%20%20%20%20%20%20%20%20df%3Ddf_train.with_columns(_ridge_exprs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20features%3D%5Bexpr.meta.output_name()%20for%20expr%20in%20_ridge_exprs%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20target%3D_target%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20return%20_ridge.predict(df_test.select(_ridge_exprs).to_numpy()).flatten()%0A%0A%0A%20%20%20%20_df%20%3D%20pl.DataFrame(%0A%20%20%20%20%20%20%20%20data%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22linear_reg%22%3A%20_linear_reg()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22poly_reg%22%3A%20_poly_reg()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ridge_reg%22%3A%20_ridge_reg()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22value%22%3A%20df_test.select(_target)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_df.unpivot(value_name%3D%22emissions%22%2C%20variable_name%3D%22model%22))%0A%20%20%20%20%20%20%20%20.mark_line()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(field%3D%22model%22%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(field%3D%22emissions%22%2C%20title%3D%22predicted%22%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(field%3D%22density%22%2C%20title%3D%22density%22%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.transform_density(%0A%20%20%20%20%20%20%20%20%20%20%20%20as_%3D%5B%22emissions%22%2C%20%22density%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20groupby%3D%5B%22model%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20density%3D%22emissions%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(height%3D512%2C%20width%3D%22container%22)%0A%20%20%20%20)%0A%0A%20%20%20%20mo.ui.altair_chart(_chart.interactive())%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A