da_p05

%23%20SPDX-FileCopyrightText%3A%202026%20fruzitent%0A%23%0A%23%20SPDX-License-Identifier%3A%20MIT%0A%0A%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.14%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22altair%3D%3D6.1.0%22%2C%0A%23%20%20%20%20%20%22dataframely%3D%3D2.9.1%22%2C%0A%23%20%20%20%20%20%22marimo%5Brecommended%5D%3D%3D0.23.6%22%2C%0A%23%20%20%20%20%20%22numpy%3D%3D2.4.6%22%2C%0A%23%20%20%20%20%20%22polars%3D%3D1.40.1%22%2C%0A%23%20%20%20%20%20%22pyarrow%3D%3D24.0.0%22%2C%0A%23%20%20%20%20%20%22scikit-learn%3D%3D1.9.0%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.6%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22da_p05%22)%0A%0Awith%20app.setup%3A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20dataframely%20as%20dy%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20polars%20as%20pl%0A%0A%20%20%20%20from%20polars%20import%20selectors%20as%20cs%0A%20%20%20%20from%20polars_ds.sample_and_split%20import%20split_by_ratio%0A%20%20%20%20from%20sklearn.cluster%20import%20KMeans%0A%20%20%20%20from%20sklearn.ensemble%20import%20AdaBoostClassifier%0A%20%20%20%20from%20sklearn.ensemble%20import%20ExtraTreesClassifier%0A%20%20%20%20from%20sklearn.ensemble%20import%20GradientBoostingClassifier%0A%20%20%20%20from%20sklearn.ensemble%20import%20RandomForestClassifier%0A%20%20%20%20from%20sklearn.metrics%20import%20accuracy_score%0A%20%20%20%20from%20sklearn.metrics%20import%20confusion_matrix%0A%20%20%20%20from%20sklearn.model_selection%20import%20GridSearchCV%0A%20%20%20%20from%20sklearn.neighbors%20import%20KNeighborsClassifier%0A%20%20%20%20from%20sklearn.pipeline%20import%20Pipeline%0A%20%20%20%20from%20sklearn.preprocessing%20import%20StandardScaler%0A%20%20%20%20from%20sklearn.svm%20import%20SVC%0A%20%20%20%20from%20sklearn.tree%20import%20DecisionTreeClassifier%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Clustering%20and%20classification%0A%0A%20%20%20%20IP-44%20Hretskyi%20Vladyslav%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%201%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Read%20file%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20fetch_file(path%3A%20str)%20-%3E%20bytes%20%7C%20None%3A%0A%20%20%20%20from%20requests%20import%20get%0A%20%20%20%20from%20requests.exceptions%20import%20RequestException%0A%20%20%20%20from%20os.path%20import%20exists%0A%0A%20%20%20%20if%20exists(path)%3A%0A%20%20%20%20%20%20%20%20with%20open(path%2C%20%22rb%22)%20as%20file%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20file.read()%0A%0A%20%20%20%20if%20path.startswith(%22https%3A%2F%2Fmarimo.app%22)%3A%0A%20%20%20%20%20%20%20%20return%20None%0A%0A%20%20%20%20if%20path.startswith((%22http%3A%2F%2F%22%2C%20%22https%3A%2F%2F%22))%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20with%20get(path)%20as%20res%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20res.status_code%20%3D%3D%20200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20res.content%0A%20%20%20%20%20%20%20%20except%20RequestException%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20None%0A%0A%20%20%20%20return%20None%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20data%20%3D%20fetch_file(str(mo.notebook_location()%20%2F%20%22public%22%20%2F%20%22clean_data2.csv%22))%0A%20%20%20%20file%20%3D%20mo.ui.file(filetypes%3D%5B%22.csv%22%5D)%0A%20%20%20%20file%20if%20data%20is%20None%20else%20None%0A%20%20%20%20return%20data%2C%20file%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20file)%3A%0A%20%20%20%20mo.stop(data%20is%20None%20and%20not%20file.value%2C%20mo.md(%22waiting%20on%20source...%22))%0A%0A%0A%20%20%20%20class%20Schema(dy.Schema)%3A%0A%20%20%20%20%20%20%20%20country_name%20%3D%20dy.String()%0A%20%20%20%20%20%20%20%20region%20%3D%20dy.String()%0A%20%20%20%20%20%20%20%20gdp_per_capita%20%3D%20dy.Float64()%0A%20%20%20%20%20%20%20%20population%20%3D%20dy.Float64()%0A%20%20%20%20%20%20%20%20co2_emission%20%3D%20dy.Float64()%0A%20%20%20%20%20%20%20%20area%20%3D%20dy.Float64()%0A%20%20%20%20%20%20%20%20population_density%20%3D%20dy.Float64()%0A%0A%0A%20%20%20%20df%20%3D%20Schema.validate(%0A%20%20%20%20%20%20%20%20pl.read_csv(%0A%20%20%20%20%20%20%20%20%20%20%20%20infer_schema%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20source%3Dfile.contents()%20if%20data%20is%20None%20else%20data%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20cast%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20return%20Schema%2C%20df%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Build%20a%20k-means%20cluster%20model%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20df)%3A%0A%20%20%20%20features%20%3D%20%5BSchema.gdp_per_capita.col%2C%20Schema.population_density.col%5D%0A%0A%20%20%20%20_kmeans%20%3D%20KMeans(n_clusters%3D8)%0A%20%20%20%20_labels%20%3D%20_kmeans.fit_predict(df.select(features))%0A%0A%20%20%20%20_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df.with_columns(pl.Series(%22labels%22%2C%20_labels)))%0A%20%20%20%20%20%20%20%20.mark_circle()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(field%3D%22labels%22%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(field%3DSchema.gdp_per_capita.name%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(field%3DSchema.population_density.name%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20mo.ui.altair_chart(chart%3D_chart.interactive())%0A%20%20%20%20return%20(features%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%202%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Use%20elbow%20method%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20features)%3A%0A%20%20%20%20_sse%20%3D%20%5B%5D%0A%20%20%20%20_max_kernels%20%3D%2010%0A%20%20%20%20for%20_k%20in%20range(1%2C%20_max_kernels%20%2B%201)%3A%0A%20%20%20%20%20%20%20%20_kmeans%20%3D%20KMeans(n_clusters%3D_k)%0A%20%20%20%20%20%20%20%20_kmeans.fit(df.select(features))%0A%20%20%20%20%20%20%20%20_sse.append(_kmeans.inertia_)%0A%0A%20%20%20%20_df%20%3D%20pl.DataFrame(%0A%20%20%20%20%20%20%20%20data%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22k%22%3A%20range(1%2C%20_max_kernels%20%2B%201)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22sse%22%3A%20_sse%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_df)%0A%20%20%20%20%20%20%20%20.mark_line(point%3DTrue)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(field%3D%22k%22%2C%20type%3D%22ordinal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(field%3D%22sse%22%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(width%3D%22container%22)%0A%20%20%20%20)%0A%0A%20%20%20%20mo.ui.altair_chart(chart%3D_chart.interactive())%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20mo_elbow%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20label%3D%22elbow%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20start%3D1%2C%0A%20%20%20%20%20%20%20%20stop%3D10%2C%0A%20%20%20%20%20%20%20%20value%3D4%2C%0A%20%20%20%20)%0A%0A%20%20%20%20mo.vstack(items%3D%5Bmo_elbow%5D)%0A%20%20%20%20return%20(mo_elbow%2C)%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20df%2C%20features%2C%20mo_elbow)%3A%0A%20%20%20%20_kmeans%20%3D%20KMeans(n_clusters%3Dmo_elbow.value)%0A%20%20%20%20_labels%20%3D%20_kmeans.fit_predict(df.select(features))%0A%0A%20%20%20%20_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df_cluster%20%3A%3D%20df.with_columns(pl.Series(%22labels%22%2C%20_labels)))%0A%20%20%20%20%20%20%20%20.mark_circle()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(field%3D%22labels%22%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(field%3DSchema.gdp_per_capita.name%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(field%3DSchema.population_density.name%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20mo.ui.altair_chart(chart%3D_chart.interactive())%0A%20%20%20%20return%20(df_cluster%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%203%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Find%20dominating%20region%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20df_cluster)%3A%0A%20%20%20%20(%0A%20%20%20%20%20%20%20%20df_cluster.group_by(%5B%22labels%22%2C%20Schema.region.name%5D)%0A%20%20%20%20%20%20%20%20.len()%0A%20%20%20%20%20%20%20%20.sort(%5B%22labels%22%2C%20%22len%22%5D%2C%20descending%3D%5BFalse%2C%20True%5D)%0A%20%20%20%20%20%20%20%20.group_by(%22labels%22)%0A%20%20%20%20%20%20%20%20.first()%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%204%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Rate%20the%20accuracy%20of%20the%20classification%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20mo_seed%20%3D%20mo.ui.number(label%3D%22seed%22%2C%20value%3D42)%0A%0A%20%20%20%20mo_ratio%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20label%3D%22ratio%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20start%3D0.00%2C%0A%20%20%20%20%20%20%20%20step%3D0.01%2C%0A%20%20%20%20%20%20%20%20stop%3D1.00%2C%0A%20%20%20%20%20%20%20%20value%3D0.20%2C%0A%20%20%20%20)%0A%0A%20%20%20%20mo.vstack(items%3D%5Bmo_seed%2C%20mo_ratio%5D)%0A%20%20%20%20return%20mo_ratio%2C%20mo_seed%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20df%2C%20mo_ratio%2C%20mo_seed)%3A%0A%20%20%20%20df_split%20%3D%20split_by_ratio(%0A%20%20%20%20%20%20%20%20df%3Ddf.select(cs.numeric()%20%7C%20Schema.region.col)%2C%0A%20%20%20%20%20%20%20%20seed%3Dmo_seed.value%2C%0A%20%20%20%20%20%20%20%20split_ratio%3D1%20-%20mo_ratio.value%2C%0A%20%20%20%20)%0A%0A%20%20%20%20df_train%20%3D%20df_split.filter(pl.col(%22__split%22)%20%3D%3D%20%22train%22)%0A%20%20%20%20df_test%20%3D%20df_split.filter(pl.col(%22__split%22)%20%3D%3D%20%22test%22)%0A%20%20%20%20return%20df_test%2C%20df_train%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20df_test%2C%20df_train%2C%20features%2C%20mo_seed)%3A%0A%20%20%20%20_models%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22AdaBoost%22%3A%20AdaBoostClassifier(random_state%3Dmo_seed.value)%2C%0A%20%20%20%20%20%20%20%20%22ExtraTrees%22%3A%20ExtraTreesClassifier(%0A%20%20%20%20%20%20%20%20%20%20%20%20n_estimators%3D128%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20random_state%3Dmo_seed.value%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22GradientBoosting%22%3A%20GradientBoostingClassifier(random_state%3Dmo_seed.value)%2C%0A%20%20%20%20%20%20%20%20%22RandomForest%22%3A%20RandomForestClassifier(%0A%20%20%20%20%20%20%20%20%20%20%20%20n_estimators%3D128%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20random_state%3Dmo_seed.value%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22KNeighbors%22%3A%20KNeighborsClassifier(n_neighbors%3D5)%2C%0A%20%20%20%20%20%20%20%20%22SVC%22%3A%20SVC(random_state%3Dmo_seed.value)%2C%0A%20%20%20%20%20%20%20%20%22DecisionTree%22%3A%20DecisionTreeClassifier(random_state%3Dmo_seed.value)%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20_results%20%3D%20%5B%5D%0A%20%20%20%20for%20_name%2C%20_model%20in%20_models.items()%3A%0A%20%20%20%20%20%20%20%20_model.fit(%0A%20%20%20%20%20%20%20%20%20%20%20%20X%3Ddf_train.select(features).to_numpy()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Ddf_train.select(Schema.region.col).to_numpy().flatten()%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_acc%20%3D%20accuracy_score(%0A%20%20%20%20%20%20%20%20%20%20%20%20y_true%3Ddf_test.select(Schema.region.col).to_numpy().flatten()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred%3D_model.predict(df_test.select(features).to_numpy())%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_results.append(%7B%22acc%22%3A%20_acc%2C%20%22model%22%3A%20_name%7D)%0A%0A%20%20%20%20pl.DataFrame(_results)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%205%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Model%20tuning%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Schema%2C%20df_test%2C%20df_train%2C%20features)%3A%0A%20%20%20%20_pipeline%20%3D%20Pipeline(%0A%20%20%20%20%20%20%20%20steps%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22scaler%22%2C%20StandardScaler())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22knn%22%2C%20KNeighborsClassifier())%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%0A%20%20%20%20_params%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22knn__n_neighbors%22%3A%20%5B3%2C%205%2C%207%2C%209%2C%2011%2C%2015%5D%2C%0A%20%20%20%20%20%20%20%20%22knn__p%22%3A%20%5B1%2C%202%5D%2C%0A%20%20%20%20%20%20%20%20%22knn__weights%22%3A%20%5B%22distance%22%2C%20%22uniform%22%5D%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20grid%20%3D%20GridSearchCV(_pipeline%2C%20_params%2C%20cv%3D2)%0A%20%20%20%20grid.fit(%0A%20%20%20%20%20%20%20%20X%3Ddf_train.select(features).to_numpy()%2C%0A%20%20%20%20%20%20%20%20y%3Ddf_train.select(Schema.region.name).to_numpy().flatten()%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_acc%20%3D%20accuracy_score(%0A%20%20%20%20%20%20%20%20y_true%3Ddf_test.select(Schema.region.name).to_numpy().flatten()%2C%0A%20%20%20%20%20%20%20%20y_pred%3Dgrid.best_estimator_.predict(df_test.select(features).to_numpy())%2C%0A%20%20%20%20)%0A%0A%20%20%20%20grid.best_params_%2C%20_acc%0A%20%20%20%20return%20(grid%2C)%0A%0A%0A%40app.cell%0Adef%20_(grid)%3A%0A%20%20%20%20_df%20%3D%20pl.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22n_neighbors%22%3A%20list(grid.cv_results_%5B%22param_knn__n_neighbors%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22weights%22%3A%20list(grid.cv_results_%5B%22param_knn__weights%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22p%22%3A%20list(grid.cv_results_%5B%22param_knn__p%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22accuracy%22%3A%20list(grid.cv_results_%5B%22mean_test_score%22%5D)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20_df%20%3D%20_df.with_columns(%0A%20%20%20%20%20%20%20%20pl.when(pl.col(%22p%22)%20%3D%3D%201)%0A%20%20%20%20%20%20%20%20.then(pl.lit(%22Manhattan%20Distance%20(p%3D1)%22))%0A%20%20%20%20%20%20%20%20.otherwise(pl.lit(%22Euclidean%20Distance%20(p%3D2)%22))%0A%20%20%20%20%20%20%20%20.alias(%22metric%22)%0A%20%20%20%20)%0A%0A%20%20%20%20_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_df)%0A%20%20%20%20%20%20%20%20.mark_line(point%3Dalt.OverlayMarkDef(size%3D80%2C%20filled%3DTrue))%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(field%3D%22weights%22%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20strokeDash%3Dalt.StrokeDash(field%3D%22weights%22%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(field%3D%22n_neighbors%22%2C%20type%3D%22ordinal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20field%3D%22accuracy%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(zero%3DFalse)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20type%3D%22quantitative%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(width%3D256)%0A%20%20%20%20%20%20%20%20.facet(%0A%20%20%20%20%20%20%20%20%20%20%20%20column%3Dalt.Column(field%3D%22metric%22%2C%20title%3DNone%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20mo.ui.altair_chart(chart%3D_chart.interactive())%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%20(Extra)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20data5%20%3D%20fetch_file(str(mo.notebook_location()%20%2F%20%22public%22%20%2F%20%22Data5.csv%22))%0A%20%20%20%20file5%20%3D%20mo.ui.file(filetypes%3D%5B%22.csv%22%5D)%0A%20%20%20%20file5%20if%20data5%20is%20None%20else%20None%0A%20%20%20%20return%20data5%2C%20file5%0A%0A%0A%40app.cell%0Adef%20_(data5%2C%20file5)%3A%0A%20%20%20%20mo.stop(data5%20is%20None%20and%20not%20file5.value%2C%20mo.md(%22waiting%20on%20source...%22))%0A%0A%20%20%20%20df5%20%3D%20pl.read_csv(%0A%20%20%20%20%20%20%20%20decimal_comma%3DTrue%2C%0A%20%20%20%20%20%20%20%20encoding%3D%22windows-1251%22%2C%0A%20%20%20%20%20%20%20%20separator%3D%22%3B%22%2C%0A%20%20%20%20%20%20%20%20source%3Dfile5.contents()%20if%20data5%20is%20None%20else%20data5%2C%0A%20%20%20%20).rename(mapping%3D%7B%22%22%3A%20%22country%22%7D)%0A%0A%20%20%20%20df5%0A%20%20%20%20return%20(df5%2C)%0A%0A%0A%40app.cell%0Adef%20_(df5%2C%20mo_seed)%3A%0A%20%20%20%20features5%20%3D%20%5B%22Ie%22%2C%20%22Iec%22%2C%20%22Is%22%5D%0A%0A%20%20%20%20_kmeans5%20%3D%20KMeans(n_clusters%3D4%2C%20random_state%3Dmo_seed.value)%0A%20%20%20%20_labels5%20%3D%20_kmeans5.fit_predict(df5.select(features5))%0A%0A%20%20%20%20df5_labels%20%3D%20df5.with_columns(pl.Series(%22labels%22%2C%20_labels5))%0A%0A%20%20%20%20_cluster_sums%20%3D%20_kmeans5.cluster_centers_.sum(axis%3D1)%0A%0A%20%20%20%20_countries%20%3D%20df5_labels.filter(%0A%20%20%20%20%20%20%20%20pl.col(%22labels%22)%20%3D%3D%20_cluster_sums.argmax()%0A%20%20%20%20).select(%22country%22)%0A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20items%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22centers%20%3D%20%7B_kmeans5.cluster_centers_%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22sums%20%3D%20%7B_cluster_sums%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_countries%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20df5_labels%2C%20features5%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(df5_labels%2C%20features5)%3A%0A%20%20%20%20_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df5_labels)%0A%20%20%20%20%20%20%20%20.mark_circle()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(field%3D%22labels%22%2C%20type%3D%22nominal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(field%3Dalt.repeat(%22column%22)%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(field%3Dalt.repeat(%22row%22)%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.repeat(column%3Dfeatures5%2C%20row%3Dfeatures5%5B%3A%3A-1%5D)%0A%20%20%20%20)%0A%0A%20%20%20%20mo.ui.altair_chart(chart%3D_chart.interactive())%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df5%2C%20df5_labels%2C%20mo_seed)%3A%0A%20%20%20%20_kmeans5%20%3D%20KMeans(n_clusters%3D4%2C%20random_state%3Dmo_seed.value)%0A%20%20%20%20_labels5%20%3D%20_kmeans5.fit_predict(df5.select(%22Cql%22))%0A%0A%20%20%20%20_df5_labels2%20%3D%20df5.with_columns(pl.Series(%22labels%22%2C%20_labels5))%0A%0A%20%20%20%20_conf%20%3D%20confusion_matrix(%0A%20%20%20%20%20%20%20%20y_true%3Ddf5_labels.select(%22labels%22)%2C%0A%20%20%20%20%20%20%20%20y_pred%3D_df5_labels2.select(%22labels%22)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_conf%5Bnp.argmax(_conf%2C%20axis%3D1)%5D%20%3D%20_conf%0A%0A%20%20%20%20_x_idx%2C%20_y_idx%20%3D%20np.meshgrid(np.arange(4)%2C%20np.arange(4))%0A%20%20%20%20_df_cm%20%3D%20pl.DataFrame(%0A%20%20%20%20%20%20%20%20data%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cluster1%22%3A%20_x_idx.flatten()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cluster2%22%3A%20_y_idx.flatten()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22count%22%3A%20_conf.flatten()%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20_heatmap%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_df_cm)%0A%20%20%20%20%20%20%20%20.mark_rect()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(field%3D%22count%22%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20field%3D%22cluster2%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sort%3D%22ascending%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20type%3D%22ordinal%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20field%3D%22cluster1%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sort%3D%22ascending%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20type%3D%22ordinal%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20_text%20%3D%20_heatmap.mark_text().encode(%0A%20%20%20%20%20%20%20%20color%3Dalt.condition(%0A%20%20%20%20%20%20%20%20%20%20%20%20if_false%3Dalt.value(%22black%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20if_true%3Dalt.value(%22white%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20predicate%3Dalt.datum.count%20%3E%20_df_cm.select(%22count%22).max().item()%20%2F%202%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20text%3Dalt.Text(format%3D%22.2f%22%2C%20field%3D%22count%22%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_chart%20%3D%20(_heatmap%20%2B%20_text).properties(%0A%20%20%20%20%20%20%20%20height%3D400%2C%0A%20%20%20%20%20%20%20%20width%3D400%2C%0A%20%20%20%20)%0A%0A%20%20%20%20mo.ui.altair_chart(chart%3D_chart)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A