eval results

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.9%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20pyarrow%0A%0A%20%20%20%20return%20alt%2C%20mo%2C%20pl%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Info%0A%20%20%20%20This%20notebook%20shows%20the%20generated%20explanations%20over%20the%20validation%20dataset%20(n%3D726)%20as%20well%20as%20the%20similarity%20to%20the%20dataset%20explanations%20and%20the%20distribution%20of%20dialogue%20acts%2Fexplanation%20moves.%0A%0A%20%20%20%20Here%20is%20some%20generation%20information%20including%20the%20prompts%20for%20both%20parties%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20pl)%3A%0A%20%20%20%20run_id%20%3D%20%2220260607_123620%22%0A%20%20%20%20df%20%3D%20pl.read_parquet(str(mo.notebook_location()%20%2F%20%22runs%22%20%2F%20run_id%20%2F%20%22results.parquet%22))%0A%20%20%20%20df_conversations%20%3D%20pl.read_parquet(str(mo.notebook_location()%20%2F%20%22runs%22%20%2F%20run_id%20%2F%20%22outputs.parquet%22))%0A%20%20%20%20df_info%20%3D%20pl.read_json(str(mo.notebook_location()%20%2F%20%22runs%22%20%2F%20run_id%20%2F%20%22run_info.json%22))%0A%20%20%20%20base%20%3D%20mo.notebook_location()%20%2F%20%22..%22%20%2F%20%22datasets%22%20%2F%20%22V-FLUTE%22%0A%20%20%20%20p0%20%3D%20str(base%20%2F%20%22validation-00000-of-00002.parquet%22)%0A%20%20%20%20p1%20%3D%20str(base%20%2F%20%22validation-00001-of-00002.parquet%22)%0A%0A%20%20%20%20df0%20%3D%20pl.read_parquet(p0)%0A%20%20%20%20df1%20%3D%20pl.read_parquet(p1)%0A%20%20%20%20df_dataset%20%3D%20pl.concat(%5Bdf0%2C%20df1%5D)%0A%20%20%20%20df_info%0A%20%20%20%20return%20df%2C%20df_conversations%2C%20df_dataset%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20I%20tried%20a%20couple%20of%20different%20prompts%20and%20setups%3A%0A%0A%20%20%20%20-%20Base%0A%20%20%20%20%20%20-%20Explainee%3A%20Prompted%20to%20be%20a%20confused%20user.%20No%20examples%20given%2C%20told%20to%20ask%20check%20questions.%0A%20%20%20%20%20%20-%20Explainer%3A%20Co-constructive%20prompt%20from%20the%20paper%20%2B%20ground%20truth%20as%20guidance%0A%20%20%20%20-%20More%20instructive%20prompts%0A%20%20%20%20%20%20-%20Explainee%3A%20Curious%20user.%20Little%20background%20knowledge.%20Examples%20given.%20Told%20to%20ask%20questions%20and%20summarise%20understanding.%0A%20%20%20%20%20%20-%20Explainer%3A%20Explicit%20image%20focused%20instructions%20(Diagnose%20understanding%2C%20adapt%20to%20user%2C%20contribute%20information%2C%20don't%20only%20rely%20on%20questioning)%20%2B%20ground%20truth%20as%20guidance%0A%20%20%20%20-%20Ground%20truth%20for%20both%20(What%20this%20notebook%20shows)%0A%20%20%20%20%20%20-%20Explainee%3A%20Curious%20user.%20Little%20background%20knowledge.%20Examples%20given.%20Told%20to%20ask%20questions%20and%20summarise%20understanding.%20%2B%20ground%20truth%20as%20guidance%0A%20%20%20%20%20%20-%20Explainer%3A%20Explicit%20image%20focused%20instructions%20(Diagnose%20understanding%2C%20adapt%20to%20user%2C%20contribute%20information%2C%20don't%20only%20rely%20on%20questioning)%20%2B%20ground%20truth%20as%20guidance%0A%0A%20%20%20%20Both%20sides%20always%20get%20the%20image%20and%20the%20claim%20as%20input.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20generated%20conversation%20is%20given%20to%20another%20LLM%20that%20is%20tasked%20with%20generating%20an%20explanation%20of%20why%20the%20caption%20entails%2Fcontradicts%20solely%20based%20on%20the%20conversation.%0A%0A%20%20%20%20Then%20the%20textual%20similarity%20gets%20computed%20to%20the%20dataset%20explanations%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(df%2C%20mo)%3A%0A%20%20%20%20mean%20%3D%20df%5B%22similarity%22%5D.mean()%0A%20%20%20%20median%20%3D%20df%5B%22similarity%22%5D.median()%0A%20%20%20%20min%20%3D%20df%5B%22similarity%22%5D.min()%0A%20%20%20%20max%20%3D%20df%5B%22similarity%22%5D.max()%0A%20%20%20%20std%20%3D%20df%5B%22similarity%22%5D.std()%0A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23Similarity%20to%20dataset%20explanation%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Comparing%20the%20generated%20explanation%20to%20the%20ground%20truth%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(value%3Dmean%2C%20label%3D%22mean%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(value%3Dmedian%2C%20label%3D%22median%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(value%3Dmin%2C%20label%3D%22min%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(value%3Dmax%2C%20label%3D%22max%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(value%3Dstd%2C%20label%3D%22std.%20dev.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Similarity%20dataframe%0A%20%20%20%20Interesting%20for%20seeing%20the%20distribution%20(histogram%20at%20the%20top)%20and%20for%20sorting%20for%20best%2Fworst%20similarity.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df)%3A%0A%20%20%20%20df%5B%22index%22%2C%20%22similarity%22%2C%20%22ground_truth%22%2C%20%22prediction%22%5D%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Slight%20problem%3A%0A%0A%20%20%20%20Explanations%20in%20the%20dataset%20don't%20follow%20a%20set%20pattern%20(description%20%2B%20explanation%20(1)%2C%20just%20explanation%20(659)%2C%20591%20names%20the%20character%2C%2022%20only%20describes%20her).%0A%0A%20%20%20%20This%20makes%20generating%20a%20summary%20from%20the%20conversation%20somewhat%20hard.%0A%0A%20%20%20%20Another%20problem%3A%0A%0A%20%20%20%20The%20ground%20truth%20leaks%20into%20the%20messages%20134%20Mentions%20%22hiding%20an%20engagement%20ring%20in%20a%20glass%20of%20champagne%22%20which%20is%20not%20seen%20in%20the%20image%20or%20caption%20but%20is%20mentioned%20in%20the%20dataset%20explanation.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function(hide_code%3DTrue)%0Adef%20format_dialogue_or_explanation(tag%3A%20str)%20-%3E%20str%3A%0A%20%20%20%20dialogue_act_map%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22d1%22%3A%20%22Check%20question%22%2C%0A%20%20%20%20%20%20%20%20%22d2%22%3A%20%22What%2FHow%20question%22%2C%0A%20%20%20%20%20%20%20%20%22d3%22%3A%20%22Other%20question%22%2C%0A%20%20%20%20%20%20%20%20%22d4%22%3A%20%22Confirming%20answer%22%2C%0A%20%20%20%20%20%20%20%20%22d5%22%3A%20%22Disconfirming%20answer%22%2C%0A%20%20%20%20%20%20%20%20%22d6%22%3A%20%22Other%20answer%22%2C%0A%20%20%20%20%20%20%20%20%22d7%22%3A%20%22Agreeing%20statement%22%2C%0A%20%20%20%20%20%20%20%20%22d8%22%3A%20%22Disagreeing%20statement%22%2C%0A%20%20%20%20%20%20%20%20%22d9%22%3A%20%22Informing%20statement%22%2C%0A%20%20%20%20%20%20%20%20%22d10%22%3A%20%22Other%22%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20explanation_move_map%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22e1%22%3A%20%22Test%20understanding%22%2C%0A%20%20%20%20%20%20%20%20%22e2%22%3A%20%22Test%20prior%20knowledge%22%2C%0A%20%20%20%20%20%20%20%20%22e3%22%3A%20%22Provide%20explanation%22%2C%0A%20%20%20%20%20%20%20%20%22e4%22%3A%20%22Request%20explanation%22%2C%0A%20%20%20%20%20%20%20%20%22e5%22%3A%20%22Signal%20understanding%22%2C%0A%20%20%20%20%20%20%20%20%22e6%22%3A%20%22Signal%20non-understanding%22%2C%0A%20%20%20%20%20%20%20%20%22e7%22%3A%20%22Providing%20feedback%22%2C%0A%20%20%20%20%20%20%20%20%22e8%22%3A%20%22Providing%20assessment%22%2C%0A%20%20%20%20%20%20%20%20%22e9%22%3A%20%22Providing%20extra%20info%22%2C%0A%20%20%20%20%20%20%20%20%22e10%22%3A%20%22Other%22%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20if%20tag%5B0%5D%20%3D%3D%20%22d%22%3A%0A%20%20%20%20%20%20%20%20return%20dialogue_act_map%5Btag%5D%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20return%20explanation_move_map%5Btag%5D%0A%0A%0A%40app.function(hide_code%3DTrue)%0Adef%20format_dialogue_or_explanation_multiple(labels)%20-%3E%20str%3A%0A%20%20%20%20output%20%3D%20%5B%5D%0A%20%20%20%20for%20tag%20in%20labels%5B%22tags%22%5D%3A%0A%20%20%20%20%20%20%20%20formated_tag%20%3D%20format_dialogue_or_explanation(tag)%0A%20%20%20%20%20%20%20%20output.append(formated_tag)%0A%20%20%20%20return%20%22%2C%20%22.join(output)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Classifications%0A%20%20%20%20Turns%20are%20classified%20by%20an%20LLM.%20See%20the%20%22Single%20data%20point%22%20section%20below%20for%20examples.%0A%0A%20%20%20%20%22Other%20answer%22%20seems%20to%20be%20wrongly%20predicted%20in%20some%20places.%20Should%20probably%20be%20%22check%20question%22.%0A%0A%20%20%20%20Distribution%20over%20the%20whole%20dataset%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(alt%2C%20df%2C%20mo%2C%20pl)%3A%0A%20%20%20%20def%20extract_tags(start_char%3A%20str)%3A%0A%20%20%20%20%20%20%20%20tags%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20for%20i%20in%20range(len(df))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20conversation%20%3D%20df%5Bi%5D%5B%22classifications%22%5D%5B0%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20item%20in%20conversation%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20item%5B%22tags%22%5D%5B0%5D.startswith(start_char)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tags.extend(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20format_dialogue_or_explanation(v)%20for%20v%20in%20item%5B%22tags%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20return%20pl.DataFrame(%7B%22tag%22%3A%20tags%7D)%0A%0A%0A%20%20%20%20df_dialogue_tags%20%3D%20extract_tags(%22d%22)%0A%0A%20%20%20%20df_explanation_tags%20%3D%20extract_tags(%22e%22)%0A%0A%0A%20%20%20%20def%20make_stacked_chart(df_tags%2C%20title)%3A%0A%20%20%20%20%20%20%20%20base%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(df_tags)%0A%20%20%20%20%20%20%20%20%20%20%20%20.transform_aggregate(count%3D%22count()%22%2C%20groupby%3D%5B%22tag%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20.transform_joinaggregate(total%3D%22sum(count)%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20.transform_calculate(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20percentage%3D%22datum.count%20%2F%20datum.total%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20category%3Df%22'%7Btitle%7D'%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20bars%20%3D%20base.mark_bar(width%3D100).encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22category%3AN%22%2C%20title%3DNone%2C%20axis%3Dalt.Axis(labelAngle%3D0))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22count%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20stack%3D%22normalize%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20axis%3Dalt.Axis(format%3D%22%25%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Percentage%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22tag%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Tag%20Type%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20order%3Dalt.Order(%22tag%3AN%22%2C%20sort%3D%22descending%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22tag%3AN%22%2C%20title%3D%22Tag%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22percentage%3AQ%22%2C%20title%3D%22Percentage%22%2C%20format%3D%22.1%25%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20text%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20base.transform_filter(%22datum.percentage%20%3E%200.05%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_text(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20size%3D11%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20baseline%3D%22middle%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22category%3AN%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22count%3AQ%22%2C%20stack%3D%22normalize%22%2C%20bandPosition%3D0.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20order%3Dalt.Order(%22tag%3AN%22%2C%20sort%3D%22descending%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20detail%3D%22tag%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3Dalt.Text(%22percentage%3AQ%22%2C%20format%3D%22.1%25%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20(bars%20%2B%20text)%0A%20%20%20%20%20%20%20%20%20%20%20%20.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3D150%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3D350%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Dtitle%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.configure_title(anchor%3D%22middle%22)%0A%20%20%20%20%20%20%20%20)%0A%0A%0A%20%20%20%20dialogue_act_chart%20%3D%20make_stacked_chart(df_dialogue_tags%2C%20%22Dialogue%20Acts%22)%0A%0A%20%20%20%20explanation_move_chart%20%3D%20make_stacked_chart(%0A%20%20%20%20%20%20%20%20df_explanation_tags%2C%20%22Explanation%20Moves%22%0A%20%20%20%20)%0A%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.altair_chart(dialogue_act_chart)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.altair_chart(explanation_move_chart)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Single%20data%20point%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20def%20show_data_point(row)%3A%0A%20%20%20%20%20%20%20%20return%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.image(row%5B%22image%22%5D%5B0%5D%5B%22bytes%22%5D%2C%20rounded%3DTrue%2C%20width%3D400)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23Claim%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(row%5B%22claim%22%5D%5B0%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23Explanation%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(row%5B%22explanation%22%5D%5B0%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%3D%3E%20%22%20%2B%20row%5B%22label%22%5D%5B0%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20gap%3D1%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20return%20(show_data_point%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Data%20point%20index%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(df%2C%20mo)%3A%0A%20%20%20%20slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0%2C%0A%20%20%20%20%20%20%20%20stop%3Dlen(df)%20-%201%2C%0A%20%20%20%20%20%20%20%20debounce%3DFalse%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20include_input%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20slider%0A%20%20%20%20return%20(slider%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Dataset%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_dataset%2C%20show_data_point%2C%20slider)%3A%0A%20%20%20%20show_data_point(df_dataset%5Bslider.value%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Generated%20conversation%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(display_conversation%2C%20slider)%3A%0A%20%20%20%20display_conversation(slider.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20df_conversations%2C%20mo)%3A%0A%20%20%20%20def%20display_conversation(index%3A%20int)%3A%0A%20%20%20%20%20%20%20%20conversation%20%3D%20df_conversations%5Bindex%5D%5B%22output%22%5D%5B0%5D%0A%20%20%20%20%20%20%20%20labels%20%3D%20df%5Bindex%5D%5B%22classifications%22%5D%5B0%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bmessage%5B'role'%5D%7D**%20(%7Bformat_dialogue_or_explanation_multiple(label)%7D)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(message%5B%22message%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20(message%2C%20label)%20in%20zip(conversation%2C%20labels)%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20return%20(display_conversation%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Derived%20explanation%20vs%20dataset%20explanation%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(display_similarity%2C%20slider)%3A%0A%20%20%20%20display_similarity(slider.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20df_dataset%2C%20mo)%3A%0A%20%20%20%20def%20display_similarity(index%3A%20int)%3A%0A%20%20%20%20%20%20%20%20ground_truth%20%3D%20df_dataset%5Bindex%5D%5B%22explanation%22%5D%5B0%5D%0A%20%20%20%20%20%20%20%20generated%20%3D%20df%5Bindex%5D%5B%22prediction%22%5D%5B0%5D%0A%20%20%20%20%20%20%20%20similarity%20%3D%20df%5Bindex%5D%5B%22similarity%22%5D%5B0%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23Dataset%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(ground_truth)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23Generated%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(generated)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**Similarity%3A**%20%22%20%2B%20str(similarity))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20return%20(display_similarity%2C)%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A