Adattudományi kutatások segítik a felvételi pontszámítás, a lemorzsolódás, a felzárkóztató kurzusok és a hallgatói értékelések problémakörének megértését a Műegyetemen.

Legújabb kutatásaikat mutatták be a BME Természettudományi Kar (TTK) Matematika Intézetének Sztochasztika Tanszékén működő Human and Social Data Science Lab (HSDSLab)  munkatársai az „Oktatási adattudomány – Matematikai válaszok a tanulmányi adatvagyonból”  című worksopon, amely, felvételről is megtekinthető.

A HSDSLab munkáját Molontay Roland, a Sztochasztika Tanszék tudományos munkatársa, a labor vezetője mutatta be köszöntő beszédében. Kiemelte, a kutatóműhely sok szállal kötődik a BME Gazdaság- és Társadalomtudományi Karhoz (GTK), főként a Menedzsment és Vállalkozásgazdaságtan Tanszékhez. A labor missziója, hogy az adattudomány és a hálózattudomány alapkutatási eredményeit hatékonyan átültesse az üzleti, a humán és a társadalomtudományi területekre, ezáltal hidat képezzen az akadémiai szféra, az üzleti világ és az ipar között.

Tudományos vizsgálataik és kutató-fejlesztő munkájuk négy fő tématerület köré összpontosulnak: hálózattudomány, egészségügyi adatelemzés, intelligens monitorozás és anomáliadetektálás, valamint oktatási adattudomány: utóbbi terület eredményeit mutatta be a konferencia, amelynek előadásai matematikai válaszokat fogalmaztak meg egyes oktatáspolitikai, felsőoktatási szempontból releváns kérdésekre. Az előadásokban foglalt eredményeket korábban rangos folyóiratokban publikálták.

Szabó Mihály, a Központi Tanulmányi Hivatal (KTH) egykori igazgatója köszöntötte a műegyetemi, valamint a más intézményekből a konferenciára érkezett szakembereket. Kiemelte: a tanulmányi adatok tudományos használatának első pillanattól kezdve ígéretes ötletével öt évvel ezelőtt kereste meg Molontay Roland. Az együttműködés eredményeképpen az évek során értékes munkát végző szakmai műhely született. A KTH szakértője hangsúlyozta, a hallgatók-kutatók csak a szükséges, anonimizált formában lévő adatokat kapják meg munkájukhoz és titoktartási kötelezettségük is van.

Szabó Mihály a konferencia előadásai által nem érintett, de a kutatók által korábban vizsgált területek érdekességeit villantotta fel: elemezték például a tanterveket mint irányított gráfokat, a tantervek előtanulmányi rendjét, struktúráját. Az egyetemi tanulmányok várható befejezési idejét is megbecsülték, ezáltal meg lehetett határozni, melyek a „nyaktörő” tárgyak, az átbocsájtó képességeket legjobban akadályozó területek, de felmérték a kollégiumok tanulmányi hatását, valamint a diplomák költségét is. A kifejlesztett webes alkalmazások pedig a konkrét tervezési tevékenységet segítik.

A szakember kiemelte, a kutatók munkájuk során Sankey diagramokkal vizualizálták a hallgatói „áramokat”; rangsorolták a középiskolákat, hasonló logika szerint pedig megkezdték az angol nyelvű képzésben részt vevő diákok küldő országainak rangsorolását.

A szakmai programot Molontay Roland „Igazságos-e a magyar felvételi pontszámítás?” című előadása kezdte.

A felsőoktatás egyik kiemelt jelentőségű problémája egy olyan optimális felvételi eljárás konstruálása, amely nagy prediktív erővel rendelkezik a későbbi egyetemi teljesítményre vonatkozóan, azaz felmérhető belőle, kik lesznek sikeresek és kik lesznek a lemorzsolódók. A felvételi eljárás központi eleme a felvételi pontszám, amely a beiratkozás előtti teljesítménymérésekre támaszkodik; ezért döntő fontosságú, hogy ezek a kiválasztási kritériumok magas prediktív erővel rendelkezzenek a későbbi, egyetemi tanulmányi teljesítményre vonatkozóan.

A szakember előadásában bemutatta a kutatásai során alkalmazott haladó statisztikai tanulási módszereket, mint például a ROC AUC érték, a logisztikus és Tobit regresszió, amelyekkel elemezték a központi felvételi pontszám előrejelző érvényességét a diplomaszerzésre és a végzés tényére vonatkozóan. Az elemzés a Műegyetem 21 547 alapszakos hallgatójának adataira épül.

„Azt találtuk, hogy a jelenlegi felvételi pontszám jó prognózist nyújt, azonban előrejelző képessége szakonként jelentősen eltér. A középiskolai jegyek erős prediktív erővel rendelkeznek, és az általános tudás fontosabb, mint a szakspecifikus ismeretek. Azt is megállapítottuk, hogy a lányok tanulmányi teljesítményét alul-, a fiúkét pedig felüljósolja a felvételi pontszám” – nyomatékosította a szakember, hozzátéve, bár a felvételi pontszám hatékonyan előrejelzi a jövőbeli egyetemi sikereket, ám e képessége javítható néhány változtatással: a felvételi diszjunktív jellegének megszüntetésével („duplázás” kivezetése), a programspecifikus tudás helyett az általános ismeretekbe való összpontosítással, és az emelt szintű érettségi eredményalapú (multiplikatív) jutalmazásával. A javasolt alternatív felvételi pontszám nemcsak nagyobb prediktív érvényességgel rendelkezik, hanem kisebb alul- és túljóslási torzítással is a különböző hallgatói csoportokban.

Nagy Marcell, a BME Sztochasztika Tanszék (TTK) doktorandusza „Előrejelezhető-e az egyetemi lemorzsolódás a felvételkori adatok alapján?” címmel tartott előadást.

A hallgatói lemorzsolódás az egyik legégetőbb probléma a műszaki felsőoktatásban, amely jelentős társadalmi és gazdasági költségeket vonz maga után. Az utóbbi időben nagy érdeklődés övezi a gépi tanulási eszközök használatát a lemorzsolódás veszélyének kitett hallgatók korai azonosítására. Kevés szó esett azonban az értelmezhető gépi tanulás (IML) és a megmagyarázható mesterséges intelligencia (XAI) eszközeivel történő lemorzsolódás-előrejelzésről.

Előadásában a BME adatainak felhasználásával mutatta be, hogyan lehet a gépi tanulási eszközökkel azonosítani a lemorzsolódásban veszélyeztetett hallgatókat, illetve, hogy az IML és az XAI eszközök hogyan tudják támogatni az oktatás szereplőit a lemorzsolódás előrejelzésében, valamint, hogy az összetett gépi tanulási modellek hatékonyan képesek azonosítani a veszélyeztetett diákokat, pusztán a beiratkozás előtti teljesítményekre támaszkodva. „Az IML-eszközök, például a parciális függőségi diagram (PDP), és a SHAP-értékek alkalmazásával bemutatjuk, hogy hogyan lehet az előrejelzéseket globálisan és lokálisan, egyéni szinten értelmezhetővé tenni. Az egyéni előrejelzések magyarázata nagyszerű lehetőségeket nyit a személyre szabott beavatkozásra, például a megfelelő felzárkóztató kurzusok vagy korrepetálások ajánlásával.”

„Mennyit ér a matematika felzárkóztatás az egyetemen?” – Baranyi Máté, a BME Sztochasztika Tanszék (TTK) doktorandusza a mérnökképzés fontos elemének problematikájával foglalkozott előadásában.

A felsőoktatásban a felzárkóztató kurzusok hatékonyságának tanulmányozása nagy érdeklődést váltott ki az oktatáskutatók és a gyakorlati szakemberek körében. A doktorandusz előadásában egy széles körben használt módszert, az ún. szakadásos regresszió (RDD) alkalmazásának lehetőségeit mutatta be a BME két különböző kialakítású felzárkóztató matematika kurzusa hatékonyságának mérésére. Kutatótársaival végzett elemzéseik a 2010 és a 2018 között beiratkozott, közel 20 000 egyetemi hallgató adatain alapultak. Modern RDD-eszközökkel, különböző beállítások mellett vizsgálták a felzárkóztató kurzusok közvetlen és hosszabb távú hatásait. Statisztikailag szignifikáns pozitív hatást mértek a későbbi tanulmányi eredményekre mindkét kurzus kialakításánál; a hatás nagysága azonban jelentősen eltért. Az egyetemi szintű matematika kurzushoz extra gyakorló óraként szolgáló felzárkóztató kurzus esetében nagyobb hatást mértek, mint a hagyományos felzárkóztató kurzus esetében. Módszertani újdonságként új alternatív módszert javasoltak a diszkrét futó változó kezelésére RDD-környezetben, emellett néhány javaslatot tettek arra, hogyan lehet a matematikai javítást személyre szabott e-learning rendszerek segítségével orvosolni.

Berezvai Zombor, a Budapesti Corvinus Egyetem Marketing Intézet Marketingmenedzsment Tanszék tanársegéde „Megvásárolhatók-e a hallgatói értékelések engedékeny osztályzással?”címmel mutatta be kutatásaikat.

Számos egyetemen az oktatók hallgatói értékelését (OHV) – angolul student evaluations of teaching (SET) -- használják az előléptetés, a kinevezés és a professzorok egyéb pénzügyi juttatásainak meghatározásához, ami arra ösztönzi őket, hogy megpróbálják növelni az értékelésen elért pontszámaikat. Korábbi, főként amerikai adatokon alapuló kutatások azonban azt mutatják, hogy a OHV-pontszámok nemcsak az oktatás hatékonyságától és minőségétől, hanem számos más tényezőtől – leginkább az osztályzatoktól – függenek. Az előadásban bemutatott tanulmányban a BME és a Budapesti Corvinus Egyetem négyéves adatai alapján vizsgálták a jegyinfláció OHV-pontszámokra gyakorolt hatását. Az OHV-felmérést ezeken az egyetemeken a végső jegyek ismeretében töltik ki. Módszertani újdonságként súlyozott regressziós módszereket (közönséges legkisebb négyzetek, kétlépcsős legkisebb négyzetek, fix-hatás panel) alkalmaztak az osztálylétszámbeli különbségekre való tekintettel. A súlyozás tükrözi az osztály átlagos OHV-pontszámának jelentőségét az oktató értékelésében. Eredményeink azt mutatják, hogy ha egy diák eggyel nagyobb osztályzatot kap, akkor az OHV-felmérés során körülbelül 0,2-0,4-gyel magasabb értékelést ad az oktatónak.

HA-TZS

Fotó: Geberle B.