MIRE HASZNÁLJUK A MESTERSÉGES INTELLIGENCIÁT A MÚZEUMOKBAN?

MúzeumCafé 96.

A mesterséges intelligencia (MI) kutatások több évtizedre nyúlnak vissza, azonban világszerte csak a 2010-es évek végén terjedtek el. Az MI-alapú alkalmazásokban rejlő lehetőségekre a ChatGPT tavaly novemberi elindítása1 hívta fel újra a figyelmet, és azóta szinte mindennap találkozunk a gépi intelligencia előnyeiről vagy éppen veszélyeiről szóló híradásokkal. Felhasználói oldalon egyaránt tanúi lehetünk az MI-vel kapcsolatos hype-nak ugyanúgy, mint a vele szemben mutatott, a túlzó elvárások miatt jelentkező korai kiábrándultságnak. Abban viszont mindenki egyetért, hogy az új technológia radikális hatással lesz a jövőnkre, és a változás kihat a kulturális szektor intézményeire, köztük a múzeumok mindennapi gyakorlataira is.

¶ Míg a külföldi múzeumokban már számos jó példát láthatunk az MI-alapú fejlesztésekre, addig a hazai szakemberek még csak most ismerkednek az új technológiával, pedig egyre inkább szükség lenne a mesterséges intelligencia bevonására annak érdekében, hogy a múzeumok megfeleljenek a digitális kor követelményeinek. A következő pár évben dől el, hogy sikerül-e a hazai múzeumi ágazatnak időben reflektálnia az újabb technológiai paradigmaváltásra, vagy ismét csak jelentős lemaradással lép be a digitalizáció újabb szakaszába.

Pen használata a Cooper Hewitt Smithsonian Design Museumban https://www.cooperhewitt.org/events/current-exhibitions/using-the-pen/

Pen használata a Cooper Hewitt Smithsonian Design Museumban
https://www.cooperhewitt.org/events/current-exhibitions/using-the-pen/

 

 

A mesterséges intelligencia területei

 

¶ A mesterséges intelligenciának nincs egységesen elfogadott tudományos definíciója,2 alapvetően olyan gépi programokat értünk ezen, amelyek képesek emberi kognitív funkciók végrehajtására, az emberhez hasonló gondolkodási folyamatok szimulálására. Az intelligencia és a képességek alapján három kategóriát különböztetnek meg: a gyenge, az erős és a szuperintelligens MI-t. A gyenge MI (Weak AI) egyes területekre vonatkozóan képes feladatokat megoldani, az erős (Strong AI) emberi szintű MI-ként is emlegetik, ami egy olyan gép, amely bármilyen intellektuális feladatot képes elvégezni, a szuperintelligens MI (Artificial
Superintelligence) pedig már az emberi agynál okosabb intelligenciát jelöl.3
Ez utóbbihoz kapcsolódnak a sci-fik világába illő futurisztikus elképzelések, ahol a robotok átveszik az irányítást az emberiség felett.

¶ Napjainkban az alkalmazás típusa szerint a mesterséges intelligencia legnépszerűbb kategóriái a gépi látás, a természetes nyelvfeldolgozás, a robotika, az optimalizálás és az adatelemzés, amiket a múzeumi terület is kiválóan tud hasznosítani.

 

 

¶ A gépi látás alapvetően a számítógépes látásra épül, segítségével képekből, videóanyagokból információkat nyerhetünk ki, hogy értelmezzük őket. Az eljárás első lépése a kép előfeldolgozása, melynek során az algoritmus kiszűri a zajt, korrigálja a színeket, eltávolítja a felesleges részeket és javítja a képminőséget, majd a kép jellemzőit elemzi, például a színeket, a textúrát és a formát. Ezek után következik az objektumok detektálása: a program megpróbálja azonosítani azokat a mintákat és tulajdonságokat, amelyek alapján felismerhetők a különböző objektumok például emberek (arcok), állatok, épületek vagy járművek.

¶ A természetes nyelvfeldolgozás (Natural Language Processing, NLP) olyan számítógépes eljárások összessége, amelyeknek célja a természetes nyelvű szövegek feldolgozása és értelmezése. Ide tartozik a nyelvi elemzés, az adatgyűjtés, a szöveggenerálás, a fordítás, a szövegértés, a hangfelismerés és a beszédfelismerés.

¶ A szövegfeldolgozás a tokenizációval kezdődik, amikor az NLP-algoritmusok az input szöveget különböző részekre úgynevezett tokenekre bontják. Ez általában szó vagy mondat szinten történik. A magyar nyelv – amely agglutináló nyelv – esetében különösen fontos a következő lépés, a lemmatizálás (szótövezés), vagyis a szavak visszavezetése bázisalakjukra, amelyek ugyanazt a szemantikai jelentést hordozzák, de különböző időrendi vagy személyi változatai vannak. A szemantikai elemzés a szöveg tartalmi megértésére irányul a szavak kontextusa alapján, a szintaktikai elemzés pedig a nyelvtani szabályok felismerése alapján kategorizálja a mondatokat és a szavakat a szövegben.

¶ A gépi látás és a természetes nyelvfeldolgozás módszereit összefoglalóan gépi tanulásnak is nevezik. A gépi tanulás során az algoritmusokat adathalmazokon tanítják minták felismertetésére, a minták megtanulása után pedig képesek lesznek új adathalmazokon dolgozni. A tanuló rendszer annál pontosabban működik, minél több tanító adatot mutatnak neki. A gépi tanulás hatékony eszköze a mesterséges neurális háló (artificial neural network), ahol a biológiai agy működésének szimulációjával nagy mennyiségű adat feldolgozása történik.

¶ A robotika területén is egyre hangsúlyosabb szerepet kap a mesterséges intelligencia. A mechanika, az elektronika és a számítógépes programok együttműködésével a robotok képesek érzékelni a környezetüket, feldolgozni az információkat, és ezek alapján döntéseket hoznak, utánozva az emberi cselekvést. A robotika két nagy ága a humanoid robotika és az ipari robotika.

¶ Az optimalizáció során az MI képes megtalálni a legjobb megoldást egy adott feladatra a rendelkezésre álló adatok és erőforrások alapján. Az optimalizációs algoritmusok két fő típusa: az egyenletrendszerek és a szimulációs modellekre épülő módszerek.

¶ Az adatelemzés a mesterséges intelligencia egyik legfontosabb alkalmazási területe. Az MI képes nagy mennyiségű adat gyors és hatékony feldolgozására, elemzésére, releváns információk és összefüggések feltárásával segíti a döntéshozatalt. Az adatelemzésnek két fő típusa van: leíró adatelemzés és prediktív adatelemzés. A leíró adatelemzés már meglévő adatok megértését, a köztük lévő összefüggések, szabályok feltárását segíti. A prediktív adatelemzés az adatok alapján modelleket állít elő, amelyek a jövőre vonatkozó előrejelzéseket készítenek.

 

 

A mesterséges intelligencia múzeumi alkalmazásai

 

¶ A fentebb említett mesterségesintelligencia-alkalmazások számos ponton támogathatják a múzeumi munkafolyamatokat és szolgáltatásokat, a gyűjtéstől
a megőrzésen és a feldolgozáson át egészen a közzétételig.

Látogatói élmény

¶ Az egyik kiemelt terület, ahol a múzeumok már sikeresen alkalmazzák az MI-t,
a látogatói élmény javítása. Az algoritmus lehetővé teszi az interaktív, személyre szabott kiállítási útvonalak kialakítását, valamint a látogatók viselkedésének követését és elemzését, segítve a minél élményszerűbb múzeumi befogadást.

¶ A New York-i Cooper Hewitt Smithsonian Design Museum mesterséges intelligenciával működő interaktív tollat kínál látogatóinak, amellyel élménysze­rűen fedezhetik fel a múzeum kiállításait és gyűjteményeit.4 Az egyszerűen csak Pennek nevezett eszköz a számítógépes látás és gépi tanulási algoritmusok segítségével azonosítja és rögzíti azokat a műtárgyakat, amelyekkel a látogatók interakcióba lépnek. A felhasználók a Pen segítségével virtuálisan összegyűjthetik az általuk érdekesnek talált tárgyakat, majd látogatásuk után egy weboldalon hozzáférhetnek gyűjteményükhöz és a tárgyakkal kapcsolatos további információkhoz.

¶ A múzeum mesterségesintelligencia-algoritmusokat is használ a látogatók viselkedésének nyomon követésére és elemzésére, például arra, hogy a látogatók hogyan mozognak a kiállításokon, és mely tárgyakkal lépnek kapcsolatba a legtöbbet. Ezeket az adatokat a kiállítás kialakításának javítására, valamint a látogatói élmények vonzóbb és személyre szabottabb megteremtésére használják.

¶ A 2010-es évek végén a múzeumok weboldalain is népszerűvé vált az üzleti világban gyorsan terjedő chatbotok használata. A látogatói kérdésekre értelmes módon válaszolni tudó botok a nap 24 órájában rendelkezésre állnak, így az érdeklődők a nyitvatartási időn kívül is gyorsan releváns információkhoz juthatnak a múzeum szolgáltatásaival kapcsolatban. A chatbotok két típusa a hangalapú virtuális asszisztens és az írásban, párbeszédablakon keresztül kommunikáló alkalmazás. Költséghatékony megoldást jelent, ha már meglévő üzenetküldő alkalmazásokra telepítik, mint például a Facebook Messenger. A mesterséges intelligencia bevonásával a felkínált kontextus hozzáigazítható a látogató preferenciáihoz, és minél több „tanító adatot” kap az algoritmus, annál pontosabb válaszokat képes adni a használata során.

¶ A chatbotok nemcsak az alapvető információk közvetítésére képesek, a múzeumi világban több példát is találhatunk az MI-vel támogatott technológia kreatív felhasználására.

Anne Frank House chatbot-applikáció https://www.youtube.com/watch?v=YPH4vUWcN2U&t=2s

Anne Frank House chatbot-applikáció
https://www.youtube.com/watch?v=YPH4vUWcN2U&t=2s

¶ Az amszterdami Anne Frank House chatbot alkalmazása a feltett kérdések alapján személyre szabott válaszokat képes adni Anne Frank és családja történetéről, továbbá felkínálja a kérdezők számára a lehetőséget, hogy a második világháború és a holokauszt eseményeiről szélesebb aspektusban tájékozódjanak. A mélytanulási algoritmussal működő chatbot szintén a Messenger alkalmazást használja a kommunikációhoz.5

¶ 2018-ban a chicagói Field Museum új kiállításában mutatta be a világon eddig felfedezett legnagyobb dinoszauruszt, a titanoszauruszt. A múzeum menedzsercsapata szerette volna egyedülálló módon felhívni a figyelmet a rendkívüli leletre, ezért az MI-vel bővített chatbot technológia fejlesztése mellett döntöttek. A Máximo névre keresztelt dinoszaurusz saját személyiségjegyeket kapott, „életre keltői” igyekezték felkészíteni a legváratlanabb kérdések megválaszolására is. A fejlesztési projekt lényeges eleme volt az utánkövetés, vagyis a felhasználói elégedettség felmérése és az előforduló hibák okainak vizsgálata.6

¶ A São Pauló-i Pinacoteca művészeti galéria a Voice of Art projekt keretében
az IBM által kifejlesztett MI-alapú Watson7 alkalmazást használta fel a kortárs brazil képzőművészet kiemelkedő munkáinak bemutatásához. A mobilalkalmazás telepítése után a látogatók a kiállításban sétálva automatikus jelzést kapnak telefonjukra, ha olyan műalkotás közelébe érnek, amellyel kapcsolatban kérdéseket tehetnek fel Isabelának (Watson brazil változata), az intelligens virtuális asszisztensnek. Az interakció hangvezérléssel működik, de gondoltak a hallássérült látogatókra is, akik chaten keresztül kommunikálhatnak Isabelával.8

¶ A látogatói élmény fokozására a humanoid robotok alkalmazása kétségkívül telitalálat lehet a múzeumok számára, de a magas előállítási költség miatt csak elvétve találkozhatunk velük. 2018-ban a Smithsonian olyan szerencsés helyzetben lehetett, hogy egy pilot projekt keretében a Softbank által fejlesztett Pepper humanoid robotjait több intézményében is kipróbálhatta. A mesterséges intelligenciával fejlesztett robot arcfelismerő és arckövető funkcióval rendelkezik, képes a nyelvfelismerésre és a beszédértésre is. Pepper érzékeli, ha emberek vannak a közelben, ilyenkor igyekszik interakcióba lépni velük. Hang, gesztus, valamint interaktív érintőképernyő segítségével válaszol a feltett kérdésekre, emellett – a látogatók legnagyobb örömére – táncol, játszik vagy éppen szelfikhez pózol. A Smithsonian intézményeiben nagy segítséget jelentett a nyelvi akadályok leküzdésében, a látogatók útbaigazításában, személyre szabott ajánlatok felkínálásában, sőt hasznosnak bizonyult az önálló tárlatvezetésekben, az inklúzióban és az edukációban is.9

Máximo a Field Múzeumban A The Field Museum jóvoltából

Máximo a Field Múzeumban
A The Field Museum jóvoltából

Műtárgyak automatikus azonosítása és kategorizálása gépi tanulással

¶ A mesterséges intelligencia a muzeológusok munkáját is megkönnyítheti. A gépi tanulás segítségével lehetőség nyílik a műtárgyak automatikus azonosítására, kategorizálásukra és állapotuk elemzésére, a műtárgyrekordok automatikus metaadatolásával pedig csökkenthető a manuális adatrögzítésre fordított idő.

¶ A norvég Nemzeti Múzeum Principal Components projektjében a gépi tanulásra és a neurális hálózatokkal történő elemzésekre támaszkodva sikerült metaadatolni és osztályozni a múzeum művészeti gyűjteményét. A projekt első részében egy saját fejlesztésű neurális hálót a Wikiart10 rekordjain tanítottak be művészeti irányzat, stílus, kompozíció, színhasználat stb. elemzésével, továbbá objektumfelismertetést alkalmaztak a festményeken található személyek, figurák és formák, arcok, életkor meghatározására. Az algoritmus ezután azonosította a motívumokat saját gyűjteményükben. Egy másik algoritmus (T-SNE)
a képeket motívumok, technikák, kompozíciók és színhasználat szerint csoportosítja, aminek eredményeként új szolgáltatás vált elérhetővé a múzeum weboldalán: a felhasználók öt kategória (festmények – motívum szerint), festmények – stílus szerint, prints, rajzok és design) alapján böngészhetnek a műalkotások között.11 Az alkalmazás automatikusan frissül az új adatok bekerülésekor.12

¶ A projekt másik célja a műtárgyrekordok automatikus kulcsszavazása volt. Az algoritmust az Iconclass13 osztályozási rendszerre tanították be, felhasználva más hasonló művészeti gyűjtemények adatkészleteit is. Az általánosabb kategó­riákat sikerült megfeleltetni saját szótáraikkal, így a jövőben a kulcsszavak
automatikus generálásával a hiányzó leíró metaadatokat is beépíthetik a művek alapértelmezett információi közé.

Beszélgetés Isabelával, az intelligens virtuális asszisztenssel a Pinacoteca Galériában https://en.showmetech.com.br/ibm-watson-muda-forma-de-ver-arte-na-pinacoteca/

Beszélgetés Isabelával, az intelligens virtuális asszisztenssel a Pinacoteca Galériában
https://en.showmetech.com.br/ibm-watson-muda-forma-de-ver-arte-na-pinacoteca/

Állományvédelem, rekonstrukció

¶ Talán elsőre nem jutna eszünkbe, de a mesterséges intelligencia a restaurátorok és állományvédelemmel foglalkozó kollégák munkáját is támogathatja a múzeumokban.

¶ Az MI-eszközökkel a gyűjteményben lévő tárgyak állapotának elemzését is elvégezhetjük a mechanikai vagy egyéb sérülések észlelésére, majd a leginkább megfelelő restaurálási technikák kiválasztására. Sőt az MI segíthet optimalizálni a restaurálási folyamatot azzal, hogy előre jelzi a különböző kezelések hatá­sait a tárgy állapotára. A gyűjtemények tárolási körülményeinek monitorizálása és az esetleges károsodások időben való észlelése hozzájárul a gyűjtemény megőrzéséhez szükséges proaktív intézkedések meghozásához.

¶ A Rijksmuseum 2019-ben kezdte meg Rembrandt egyik leghíresebb festményének, az Éjjeli őrjáratnak a restaurálását. A projekt nemcsak azért nagyszerű példája az innovációnak, mert az érdeklődő látogatók egy, a vászon köré épített üvegvitrinen keresztül vagy online is követhették a restaurátorok munkáját, hanem mert a szakemberek neurális háló segítségével sikeresen rekonstruálták a festmény eredeti változatát. Kevésbé közismert, hogy az 1642-ben elkészült remekművet 1715-ben a polgárőrség klubházából a városházára vitték át, ahol viszont nem fért el a falon a két ajtó között, ezért egy ollóval az aljáról, a felső részéről és a két oldaláról csíkokat vágtak le. A levágott részek azóta sem kerültek elő. A rekonstrukcióhoz felhasználták Gerrit Lundens holland festő 1642 és 1655 között készített másolatát, valamint az eredeti műalkotás csúcstechnológiás elemzése után a neurális hálót „betanították”, hogy képes legyen Rembrandt stílusában alkotni. A hiányzó darabokat ezután kinyomtatták és hozzáillesztették a „csonka” példányhoz, így 2021 óta az Éjjeli őrjárat abban a formában is megtekinthető, ahogy eredetileg Rembrandt festette.14

Pepper, a robot a Smithsonian’s Castle Commonsban A Smithsonian Intézet jóvoltából

Pepper, a robot a Smithsonian’s Castle Commonsban
A Smithsonian Intézet jóvoltából

Amikor az MI probléma

¶ Egy új technológia megjelenése mindig maga után vonja az etikus használatára vonatkozó kérdések felvetését is, ez nincs másként a mesterségesintelligencia-fejlesztésekkel sem.

¶ Az MI-alkalmazások széles körű elterjedése a múzeumok számára is kihívást
jelent, új jelenségekre és problémákra kell minél előbb, szakszerűen reflektálniuk.

¶ Ahogy már fentebb is volt róla szó, a gépi tanuláshoz nagy mennyiségű tanító adatra van szükség, aminek megszerzése nem egyszerű feladat a fejlesztő cégek számára. A nagy adatterekkel rendelkező intézmények jelentősége egyre nagyobb lesz, mert a tanító algoritmus „éhsége” korlátlan a minél tökéletesebb működés érdekében. Az idén zajlik egy per a Getty Images és a Stability AI között, mert a cég a Stable Diffusion nevű generatív mesterséges intelligencia alapú képalkotó eszközük betanításához a Getty képeit használta fel engedély nélkül.15 A bíróság nincs egyszerű helyzetben, mert ahogy az lenni szokott,
a technológia több lépés előnyben van a jogalkotáshoz képest, és még nem áll rendelkezésre a megfelelő jogszabályi környezet az ilyen és hasonló konfliktusok rendezéséhez. Az Európai Unió már hosszú ideje egyeztet az MI felhasználásának jogi kérdéseiről. Friss hír, hogy május 11-én az Európai Parlament két szakbizottsága elfogadta az AI-Act jogszabálycsomagot, ami a jogalkotók reményei szerint akár globális szabvánnyá is válhat.16 Persze a jogszabály honosítása az egyes országok saját joggyakorlatába időbe telik majd, és addig még akár olyan új esetek is előfordulhatnak, amikre a szakemberek nincsenek felkészülve.

A Norvég Nemzeti Múzeum weboldalán az MI által kategorizált alkotások között böngészhetünk http://vy.nasjonalmuseet.no/?collection=painting_subject

A Norvég Nemzeti Múzeum weboldalán az MI által kategorizált alkotások között böngészhetünk
http://vy.nasjonalmuseet.no/?collection=painting_subject

¶ Nemcsak a betanító modelleknél merülnek fel a szellemi tulajdonjogra, szerzői jogra vagy a mű integritására vonatkozó kérdések, hanem akkor is, amikor műalkotások módosítása vagy előállítása történik. Természetesen eddig is rendelkezésre álltak különböző eszközök a médiumok manipulálására, digitális művészet is létezett, de ma már az MI-alapú tartalomgeneráló platformokon a felhasználók tulajdonképpen szerkesztői tudás nélkül, pusztán szöveges leírás vagy hangvezérlés útján tömegesen állíthatnak elő új tartalmakat. A jelenleg legismertebb gépi tanulás algoritmuson alapuló szolgáltatás a Midjourney MI képgenerátor,17 ami természetes nyelvi leírásokból állít elő képeket. A Midjourney a Discord ingyenes kommunikációs platformot használja, ahogyan a BlueWillow18 is. Népszerű képgeneráló szolgáltatás még a nyílt forráskódú Leonardo19 és a DiffusionArt20 is.

¶ A tartalomgeneráló platformok terjedése felvetette a kérdést, hogy a gépek által létrehozott művek vajon egyenrangú művészeti alkotásnak tekinthetők-e.
Az elmúlt években több botrányról is beszámolt a világsajtó, amikor rangos művészeti versenyek díjait olyan pályázók vitték el, akik MI generátorral alkották meg műveiket. Jason Allen a Theatre d’Opera Spatial elnevezésű alkotással győzött a Colorado State Fair képzőművészeti versenyen,21 a Sony World Photography Awardon pedig Boris Eldagsen német fotóművész Hamis emlékek: a villanyszerelő című munkája lett az egyik kategória győztese.22

Rembrandt Éjjeli őrjárat festményéhez hozzáillesztik az MI által rekonstruált részeket https://jingculturecrypto.com/rijksmuseum-rembrandt-night-watch-ai-restoration/

Rembrandt Éjjeli őrjárat festményéhez hozzáillesztik az MI által rekonstruált részeket
https://jingculturecrypto.com/rijksmuseum-rembrandt-night-watch-ai-restoration/

¶ Arról továbbra sincs közmegegyezés, hogy a hasonló alkotások művészetnek számítanak-e, mindenesetre bemutatásukra van igény: idén márciusban megnyílt a világ első mesterséges intelligencia-kiállítása az amszterdami Dead End Galériában.23 A következő időszakban a múzeumoknak is döntést kell hozniuk, hogy az MI által generált alkotásokat a digitális művészet részének tekintik-e, és ha igen, hol kapnak helyet a gyűjteményeikben.

¶ A gépi intelligencia és a szerzői jogi oltalom dilemmájának feloldására több szakember tett már javaslatot. Itthon is elérhető szakirodalom Kiss Zoltán Károly és Kiss Bernadett A vizuális művészetek és a jog című könyve, amelyben abból indulnak ki, hogy „a szerzői jog csak azokat a műveket védi, amelyek létrehozásában csak közvetetten vett részt a gép, és ahol a mű egy emberi alkotóhoz köthető, akinek a ráhatásán múlik a végeredmény, és részt vett a mű létrehozásában”.24

¶ Horváth Katalin szakjogász-ügyvéd állásfoglalása alapján négy, a mesterséges intelligencia által létrehozott műtípust különítenek el szerzői jogi szempontból:

  1. Az emberek által, MI segítségével, közreműködésével alkotott művek, amikor a gépi intelligencia csak támogatja az emberi kreativitást. Szerzői jogi oltalom alá esnek.
  2. Az MI által önállóan alkotott művek, de emberek általi szelektálással. Ilyenkor az emberi alkotó passzív szereplő, ugyan kreatív módon hoz döntéseket, de a kiválasztás nem teszi a művet eredetivé. Nem egyértelmű a szerzői jogi oltalom kérdése.
  3. Az MI által brute force computing használatával létrehozott művek. Ebben
    az esetben a mesterséges intelligencia vizsgálja meg az összes lehetséges esetet,
    és dönt az általa vélt egyetlen helyes mellett. Nem esnek szerzői jogi oltalom alá.
  4. Teljes egészében a mesterséges intelligencia által létrehozott művek. Nem esnek szerzői jogi oltalom alá.25

Hazai helyzetkép

Pilot projektek

¶ A magyar múzeumokban nincs még jelentős tapasztalat a mesterségesintelligencia-alkalmazások használatával kapcsolatban. Néhány országos múzeumban kisebb pilot projekt indult, ahol ugyan bővülhetett a múzeumi szakemberek tudása, de hamar felszínre kerültek azok a problémák is, amelyek évek óta hátráltatják a múzeumi ágazatot a digitalizáció sikeres megvalósításában.
A Közgyűjteményi Digitalizálási Stratégia Mintaprojekt (2019–2021) keretében a Magyar Nemzeti Múzeum MuseuMap aggregációs portálján26 a Színkereső menüpont alatt a látogató egy színpaletta segítségével színek szerint tud szűrni a digitális műtárgyrekordok között. Az alkalmazás egy egyszerűbb MI-algoritmust is használ a műtárgyfotók színkód szerinti kategorizálásához.
Az MNM másik, szintén a Mintaprojekt ideje alatt megvalósuló pilot projektje a MuseumON, egy MI-alapú kulturális programajánló. Az érdeklődési kör megadása és a helymeghatározás után az alkalmazás felületén képek formájában jelennek meg a műtárgyrekordok, melyeket a felhasználó jobbra húzhat, ha érdekli és balra, ha nem releváns számára a tartalom. Az applikáció a mesterséges intelligencia segítségével megtanulja minden egyes felhasználó preferenciáit, és ennek a segítségével egyre inkább az érdeklődési körének megfelelő, releváns tartalmat ajánl az iteratív folyamat során.
A Mintaprojekt tervei között szerepelt a MuseuMap-rekordok automatikus kulcsszavazása is gépi tanulás segítségével, de ez a projekt sajnos a kezdeti fázisában elakadt a kevés tanító adat és a forráshiány miatt.

Jason Allen, Theatre d’Opera Spatial https://en.wikipedia.org/wiki/Th%C3%A9%C3%A2tre_d%27Op%C3%A9ra_Spatial

Jason Allen, Theatre d’Opera Spatial
https://en.wikipedia.org/wiki/Th%C3%A9%C3%A2tre_d%27Op%C3%A9ra_Spatial

Akadályozó tényezők

¶ Már a MuseumON esetében is problémát jelentett, ami az automatikus kulcs­szavazást lehetetlenné is tette, hogy a képi és szöveges tartalmak elemzéséhez, a minták felismertetéséhez, majd a tanulórendszer „okosításához” nincs elég adatunk. A rendelkezésre álló műtárgyrekordok szűken adatoltak, a képek minősége pedig gyakran nem megfelelő az objektum felismertetésére.
Problémát jelent az is, hogy a hazai múzeumok nem rendelkeznek megfe­lelő infrastruktúrával. Minden MI-alapú rendszernek, de különösen a mély­tanuláshoz (deep learning) használt neurális hálózatoknak nagy mennyiségű adaton kell gyors számításokat végezniük, amihez erős informatikai háttérre lenne szükség. Emellett hiányzik a kellő számú és tudású munkatárs is
az intézményekben. Ahhoz, hogy a tanuló rendszer minél pontosabban dolgozzon – főleg a kezdeti szakaszban – az algoritmus döntéseit ellenőrizni és korrigálni kell emberi intelligencia segítségével. A projekt koordinálásához pedig olyan kollégákra van szükség, akik átlátják és értelmezni tudják a fejlesztés egyes szakaszait. Mind az informatikai infrastruktúra, mind a humánerőforrás fejlesztése nagyobb anyagi támogatást igényel.

Beavatkozási pontok

¶ A legfontosabb lépés a múzeumi ágazat digitalizációjának felgyorsítása, ehhez pedig vagy a KDS folytatása, vagy hasonló országos, központi finanszírozású projekt elindítása szükséges, hiszen az intézmények nagy része csak szűkös erőforrásokkal rendelkezik. A fejlesztési keretek biztosításához megoldást jelenthetnek a nemzetközi pályázatok, ma már az európai uniós kiírások szinte mindegyikében szerepelnek mesterségesintelligencia-alkalmazások. Van már nyertes pályázó is: az MNM Semmelweis Orvostörténeti Múzeum a Horizont Európa program keretében nyert el konzorciumi tagságot. A SHIFT Projekt (SHIFT: A kulturális örökség metamorfózisa kiterjesztett hipermédiás eszközökké) olyan mesterségesintelligencia-alapú alkalmazások megvalósítását tűzte ki célul, amelyekkel a múzeumi kiállítások befogadását még élményszerűbbé teszik a kultúra iránt érdeklődő széles közönség számára, beleértve a fogyatékkal élő személyeket is. A projektben kifejlesztett eszközök mindegyike MI-technológiára támaszkodik, a gépi látástól, a természetes nyelvű feldolgozáson át a haptikus interfészek kiépítéséig. A nemzetközi projektekben való részvétel a kollégák számára is előnyös, hiszen naprakész tudást sajátíthatnak el
a legújabb innovációkkal kapcsolatban.

¶ A mesterségesintelligencia-fejlesztések minden eddiginél jobban felhívják
a figyelmet a közös adatterek használatának fontosságára. A magyar közgyűjtemények egyenként képtelenek lesznek annyi adatot előállítani, amennyire a tanuló rendszereknek szükségük van. A képi elemzéshez szükséges elegendő tartalmat talán még meg lehet szerezni nemzetközi szolgáltatásokból (a magyar személyek felismertetése így is nehézkes), de a felhasználható magyar nyelvű digitalizált szövegek mennyisége csekély. Több szakmai fórumon elhangzott javaslatként, hogy induljanak intézményközi projektek, amelyekben kutatási céllal együtt használják fel az intézmények digitális adatait az MI-fejlesztésekhez. Az objektumok, személyek felismertetésére és az automatikus szövegfeldolgozásra betanított algoritmust aztán minden résztvevő a saját szolgáltatásainak kiépítésére használhatná. Az együttműködésekre létezik már jó hazai példa: az ELTE Digitális Örökség Nemzeti Laboratóriuma (ELTE DH-LAB) több közgyűjteménnyel (például Magyar Nemzeti Múzeum, Magyar Nemzeti Levéltár) kötött együttműködési megállapodást MI-alapú fejlesztések megvalósítására, ahol a DH-LAB know-how-val és infrastruktúrával is támogatja a projekteket.
A jövőben pedig gondolni kell a múzeumi szakemberek ilyen irányú kompetenciaképzésére is. A mesterségesintelligencia-megoldások folyamatosan fejlődő rendszerek, amelyek múzeumi honosításához is naprakész szakértői tudás szükséges. Az MI által generált paradigmaváltás egyik következménye az is, hogy átlépünk az ipari forradalom következő, 5.0-s szakaszába. Amíg a 4.0-ban a robotika és az automatizáció volt a meghatározó, napjainkban újra felértékelődik az emberi szaktudás jelentősége. A gépi intelligencia egyelőre nem váltja ki az emberi intelligenciát, sőt egyre inkább szükség van a magas szintű emberi szaktudásra a fejlesztési folyamatokban és a szolgáltatásokban. Az ipar 5.0-ban a siker kulcsa a gépek és az ember hatékony együttműködése lesz, ezért a humán tőkébe való befektetés elengedhetetlen. Egyelőre a mesterséges intelligencia csak egy eszköz, hatékonysága tőlünk függ, hogy mennyire leszünk képesek használni.

Boris Eldagsen: Hamis emlékek: a villanyszerelő https://www.eldagsen.com/sony-world-photography-awards-2023/

Boris Eldagsen: Hamis emlékek: a villanyszerelő
https://www.eldagsen.com/sony-world-photography-awards-2023/

Szín szerinti szűrés a MuseuMap aggregációs portálon https://www.museumap.hu/

Szín szerinti szűrés a MuseuMap aggregációs portálon
https://www.museumap.hu/

Képernyőkép a MuseumON applikációból

Képernyőkép a MuseumON applikációból

Jegyzetek

[1]    https://hu.wikipedia.org/wiki/ChatGPT.

[2]    A fogalom John McCarthy nevéhez fűződik, aki 1956-ban a New Hampshire-i Dartmouth Egyetem konferenciáján használta először. Moshe Y. Vardi: Artificial Intelligence: Past and Future. https://cacm.acm.org/magazines/2012/1/144824-artificial-intelligence-past-and-future/fulltext.

[3]    Tim Urban: The AI Revolution: The Road to Superintelligence.

https://waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.html.

[4]    https://www.cooperhewitt.org/events/current-exhibitions/using-the-pen/.

[5]    https://www.youtube.com/watch?v=YPH4vUWcN2U&t=2s.

[6]    Caitlin Pequignot: Teaching a Titanosaur to Talk: Conversational UX Design for Field Museum. https://purplerockscissors.com/blog/teaching-a-titanosaur-to-talk.

[7]    Watson az IBM által kifejlesztett gépi intelligencia. 2011-ben egy vetélkedőben két játékost is sikerült legyőznie. Ed Burns: IBM Watson supercomputer. https://www.techtarget.com/searchenterpriseai/definition/IBM-Watson-supercomputer.

[8]    Bruno Martinez: IBM Watson changes the way of seeing art at the Pinacoteca. https://en.showmetech.com.br/ibm-watson-muda-forma-de-ver-arte-na-pinacoteca/.

[9]    https://www.si.edu/newsdesk/releases/smithsonian-launches-pilot-program-pepper-robots.

[10]  https://www.wikiart.org/.

[11]  Paintings, by motif: http://vy.nasjonalmuseet.no/?collection=painting_subject,

Paintings, by style: http://vy.nasjonalmuseet.no/?collection=painting_style,

Prints: http://vy.nasjonalmuseet.no/?collection=printmaking,

Drawings: http://vy.nasjonalmuseet.no/?collection=drawings,

Design: http://vy.nasjonalmuseet.no/?collection=design.

[12]  https://www.nasjonalmuseet.no/en/about-the-national-museum/collection-management—behind-the-scenes/digital-collection-management/project-principal-components/.

[13]  https://iconclass.org/.

[14]  Fei Lu: Operation Night Watch: How Rijksmuseum Tapped AI To Restore A Rembrandt.

https://jingculturecrypto.com/rijksmuseum-rembrandt-night-watch-ai-restoration/.

[15]  James Vincent: Getty Images is suing the creators of AI art tool Stable Diffusion for scraping its content. https://www.theverge.com/2023/1/17/23558516/ai-art-copyright-stable-diffusion-getty-images-lawsuit.

[16]  Bodnár Barna: A digitális világ mérföldköve az EU új MI-jogszabálya.

https://raketa.hu/a-digitalis-vilag-merfoldkove-az-eu-uj-mesterseges-intelligencia-torvenye.

[17]  https://www.midjourney.com/.

[18]  https://www.bluewillow.ai/.

[19]  https://leonardo.ai/.

[20]  https://diffusionart.co/.

[21]  Kevin Roose: An A.I.-Generated Picture Won an Art Prize. Artists Aren’t Happy. https://www.nytimes.com/2022/09/02/technology/ai-artificial-intelligence-artists.html.

[22]  https://www.artforum.com/news/sony-world-photography-award-winner-reveals-entry-was-ai-generated-rejects-prize-90416.

[23]  Doloresz Katanich: The world’s first AI art gallery opens in Amsterdam and has sparked controversy in the art world. https://www.euronews.com/culture/2023/03/21/the-worlds-first-ai-art-gallery-opens-in-amsterdam.

[24]  Kiss Zoltán Károly–Kiss Dóra Bernadett: A vizuális művészetek és a jog. 1. A képzőművészet szabályozása. https://mek.oszk.hu/21700/21793/21793.pdf.

[25]  Uo.

[26]  https://www.museumap.hu/.

Felhasznált irodalom

Bodnár Barna: A digitális világ mérföldköve az EU új MI-jogszabálya
https://raketa.hu/a-digitalis-vilag-merfoldkove-az-eu-uj-mesterseges-
intelligencia-torvenye

Burns, Ed: IBM Watson supercomputer

https://www.techtarget.com/searchenterpriseai/definition/IBM-Watson-supercomputer

Charr, Manuel: How Are Museums Using Chatbots?
https://www.museumnext.com/article/how-are-museums-are-using-chatbots/

  1. Karvalics László: Mesterséges intelligencia – a diskurzusok újratervezésének kora
    https://epa.oszk.hu/01900/01963/00050/pdf/EPA01963_informacios_tarsadalom_2015_4.pdf

Katanich, Doloresz: The world’s first AI art gallery opens in Amsterdam and has sparked controversy in the art world
https://www.euronews.com/culture/2023/03/21/the-worlds-first-ai-art-gallery-opens-in-amsterdam

Kiss Zoltán Károly–Kiss Dóra Bernadett: A vizuális művészetek és a jog. 1. A képzőművészet szabályozása. Médiatudományi Intézet, 2019
https://mek.oszk.hu/21700/21793/21793.pdf

Lu, Fei: Operation Night Watch: How Rijksmuseum Tapped AI To Restore A Rembrandt
https://jingculturecrypto.com/rijksmuseum-rembrandt-night-watch-ai-restoration/

Martinez, Bruno: IBM Watson changes the way of seeing art at the Pinacoteca
https://en.showmetech.com.br/ibm-watson-muda-forma-de-ver-arte-na-pinacoteca/

Pequignot, Caitlin: Teaching a Titanosaur to Talk: Conversational UX Design for Field Museum
https://purplerockscissors.com/blog/teaching-a-titanosaur-to-talk

Roose, Kevin: An A.I.-Generated Picture Won an Art Prize. Artists Aren’t Happy
https://www.nytimes.com/2022/09/02/technology/ai-artificial-intelligence-artists.html

Tyagi, Riya: The Landscape of AI & Robotic Guides in Museums & Cultural Places
https://www.aldebaran.com/en/blog/news-trends/landscape-ai-robotic-guides-museums-cultural-places

Urban, Tim: The AI Revolution: The Road to Superintelligence
https://waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.html

Vardi, Moshe Y.: Artificial Intelligence: Past and Future
https://cacm.acm.org/magazines/2012/1/144824-artificial-intelligence-past-and-future/fulltext

Varga Benedek: Mesterséges intelligencia bővíti az Orvostörténeti Múzeum lehetőségeit.
SHIFT a SOM-ban
https://magyarmuzeumok.hu/cikk/mesterseges-intelligencia-boviti-az-orvostorteneti-muzeum-lehetosegeit

Vincent, James: Getty Images is suing the creators of AI art tool Stable Diffusion for scraping its content
https://www.theverge.com/2023/1/17/23558516/ai-art-copyright-stable-diffusion-getty-images-lawsuit