Computer vision ve službách SmartCity aneb Čučfáro pro Brno

Brněnský hackathon #hackujbrno očima vítězů – týmu DataSentics – s projektem Čučfáro pro Brno.

9. dubna 2022 se tým nadšenců ze společnosti DataSentics posílený o Jána Švehlu zúčastnili hackathonu #hackujbrno organizovaným městem Brnem, CzechitasBrno.AI. Jak už název hackathonu napovídá, cílem bylo přijít s nápadem, jak zlepšit občanům Brna život. K tomuto účelu mohly týmy využít čerstvě zveřejněná otevřená data, které zpracovává a zpřístupňuje datově analytický team města Brna. K dispozici byl také mentoring od expertů na urbanistické, IT a business problémy. Mezi kritérii nebyla ani tak technická zručnost soutěžících, jako spíš proveditelnost, inovativnost a přínos pro město a jeho obyvatele.

Náš tým nezaváhal ani při první výzvě, před kterou nás hackathon postavil. Přišli jsme s mnoha nápady, jak by se naše město dalo vylepšit. Od sledování vytíženosti MHD, přes detekci černých pasažérů až po optimalizaci semaforů. Nakonec jsme se však rozhodli vsadit na naši AI expertízu získanou ve společnosti DataSentics. Konkrétně jsme si dali cíl zužitkovat záznamy z automobilů kontrolujících parkování. Využití Machine Learningu a Computer Vision pro vyčítání SPZ je poměrně běžné, tak proč to neposunout na další úroveň a podobný přístup nepoužít k řešení dalších výzev, jako například detekování výtluků, poškozeného dopravního značení, průjezdné šířky ulice (např. pro účely hasičů), nebo přeplněnosti odpadních košů?

Za 24 hodin se nedají vyřešit všechny problémy města, a tak jsme se rozhodli zaměřit naši pozornost na detekci přeplněnosti kontejnerů na tříděný odpad. Tato znalost současného stavu by mohla v budoucnu pomoci nejen třídícím svozovým jednotkám SAKO, ale také občanům, kteří by zbytečně nemarnili svůj drahocenný čas hledáním volných kontejnerů. Aktuální situaci by mohli zjistit například pomocí rozšíření stávající aplikace Brňáci pro Brno.

Bohužel původní název projektu „Utilizace vozů kontrolujících oprávnění k parkování“ měl malou šanci dostat naši myšlenku do povědomí účastníků a poroty hackathonu. Proto jsme se přiklonili k názvu, který jsme považovali za trefný výstižný, a hlavně vhodný pro občany Brna. „Čučfáro

Každý problém strojového učení má tři základní ingredience: dobře definovaný úkol, data a model. Jako první ingredienci (dobře definovaný úkol) pro naše řešení jsme zvolili rozhodnutí o tom, zda je na fotce plný, nebo prázdný kontejner na sběrný odpad, tedy binární klasifikaci snímků. Získat druhou ingredienci (data) bylo o něco pracnější, jelikož se nám během hackathonu nepodařilo získat záznamy přímo z monitorovacího vozidla. Data jsme získali přímo v terénu. Abychom simulovali ty reálné z videozáznamu, snažili jsme se dodržet stejnou výšku vzdálenost a úhel jako má monitorovací vůz. Výsledkem bylo cca 200 snímků různých kontejnerů, po vyřazení těch nevhodných nám zbylo 132 snímků prázdných a 24 snímků přeplněných kontejnerů. Dataset přeplněných jsme doplnili o 50 snímků získaných z internetu. Pro získání třetí ingredience (modelu) jsme využili Azure Computer Vision a mentoring Štěpána Bechovského, experta na Microsoft technologie. Vzhledem k množství trénovacích dat jsme obdrželi skvělé výsledky s přesností 81 %. To znamená čtyři z pěti zpracovaných snímků by byly určeny správně. Tento výsledek je jednoduché zlepšit pokud by bylo k dispozici dostatečné množství dat.

Abychom účastníkům přiblížili naši vizi, tedy jak tuto real-time informaci využít, vytvořili jsme v rámci hackathonu prototyp webové aplikace zobrazující pozici kontejnerů na separovaný odpad včetně jejich aktuálního stavu (ok/přeplněný). K tomuto účelu se dala použít právě otevřená data Brna, konkrétně dataset kontejnerů na separovaný odpad,  zde jsme ocenili pomoc s výběrem vhodné technologie pro zobrazení geodat od dalšího mentora Michala Meda.

Na hackathonu jsme ukázali, že data z “Čučfára” mohou pomoci s řešením přeplněnosti kontejnerů na separovaný odpad. Naše vize tímto nekončí. Stejné snímky je možné použít například na detekci vadného stavu vozovky nebo dopravního značení. Brno by se tak mohlo přiblížit k městům globální špičky v řešení Smart City, jako například Amsterdam nebo Las Vegas, kde podobným způsobem využívají snímky dobrovolníků nebo zásobování. Vzhledem ke skvělým výsledkům z hackathonu tedy jak celkové první místo, tak speciální ohodnocení v kategorii AI jsme kontaktovali Brněnské Komunikace, zdali by měly zájem posunout město Brno do budoucnosti.

Všem organizátorům a mentorům děkujeme a těšíme se na další ročník #hackujbrno.