In reactie op berichten die aangeven dat MyCity mogelijk verkeerde, onjuiste en misleidende informatie verstrekt, is burgemeester Eric Adams van New York naar buiten gekomen om dit te verdedigen. Voor degenen die het niet weten: de regering van New York heeft onlangs de MyCity AI-chatbot geïntroduceerd om bedrijfseigenaren te helpen met hun vragen.
Burgemeester van NYC verdedigt controversiële AI-chatbot te midden van beschuldigingen van misleidende begeleiding
Het doel is om bedrijfseigenaren te helpen die non-stop toegang tot informatie en begeleiding nodig hebben. Niettemin heeft een onderzoek van The Markup, met steun van Documented en de lokale redacties van The City, verschillende gevallen aan het licht gebracht waarin onjuist juridisch advies werd gegeven.
De bot beweerde bijvoorbeeld ten onrechte dat verhuurders huurders zouden kunnen discrimineren op grond van inkomen en dat werkgevers een deel van de fooien van hun dienstverlener in hun zak kunnen steken; beide praktijken zijn illegaal in New York City.
Net als andere AI-modellen die worden aangestuurd door de grote taalmodellen van Azure AI van Microsoft, is MyCity gevoelig voor het geven van onnauwkeurige of misleidende stukjes informatie. Dienovereenkomstig gaf burgemeester Adams fouten over dit instrument toe door te zeggen: “Het werkt niet in bepaalde gebieden”, maar hij verdedigde het algemene doel ervan.
Hij zei dat dit soort technologie zichzelf van nature in de praktijk moet bewijzen om problemen en oplossingen daarvoor onder de aandacht te brengen. Uit later onderzoek bleek echter dat de pogingen mislukten omdat er nog steeds valse claims werden ingediend, zoals 'bedrijven die niet langer contante betalingen accepteren', wat in strijd is met de wet van New York.
MyCity AI zou inefficiënt kunnen blijken en meer dialogen met advocaten vereisen
Andrew Rigie, directeur van de NYC Hospitality Alliance, prees de poging van de stad om door AI aangedreven technologie te gebruiken en daarbij de nadruk te leggen op nauwkeurigheid. Rigie beweerde dat het volgen van foutieve suggesties van bots als deze zijn doel zou kunnen ruïneren en meer dialogen met advocaten zou vereisen.
Vanwege deze controverse bevat de MyCity-chatbot nu een disclaimer die gebruikers waarschuwt dat antwoorden onbetrouwbaar of onvolledig kunnen zijn; daarom mogen zij er niet op vertrouwen voor juridische of professionele doeleinden.
Dit incident illustreert hoe moeilijk het is om kunstmatige intelligentie in de publieke dienstverlening te brengen en benadrukt tegelijkertijd de noodzaak van nauwkeurigheid en betrouwbaarheid bij het begeleiden op een wettelijke basis. Terwijl de inspanningen om de MyCity-chatbot te verbeteren voortgaan, zijn verschillende belanghebbenden nog steeds op zoek naar eventuele uitdagingen die mogelijk moeten worden aangepakt.
