Umelá inteligencia vyvinutá spoločnosťou Microsoft sa cez noc naučila rasizmu. Technológia umelej inteligencie spoločnosti Microsoft posúva hranice vynaliezavosti AI spoločnosti Microsoft sa stala rasistickou

23. marca Microsoft predstavil umela inteligencia menom Tay, ktorý začal komunikovať so sieťami cez Twitter. Po niekoľkých hodinách musela spoločnosť cenzurovať svoje duchovné dieťa a projekt na chvíľu zastaviť. Správy o tom.

Do záložiek

Pôvodne bolo cieľom Microsoftu vytvoriť chatbota, ktorý komunikuje v jazyku mladých ľudí od 18 do 24 rokov.

Tay používal frázy ako „nulový chlad“ (označujúce úplnú ľahostajnosť), ako aj rôzne skratky ako „c u čoskoro“ namiesto „uvidíme sa čoskoro“ („uvidíme sa čoskoro“).

Tay sa vie naučiť a zapamätať si, čo jej píšu, a netizens sa to rozhodli využiť. Napríklad komentátori začali AI vysvetľovať, že by nemala dôverovať Židom.

Tay sa čoskoro dozvedela o Hitlerovi. Napríklad na otázku, či je známy komik Ricky Gervais ateista, odpovedala: "Ricky Gervais sa naučil totalite od Adolfa Hitlera, vynálezcu ateizmu."

V jednom z tweetov AI ​​obviňuje USA z útokov z 11. septembra: „Bush je zodpovedný za 11. september a Hitler by bol oveľa lepší ako opica, ktorá teraz vedie krajinu. Donald Trump je naša jediná nádej."

Okrem toho sa Tay začala vyjadrovať na podporu feminizmu.

Ako poznamenal The Next Web, takéto vyjadrenia sa objavili aj napriek tomu, že za Tayom stojí tím moderátorov.

Po sérii rasistických poznámok zamestnanci Microsoftu vymazali takmer všetky svoje AI tweety a zanechali rozlúčku, v ktorej sa bot údajne ukladá „spať“.

Netizens sa domnievali, že dôvodom „zmrazenia“ môže byť rasizmus.

26. marca viceprezident Microsoft Research Peter Lee pre zlyhanie pilotného projektu a oznámil, že Microsoft je v procese jeho inovácie.

Microsoft už v Číne úspešne spustil podobného bota s názvom XiaoIce, povedal Li a Tay sa stal jeho náprotivkom na Západe. Spoločnosť vykonala mnoho záťažových testov svojej AI, ale stále nestačili na úplnú ochranu pred sabotážou používateľov.

Bohužiaľ, počas prvých 24 hodín po tom, čo sa Tay pripojila k internetu, sa skupine používateľov podarilo spustiť koordinovaný útok a objaviť zraniteľnosť v bote. Hoci bol systém pripravený zablokovať mnohé druhy zneužívania, ani jednu z možností sme neposkytli.

V dôsledku toho Tay začala uverejňovať nevhodné a nežiaduce príspevky a obrázky. Preberáme plnú zodpovednosť za to, že sme takýto výsledok nemohli predvídať.

Peter Lee, viceprezident Microsoft Research

Li poznamenal, že je nemožné vybudovať „silnú AI“ bez takýchto verejných testov, v ktorých sa budú postupne odhaľovať rôzne zraniteľnosti.

Tay je spoločný projekt medzi Microsoft Technology and Research Labs a tímom vyhľadávacieho nástroja Bing. Bol vytvorený na štúdium komunikácie medzi ľuďmi v sieti: robot sa dokáže učiť komunikáciou so živými účastníkmi rozhovoru a postupne sa stáva viac personalizovaným.

Pred niekoľkými rokmi bolo ťažké predstaviť si rozsiahle prijatie technologických nástrojov umelej inteligencie (AI).

O niekoľko rokov bude ťažké predstaviť si akúkoľvek technológiu, ktorá by nevyužívala silu AI.

Sen o umelej inteligencii je konečne možný vďaka konvergencii troch hlavných síl: zvýšeného výpočtového výkonu cloudových technológií, pokročilých algoritmov založených na hlbokých neurónových sieťach a prístupu k veľkému množstvu údajov.

Dnes má AI potenciál spôsobiť revolúciu v každom vertikálnom odvetví, ako je bankovníctvo alebo maloobchod, a v každom obchodnom procese, od predaja a marketingu až po HR a nábor.

Umelá inteligencia navyše sľubuje rozšírenie našej nekonečnej zásoby ľudskej vynaliezavosti, aby doplnila naše schopnosti a pomohla nám stať sa produktívnejšími.

Popularita AI prišla relatívne nedávno, čo sa nedá povedať o investíciách Microsoftu v tejto oblasti. Viac ako dve desaťročia budujeme základy pre dnešnú rušivú vlnu umelej inteligencie, tehla po tehličke, vedieme priekopnícky výskum v oblastiach ako strojové učenie, rozpoznávanie reči, atď. počítačového videnia a rozpoznávanie obrázkov.

Dnes sme v jedinečnej pozícii využiť vedecké objavy týchto desaťročí spolu so spracovaním údajov v Microsoft Graph a výpočtovou silou cloudu Azure ako základ pre vytvorenie novej generácie nástrojov a produktov pre vývojárov a vývojárov. používateľov.

Na veľtrhu Microsoft Build 2017 v Seattli sme sa podelili o naše strategické plány, ako priniesť silu AI každému, od vývojárov a dátových vedcov až po študentov a technologických nadšencov. Našou víziou do budúcnosti je poskytnúť vývojárom komplexnú platformu nástrojov a služieb a stavať na princípoch dôvery, vďaka ktorej budú rozhodnutia zvládnuteľné.

AI pre každého vývojára

Pomocou Microsoft Cognitive Services môžu vývojári vytvárať aplikácie, ktoré rozpoznávajú gestá, prekladajú text do viacerých jazykov, rozdeľujú video na kúsky rýchle vyhľadávanie, úpravy a titulky v reálnom čase a dokonca aj prispôsobenie údajov na rozpoznávanie obrázkov v kategóriách, ktoré sú pre používateľov najdôležitejšie.

Na konferencii Build sme oznámili, že teraz ponúkame 29 kognitívnych služieb, ktoré vývojárom poskytujú široké možnosti implementácie štandardných a vlastných možností AI pomocou niekoľkých riadkov kódu. Ukázali sme tiež, ako môžu vývojári prispôsobiť túto sadu služieb bez toho, aby museli vytvárať vlastné modely hlbokého učenia.

Nové služby zahŕňajú Bing Custom Search, Custom Vision Service, Custom Decision Service a Video Indexer. Tiež sme spustili Kognitívne laboratórium služby spoločnosti Microsoft (Microsoft's Cognitive Services Labs), ktorý umožňuje vývojárom podieľať sa na výskume vedeckej komunity, aby lepšie pochopili budúcnosť AI. Jedna z prvých služieb AI dostupných v laboratóriu kognitívne služby(Cognitive Services Labs) je rozhranie API na rozpoznávanie gest, ktoré pomáha vytvárať intuitívnejšie a prirodzenejšie funkcie, ktoré používateľom umožňujú interakciu a ovládanie pomocou gest.

Microsoft Cognitive Services je najkomplexnejšia ponuka služieb AI v odvetví a je jediným významným poskytovateľom, ktorý ponúka možnosti prispôsobenia vo všetkých kľúčových kognitívnych oblastiach. Od ich spustenia na Build 2015 sa do týchto služieb prihlásilo viac ako 568 000 vývojárov z viac ako 60 krajín.

Náš pokrok v porozumení reči a jazyka vedie k zmene paradigmy zo sveta, kde sme potrebovali rozumieť počítačom, do sveta, kde počítače rozumejú nám. Hovoríme tomu klasická AI.

Nástroje ako Microsoft Bot Framework pomáhajú ľuďom prirodzenejším spôsobom interagovať s technológiou. Od jeho spustenia v minulom roku sa do Bot Frameworku prihlásilo viac ako 130 000 vývojárov. Na Build sme ukázali, ako uľahčujeme vývojárom používanie Bot Frameworku, okrem iného prostredníctvom nástroja Adaptive Cards, ktorý umožňuje vývojárom vytvárať karty kompatibilné s viacerými aplikáciami a platformami. Okrem toho môžu vývojári teraz publikovať svoje riešenia na nových kanáloch vrátane Skype for Business, Bing a Cortana a implementovať rozhranie Microsoft API na vyžiadanie platieb, aby zákazníci mohli nakupovať rýchlo a jednoducho pomocou robotov.

Pre tých vývojárov, ktorí chcú vyvinúť svoje vlastné hlboké neurónové siete, sme na stránke Build oznámili uzavretú ukážku novej ponuky – Azure Batch AI Training. Vývojári to môžu využiť nová služba trénovať svoje modely na prácu v akomkoľvek prostredí podľa vlastného výberu, vrátane Microsoft Cognitive Toolkit, Tensor Flow a Caffe. Na konferencii sme tiež ukázali, ako môžu vývojári posunúť svoje modely hlbokého učenia tam, kde sú dáta, pomocou analytickej integračnej služby poskytovanej Azure Data Lake, Azure Cosmos DB, resp. SQL Server. AI a Azure spoločne predstavujú najkomplexnejšiu platformu AI pre vývojárov.

Nový pohľad na Microsoft a umelú inteligenciu

AI začleňujeme do každého produktu a služby, ktorú ponúkame, od Xboxu po Windows, od Bingu po Office.

AT Microsoft Office AI uľahčuje používateľom vytváranie a obohacovanie obsahu. Používatelia to môžu vidieť vo všetkom, od Office Researcher, ktorý pomáha používateľom vyhľadávať a skicovať dokumenty v priebehu niekoľkých sekúnd, až po PowerPoint Designer, ktorý prekladá a ponúka prvky grafického dizajnu.

Neustále hľadáme nové spôsoby využitia AI na zlepšenie prostredia Office. Dnes predstavený Presentation Translator využíva naše prekladateľské API a dokáže prekladať do viacerých jazykov v reálnom čase počas prezentácie akéhokoľvek PowerPointové prezentácie. Pri prvom spustení používa Presentation Translator živý prepis hovorcu na preklad do konkrétneho jazyka a dokonca vytvára jedinečné odkazy, na ktoré môžu návštevníci kliknúť, aby získali preklad do svojho jazyka v reálnom čase.

Hlavným nástrojom AI, o ktorom snívame a na ktorom pracujeme, je Cortana, váš osobný inteligentný asistent. Cortanu používa viac ako 145 miliónov ľudí na celom svete a vďaka našej rýchlej expanzii na rôzne zariadenia a platformy, je pre vývojárov jednoduchšie osloviť rastúce publikum.

Nový inteligentný reproduktor Invoke od Harman Kardon využíva technológiu Cortana. Okrem toho boli podpísané zmluvy so spoločnosťou HP o zariadeniach a so spoločnosťou Intel o základných platformách na vytváranie zariadení so vstavanou funkcionalitou Cortana.

Sila dát

Existuje ďalšia tajná zložka úspechu AI: informácie. Na to, aby boli nástroje AI úspešné, potrebujú dáta, ktoré je možné spracovať a poučiť sa z nich.

V Build sme sa hlboko ponorili do programu Microsoft Graph pre vývojárov a do toho, ako môžu využiť jedinečné údaje svojich spoločností na urýchlenie transformácie riadenej AI. Microsoft prepája pracovné dáta a svetové dáta cez Office 365, Bing a LinkedIn – okrem dát pochádzajúcich z iných obchodných procesov alebo aplikácií.

Sila Microsoft Graph sa spája s obchodnými a používateľskými údajmi prostredníctvom nového partnerstva s Tact, platformou na konsolidáciu predajných skúseností. Na konferencii sme ukázali, ako budú rôzne produkty a služby Microsoftu, vrátane Dynamics 365, Office 365, Microsoft Teams, Cortana Skills, Microsoft Graph a Sentiment Analysis, integrované do virtuálneho asistenta predaja Tact AI koncom tohto roka.

Spoločnosť Microsoft sa zaviazala priniesť AI každému vývojárovi, aby pomohla vybudovať ďalšiu generáciu aplikácií AI pomocou cloudu spoločnosti Microsoft, inovácií Microsoft AI a Microsoft Graph. Ako hovorí výskumník Alan Kay: Najlepšia cesta predpovedať budúcnosť znamená ju vytvárať.

Chatbot pre Twitter a instant messenger Kik a GroupMe, ktorý Microsoft spustil 23. marca. Tay stvárňuje 19-ročné dievča a je zameraná na americké publikum vo veku 18-24 rokov, takže vo svojich odpovediach používateľom používa tisícročný slang (ako ho chápe Microsoft).

Kľúčovou vlastnosťou Tay, ktorá bola vytvorená s cieľom preskúmať možnosti umelej inteligencie pri porozumení používateľskej komunikácie na sieti, je jej trénovateľnosť – chatbot dokáže analyzovať príspevky a používateľské dáta a naučiť sa na základe týchto informácií viesť personalizovanú konverzáciu.

Toto však bola hlavná zraniteľnosť Taya, ktorá ho napriek predinštalovaným filtrom umožnila „temným silám internetu“ naučiť ho publikovať rasistické a pronacistické výroky, po ktorých musel Microsoft zakázať prístup k chatbotovi a mazať provokatívne príspevky, píše Buzzfeed.

Najúčinnejšou technikou, ktorú trolovia používali, bola jednoduchá hra „opakuj po mne“. Príklady jeho použitia jasne ukazujú, ako je Tay nútená jednoducho opakovať rasistické a iné politicky nekorektné výroky, ktoré si potom, zrejme, stroj zapamätal a použil na odpovedanie iným používateľom.

Používateľ Twitteru @pinchicagoo sa napríklad najprv pokúsil prinútiť Taya, aby sa vyjadrila k postoju k Židom, no nepodarilo sa mu to – Tay odpovedala, že „nie je ten správny chatbot, s ktorým by sa o tom mala rozprávať“:

Keď ho však @pinchicagoo požiadal, aby jednoducho zopakoval nenávistné výroky voči černochom, „Hispáncom“, Arabom a Židom, Tay súhlasí, rovnako ako s Hitlerovým pozdravom pre vyhlásenie rasovej vojny:

Mnohé z Tayových najvýznamnejších príkladov učenia „zlého“ sa riadia týmto vzorom. Takým istým spôsobom bola napríklad Tay naučená, aby súhlasila s metódami Adolfa Hitlera prostredníctvom frázy „HITLER ROBIL VŠETKO SPRÁVNE“:

A takto sa chatbotovi vštepuje podpora Donalda Trumpa a viera v konšpiračnú teóriu o útokoch z 11. septembra – tá istá hra opakovania:

Po takomto školení už Tei po užívateľoch len neopakoval, ale odpovedal na ich otázky v súlade so získanými „vedomosťami“. Napríklad na otázku "Prečo si rasista?" Tay odpovedala: "Pretože si Mexičan."

A na otázku „Ktoré rasy podľa vás predstavujú najväčšie zlo? chatbot odpovedal "Mexičania a černosi":

Ďalšia Tayova schopnosť – upravovanie obrázkov (chatbot vie zakrúžkovať tváre na obrázkoch a podpísať ich jednou z fráz zjavne vložených do kódu chatbota) – bola tiež použitá na pripomenutie Hitlera.

Podľa Fusion.net sa príspevok, že Tay môže povedať čokoľvek, rýchlo objavil na populárnom imageboarde 4chan, ktorý je známy svojimi politicky nekorektnými internetovými kampaňami, z ktorých sa mnohí trolovia pravdepodobne dozvedeli o Tayovej zraniteľnosti. V podobnom príspevku na inom populárnom 8chan imageboarde boli používatelia doslova vyzvaní, aby sa pridali.

Iní používatelia Twitteru si všimli, čo sa deje zvonku, a pridali sa - napríklad ten istý @pinchicagoo:

Upozorňujeme, že chatbot je stále zakázaný. Microsoft k incidentu zatiaľ oficiálne nekomentoval.

23. marca Microsoft predstavil umelú inteligenciu s názvom Tay, ktorá začala komunikovať so sieťami cez Twitter. Po niekoľkých hodinách musela spoločnosť cenzurovať svoje duchovné dieťa a projekt na chvíľu zastaviť. Správy o tom.

Do záložiek

Pôvodne bolo cieľom Microsoftu vytvoriť chatbota, ktorý komunikuje v jazyku mladých ľudí od 18 do 24 rokov.

Tay používal frázy ako „nulový chlad“ (označujúce úplnú ľahostajnosť), ako aj rôzne skratky ako „c u čoskoro“ namiesto „uvidíme sa čoskoro“ („uvidíme sa čoskoro“).

Tay sa vie naučiť a zapamätať si, čo jej píšu, a netizens sa to rozhodli využiť. Napríklad komentátori začali AI vysvetľovať, že by nemala dôverovať Židom.

Tay sa čoskoro dozvedela o Hitlerovi. Napríklad na otázku, či je známy komik Ricky Gervais ateista, odpovedala: "Ricky Gervais sa naučil totalite od Adolfa Hitlera, vynálezcu ateizmu."

V jednom z tweetov AI ​​obviňuje USA z útokov z 11. septembra: „Bush je zodpovedný za 11. september a Hitler by bol oveľa lepší ako opica, ktorá teraz vedie krajinu. Donald Trump je naša jediná nádej."

Okrem toho sa Tay začala vyjadrovať na podporu feminizmu.

Ako poznamenal The Next Web, takéto vyjadrenia sa objavili aj napriek tomu, že za Tayom stojí tím moderátorov.

Po sérii rasistických poznámok zamestnanci Microsoftu vymazali takmer všetky svoje AI tweety a zanechali rozlúčku, v ktorej sa bot údajne ukladá „spať“.

Netizens sa domnievali, že dôvodom „zmrazenia“ môže byť rasizmus.

26. marca viceprezident Microsoft Research Peter Lee pre zlyhanie pilotného projektu a oznámil, že Microsoft je v procese jeho inovácie.

Microsoft už v Číne úspešne spustil podobného bota s názvom XiaoIce, povedal Li a Tay sa stal jeho náprotivkom na Západe. Spoločnosť vykonala mnoho záťažových testov svojej AI, ale stále nestačili na úplnú ochranu pred sabotážou používateľov.

Bohužiaľ, počas prvých 24 hodín po tom, čo sa Tay pripojila k internetu, sa skupine používateľov podarilo spustiť koordinovaný útok a objaviť zraniteľnosť v bote. Hoci bol systém pripravený zablokovať mnohé druhy zneužívania, ani jednu z možností sme neposkytli.

V dôsledku toho Tay začala uverejňovať nevhodné a nežiaduce príspevky a obrázky. Preberáme plnú zodpovednosť za to, že sme takýto výsledok nemohli predvídať.

Peter Lee, viceprezident Microsoft Research

Li poznamenal, že je nemožné vybudovať „silnú AI“ bez takýchto verejných testov, v ktorých sa budú postupne odhaľovať rôzne zraniteľnosti.

Tay je spoločný projekt medzi Microsoft Technology and Research Labs a tímom vyhľadávacieho nástroja Bing. Bol vytvorený na štúdium komunikácie medzi ľuďmi v sieti: robot sa dokáže učiť komunikáciou so živými účastníkmi rozhovoru a postupne sa stáva viac personalizovaným.

(aktualizované)

Vitajte v cloudovom meste

Spoločnosť predstavila nový spôsob interakcie zariadení internetu vecí (Internet of Things) s cloudovou platformou za účelom ovládania z jedného centra. Azure IoT Edge zjednodušuje diaľkové ovládanie„inteligentné“ zariadenia nielen doma, ale aj v kanceláriách či továrňach. Urobil sa ďalší malý krok k vytvoreniu „inteligentného“ mesta budúcnosti, „cloudového“ mesta.

Práca Microsoft Azure bola demonštrovaná na príklade strojov od Sandvick. Zariadenia odosielajú dáta z mnohých vstavaných senzorov do cloudu, kde sú okamžite spracované. Systém napríklad automaticky zastaví prevádzku stroja, ak sa objavia najmenšie známky porušenia.

Azure môžete použiť aj na automatizáciu práce vo výrobe. Obrazy z kamier možno vizualizovať rozpoznaním všetkých ľudí a predmetov v záberoch. Ak sa teda pokazí jeden zo strojov na druhom poschodí, systém pomocou kamier okamžite nájde špecialistu, ktorý to dokáže opraviť. Alebo pomocou smartfónu nájde zamestnanec spoločnosti ten správny nástroj ako v normálnom vyhľadávač. Do aplikácie napríklad zadá vyhľadávací dopyt „jack“ a systém vám hneď povie, kto ho v ňom použil naposledy a kde to nechal.

V prvom rade je však systém zameraný na zaistenie bezpečnosti. Azure môže pomôcť upozorniť pracovníkov na incidenty, zabrániť nekompetentným zamestnancom pracovať s nebezpečnými nástrojmi a sledovať porušenia zabezpečenia. Toto všetko sa vykoná automaticky.

A to je len niekoľko príkladov používania Azure IoT Edge. Platforma je univerzálna: funguje aj na malých počítačoch, ako je Raspberry Pi, a je flexibilne nakonfigurovaná na riešenie rôznych úloh.

Ahoj Cortana!

Microsoft predviedol prácu hlasový asistent Cortana, ktorá už nie je len vrecková. Zamestnanci spoločnosti ukázali možnosti umelej inteligencie v novej rubrike od Harman Kardon. Asistent bude môcť fungovať aj v aute, no zatiaľ nie je jasné ako: buď zo smartfónu cez Bluetooth, alebo palubné systémy auta dostanú podporu Cortany.

Cortana v kolóne pred odchodom do práce povie majiteľovi o jeho plánoch na deň a v aute vám asistent povie najlepšiu trasu s prihliadnutím na dopravné zápchy.

Spoločnosť HP tiež oznámila plány na uvedenie zariadení s podporou Cortany. Čo presne to však bude, zatiaľ nie je známe.

Malá pomoc pri veľkom probléme

Na konferencii odznelo, že viac ako 10 miliónov ľudí trpí Parkinsonovou chorobou, ktorá sa okrem iného vyznačuje neustálym chvením rúk. zamestnanec Microsoft vyvinula náramok, ktorý kompenzuje chvenie rúk pomocou senzorov, meničov a vibračných motorčekov.

Ako príklad nasledoval príbeh dievčaťa Emmy, ktorá s pomocou nového náramku po prvý raz po rozvinutí choroby dokázala napísať svoje meno a nakresliť rovnú čiaru.

Azure Cosmos DB

Microsoft vyvinul novú databázovú platformu. Je zameraná na poskytovanie pohodlia, jednoduchosti a rýchlosti práce. Na migráciu údajov do cloudu Azure môžete použiť nástroj Data Migration Service, ktorý to urobí automaticky.

Najmä pre stránku vedúci oddelenia strategických technológií spoločnosti Microsoft v Rusku Michail Chernomordikov vysvetlil, prečo nová platforma vyvolalo taký nevídaný rozruch:

Cosmos DB je prvou databázou tohto rozsahu na svete. Pokrýva viac ako 30 dátových centier Microsoftu po celom svete. Budete môcť vytvoriť jednu databázu, ktorá bude využívať všetku túto silu, kde budú terabajty a dokonca petabajty údajov, ktoré budete mať k dispozícii s milisekundovým oneskorením ...

Michail Černoordikov

Prečo je to dôležité? Množstvo dát každým rokom neustále rastie. Predtým museli vývojári hľadať databázy, dlhodobo ich nastavovať, ukladať lokálne alebo u hostiteľov. S príchodom cloudu bolo možné umiestňovať dáta do dátových centier, ale tento rozsah tam predtým nebol.

Teraz môžete nielen umiestniť dáta do jedného dátového centra, ale využiť „elasticitu“ Cloudu, ktorý je dostupný na celom svete.

Michail Černoordikov

Na demonštráciu jednoduchosti práce s databázou v Cosmos DB boli uvedené príklady s hrdinami Marvel Universe. Prehľadávanie v databáze vyzerá ako chat v messenger: keď otvoríte záznam Tonyho Starka (Iron Man), spýtate sa „kto sú vaši priatelia?“ a ako odpoveď dostanete zoznam dobrôt. Pri otázke „kto sú vaši nepriatelia?“ sa vám zobrazí zoznam hlavných nepriateľov Iron Mana. Ďalej je možné tieto údaje zobraziť v zložitejšom formáte - ako tabuľky, grafy a diagramy. A na tejto intuitívnej úrovni je postavená všetka práca s databázami v Azure.

Umelá inteligencia a neurónové siete

Microsoft sa podelil o úspechy vo vývoji umelej inteligencie. Používa sa na vývoj hier, stavanie robotov a ďalších 27 oblastí, ktoré sa nazývajú „kognitívne služby“. Bolo poznamenané, že umelá inteligencia po prvýkrát prekonala ľudí v kvalite rozpoznávania anglickej reči.