Pe 29 iunie, Inflection AI din Palo Alto Anunțat finalizarea unei strângeri de 1,3 miliarde de dolari condusă de Microsoft, Reid Hoffman, Bill Gates, Eric Schmidt și Nvidia. Noul capital va fi alocat parțial pentru construirea unui cluster de GPU Nvidia H100 Tensor de 22.000 de unități, despre care compania spune că este cel mai mare din lume. GPU-urile vor fi folosite pentru a dezvolta modele de inteligență artificială la scară largă. Dezvoltatorii au scris:

„Estimăm că dacă vom intra în grupul nostru în ultimele câteva TOP500 lista de supercomputere, ar fi pe locul al doilea și aproape de prima intrare, în ciuda faptului că ar fi optimizat pentru aplicații AI, mai degrabă decât științifice.”

Inflection AI își dezvoltă, de asemenea, propriul sistem de inteligență artificială de asistent personal, numit „Pi”. Firma a explicat că Pi este „un profesor, antrenor, confident, partener creativ și cameră de sunet”, care poate fi accesat direct prin intermediul rețelelor sociale sau WhatsApp. Suma totală a finanțării a ajuns la 1,525 miliarde de dolari de la începutul anului 2022.

În ciuda investițiilor în creștere în modele mari de inteligență artificială, experții au avertizat că eficiența lor reală de antrenament poate fi sever restricționată de limitările tehnologice actuale. într-un exemplu crește de către fondul de risc din Singapore Foresight, au scris cercetătorii, citând exemplul unui model AI mare de 175 de miliarde de parametri care stochează 700 GB de date:

„Presupunând că avem 100 de noduri de calcul și fiecare nod trebuie să actualizeze toți parametrii la fiecare pas, fiecare pas ar necesita transmiterea a aproximativ 70TB de date (700GB*100). Dacă presupunem cu optimism că fiecare pas durează 1 secundă, atunci ar trebui transmise 70 TB de date pe secundă. Această cerere de lățime de bandă depășește cu mult capacitatea majorității rețelelor.”

Continuând exemplul de mai sus, Foresight a avertizat, de asemenea, că „din cauza latenței de comunicare și a congestionării rețelei, timpul de transmisie a datelor ar putea depăși cu mult 1 secundă”, ceea ce înseamnă că nodurile de calcul ar putea petrece cea mai mare parte a timpului așteptând transmiterea datelor în loc să facă efectiv calcul. a concluzionat, având în vedere restricțiile actuale, că soluția constă în modele mici AI, care sunt „mai ușor de implementat și gestionat”.

„În multe scenarii de aplicații, utilizatorii sau companiile nu au nevoie de puterea de raționament mai universală a modelelor de limbaj mari, ci doar se concentrează pe un obiectiv de predicție extrem de rafinat.”

Magazine: AI Eye: AI Travel Booking este hilar de proastă, 3 utilizări ciudate pentru ChatGPT, pluginuri criptografice