Fireworks.ai, ein Start-up-Unternehmen, das sich auf generative KI spezialisiert hat, hat die bisher schnellste und effizienteste Inferenz-Engine auf den Markt gebracht. Das Unternehmen setzt auf zusammengesetzte KI-Systeme, die herkömmliche KI-Modelle durch mehrere interagierende Modelle ersetzen. Fireworks.ai arbeitet mit Google Cloud und anderen Partnern wie NVIDIA zusammen, um kosteneffiziente und skalierbare Lösungen anzubieten. Google Cloud unterstützt Fireworks.ai bei der Verarbeitung von über 140 Milliarden Token pro Tag mit einer API-Verfügbarkeit von 99,99 %. Fireworks.ai nutzt außerdem Google Cloud-Dienste wie Cloud Pub/Sub, Cloud Functions, Cloud Monitoring und BigQuery, um die Leistung zu optimieren und die Kosten zu senken. Dank dieser Partnerschaft konnte Fireworks.ai eine 4-mal geringere Latenz und einen 4-mal höheren Durchsatz im Vergleich zu konkurrierenden gehosteten Diensten erzielen. Fireworks.ai betont die Bedeutung des Open-Source-Zugangs zu KI und arbeitet mit Google Cloud zusammen, um mehr Unternehmen in die Lage zu versetzen, vom innovativen Einsatz generativer KI zu profitieren.