Espresso AI představilo real-time správu konfigurací pro Databricks Spark joby. Systém sleduje běhy v Databricks system tables, čte stopy CPU, paměti a I/O waitu a pomocí ML odhaduje cenu i čas kandidátních konfigurací. Cílem je vybrat typ instance a počet workerů tak, aby job splnil SLA s rezervou a současně se posunul blíž k Pareto frontě cena proti runtime. Firma tvrdí, že zákazníci vidí snížení nákladů na joby o 35 až 85 procent; optimalizace prý míří primárně na cenu, ale někdy vedla i ke zkrácení runtime až o 60 procent. Praktický dopad je hlavně v tom, že konfigurace Spark jobů se nemá měnit jen ručně při selhání nebo překročení SLA.
Espresso AI ukazuje ML správu konfigurací pro Databricks Spark