Korporācija Microsoft un .NET Foundation ir izlaidusi .NET 1.0 versiju Apache Spark, atvērtā koda pakotnei, kas nodrošina .NET izstrādi Spark analītiskajā dzinējā liela mēroga datu apstrādei.
Paziņots par 27. oktobri. Apache Spark 1.0 .NET nodrošina atbalstu .NET lietojumprogrammām, kuru mērķauditorija tiek atlasīta .NET Standard 2.0 vai jaunākā versijā. Lietotāji var piekļūt Spark DataFrame API, rakstīt Spark SQL un izveidot lietotāja definētas funkcijas UDF).
.NET for Apache Spark ietvars ir pieejams .NET Foundation lapā GitHub vai vietnē NuGet. Citas .NET iespējas Apache Spark 1.0 ietver:
- API paplašināšanas ietvars, lai pievienotu atbalstu citām Spark bibliotēkām, tostarp Linux Foundation Delta Lake, Microsoft OSS Hyperspace, ML.NET un Apache Spark MLlib funkcionalitātei.
- .NET Apache Spark programmām, kas nav UDF, parāda tādu pašu ātrumu kā Scala un PySpark bāzes programmas, kas nav UDF. Ja lietojumprogrammās ir iekļauti UDF faili, .NET Apache Spark programmām ir vismaz tikpat ātras kā PySpark programmas vai arī tās var būt ātrākas.
- .NET Apache Spark ir iebūvēts Azure Synapse un Azure HDInsight. To var izmantot arī citos Apache Spark mākoņu piedāvājumos, tostarp Azure Databricks.
Pirmā publiskā projekta versija tika paziņota 2019. gada aprīlī. ApNET Spark .NET izstrādes virzība bija palielināta prasība pēc vienkāršāka lielo datu lietojumprogrammu veidošanas, nevis Scala vai Python apgūšanas. Projekts darbojas .NET Foundation ietvaros un ir iesniegts kā Spark projekta uzlabošanas priekšlikums, kas jāapsver iekļaušanai Apache Spark projektā tieši.
Nākotnē Microsoft risina šķēršļus, tostarp nosaka priekšnoteikumus un atkarības un atrod kvalitatīvu dokumentāciju, izmantojot tādus piemērus kā kopienas atbalstītie “gatavi darbam” Docker attēli un .NET Apache Spark dokumentācijas atjauninājumi. Vēl viena prioritāte ir atbalstīt izvietošanas iespējas, tostarp integrāciju ar CI / CD izvadīšanas cauruļvadiem un darbu publicēšanu tieši no Visual Studio.
