Lehetséges sikeres Big Data építész, ha nem ismeri az adattudományt? Mi a különbség a Big Data építész és az adattudós között?


Válasz 1:

Köszönjük a több A2A-t! :)

Ez a kezem a személyes tapasztalatomról ebben a kérdésben.

A Miniclipnél adattudományi és adatmérnöki csapatunk van. Az adatmérnöki csapat kezeli az összes nagy adatot. Munkával az adattudományi csapat meg tudná csinálni, de rosszabb és lassabban tennénk ... nem akarjuk! :)

Az adatmérnököknek nem igazán kell belemenniük a domain tudás specifikájába, ahogyan az adattudományi csapat megy. Ugyanakkor nagyon kevés gépi tanulást ismernek, és nagyobb automatizált adatprojektekben együtt dolgozunk.

Tehát véleményem szerint sikeres nagy adat-tervezővé / mérnökké válhat adattudomány nélkül, vagyis anélkül, hogy a tartomány / algoritmikus ismeretek nélkül tudnánk vállalkozásait az adattudósoktól függni. Azonban sokkal jobb adatmérnök lesz, ha belekeveredik a kezébe.


Válasz 2:

Egyetértek Marcin-lal. Az adattudósok kihasználhatják a nagy adat-infrastruktúrát egy nagy adat-építész által. Az IMO, az egyik legfontosabb szempont, amelyet egy nagy adat-építésznek tudnia kell, a következő, amelyek részét képezi az adatelemzés / tudomány (az alábbi 3. pontban):

1) Adatok bevétele - kötegelt és streaming

2) Adattárolás - Elosztott tárolás, NoSQL

3) Feldolgozás és elemzés ** - kötegelt feldolgozás, adatfeldolgozás, elemzés. A Big Data építésznek itt legalább tudnia kell a rendelkezésre álló elemző eszközökről / API-ról, hogy képes legyen azokat ajánlani és beépíteni a Big Data infrastruktúrába (az üzleti felhasználási eset és az adattudósok preferenciái alapján is). Az adatok tudósát lehetővé tevő eszközökben fontolóra vehető néhány tényező lehet: rendelkezésre álló algoritmusok típusai, anyanyelv-támogatás, összeköttetés a Big Data környezettel, az adatok elemzési képességei, az adatok profilozása stb.

4) Fogyasztás - tétel vagy áramfogyasztás

5) Hardverigény a Big Data elosztott környezet különböző összetevőihez

6) A nagy adatkörnyezet operatív igényei


Válasz 3:

Egyetértek Marcin-lal. Az adattudósok kihasználhatják a nagy adat-infrastruktúrát egy nagy adat-építész által. Az IMO, az egyik legfontosabb szempont, amelyet egy nagy adat-építésznek tudnia kell, a következő, amelyek részét képezi az adatelemzés / tudomány (az alábbi 3. pontban):

1) Adatok bevétele - kötegelt és streaming

2) Adattárolás - Elosztott tárolás, NoSQL

3) Feldolgozás és elemzés ** - kötegelt feldolgozás, adatfeldolgozás, elemzés. A Big Data építésznek itt legalább tudnia kell a rendelkezésre álló elemző eszközökről / API-ról, hogy képes legyen azokat ajánlani és beépíteni a Big Data infrastruktúrába (az üzleti felhasználási eset és az adattudósok preferenciái alapján is). Az adatok tudósát lehetővé tevő eszközökben fontolóra vehető néhány tényező lehet: rendelkezésre álló algoritmusok típusai, anyanyelv-támogatás, összeköttetés a Big Data környezettel, az adatok elemzési képességei, az adatok profilozása stb.

4) Fogyasztás - tétel vagy áramfogyasztás

5) Hardverigény a Big Data elosztott környezet különböző összetevőihez

6) A nagy adatkörnyezet operatív igényei