Inginer de evaluare AI

Yes Energy

București Hibrid

16.000 RON – 19.000 RON net

Net lunar

Pachet Salarial

16.000 RON – 19.000 RON net

Net lunar, negociabil în funcție de experiență.

Beneficii

Asigurare medicală privată
Beneficii de wellness/abonament la sală
Concediu flexibil
Program de lucru flexibil
Finanțare pentru dezvoltare profesională formală și informală

Detalii Rol

Departament

Inginerie software

Program

Full-time

Mod de lucru

Hibrid

Descrierea Jobului

Yes Energy este lider pe piața soluțiilor de date și analize pentru energie electrică. Rețeaua electrică este cea mai mare și mai complicată mașinărie construită vreodată. Software-ul nostru de analiză pentru tranzacționarea energiei electrice oferă vizibilitate în timp real asupra datelor generate de rețeaua electrică nord-americană, informând deciziile de tranzacționare și investiții pe termen mediu și lung, menținând prețurile utilităților scăzute, sprijinind tranziția energetică și asigurând funcționarea rețelei. Poziția este full-time, hibrid, cu cerința de a lucra la birou 2-3 zile pe săptămână în București.

Responsabilități

Deținerea strategiei de evaluare pentru Yes AI end-to-end — proiectarea, construirea și îmbunătățirea continuă a cadrelor care măsoară calitatea, acuratețea și fiabilitatea rezultatelor generate de LLM în răspunsuri în limbaj natural, recuperarea datelor și răspunsuri bazate pe context semantic.
Dezvoltarea de benchmark-uri și suite de testare automate pentru a detecta halucinații, deriva factuală și eșecuri de recuperare; stabilirea standardului de calitate pentru ceea ce înseamnă „corect” în contextul pieței energiei.
Colaborarea directă cu experți în domeniu și ingineri seniori pentru a transforma cunoștințele profunde despre piața energiei în criterii de evaluare riguroase și reutilizabile.
Construirea și menținerea unor pipeline-uri de evaluare scalabile care rulează continuu împotriva modificărilor de prompt, actualizărilor de model și schimbărilor din datele Snowflake, identificând regresii înainte ca acestea să ajungă la clienți.
Conducerea eforturilor de inginerie prompt și experimentare RAG, folosind rezultatele evaluării pentru a genera îmbunătățiri măsurabile ale calității răspunsurilor.
Influențarea deciziilor de inginerie și produs prin vizibilitatea și cuantificarea calității AI — promovarea fiabilității ca cerință de prim rang pentru produs.
Contribuția la definirea disciplinei de evaluare AI la Yes Energy; acesta este un rol fundamental cu spațiu pentru construirea de procese și instrumente de la zero.

Cerințe

Licență în Informatică, Știința Datelor, Matematică sau domeniu conex.
5+ ani de experiență în inginerie software, cu accent semnificativ pe testare, evaluare, sisteme de calitate sau instrumente AI/ML.
Competențe avansate în Python; experiență în construirea de pipeline-uri de evaluare sau testare de nivel producție.
Înțelegere solidă a conceptelor de evaluare LLM: benchmark-ing, detectarea halucinațiilor, calitatea RAG și similaritatea semantică.
Experiență în proiectarea și gestionarea cadrelor de calitate în medii ambigue și cu evoluție rapidă.
Capacitatea de a lucra îndeaproape cu experți în domeniu care nu sunt ingineri pentru a defini și codifica ce înseamnă „bine”.
Judecată excelentă — capacitatea de a distinge când un rezultat al evaluării semnalează o problemă reală față de zgomot.
Comunicare puternică; abilitatea de a prezenta concluziile privind calitatea în mod clar atât pentru audiențe tehnice, cât și non-tehnice.

Nice to have

Experiență practică cu cadre de evaluare (RAGAS, LangSmith, PromptFlow) și competență în construirea de pipeline-uri de date de producție folosind RAG sau baze de date vectoriale.
Gândire structurată și judecată solidă pentru a determina când un rezultat al evaluării semnalează o problemă reală versus zgomot în seturi de date complexe.
Curiozitate înnăscută și dorință puternică de a învăța industria energetică sau de a aplica experiența din medii de tranzacționare cu acțiuni/mărfuri.
Abilitatea de a asculta partenerii de afaceri tehnici și non-tehnici pentru a defini și traduce cerințe operaționale profunde în criterii de testare codificate.
Experiență în medii intensive în date sau cu reglementări stricte, unde acuratețea răspunsurilor este critică și guvernanța datelor este riguroasă.
Abilități puternice de comunicare scrisă și verbală, adaptând stilul de livrare în funcție de profunzimea tehnică a publicului.

Competențe

PythonLLM evaluationBenchmarkingDetectarea halucinațiilorCalitatea RAGSimilaritate semanticăRAGASLangSmithPromptFlowBaze de date vectorialePipeline-uri de date