Er det noen som har erfaring med DeepSeek R1?

[arne22]

1 hour ago, disarer42 said:

Å kjøpe hardware for flere titusener for å kjøre "Ai" lokalt er ikke noe jeg ville gjort. Men hobbyer koster penger...

Det spørs om jeg ikke besinner meg når jeg kommer hjem og får testet på det beste jeg har av hardware. 

Slik som jeg ser det, så er det vikrigste med en slik AI modell ikke hava den kan yte i diverse tekniske tester, men der i mot hva den kan brukes til i praksis i forhold til å gi gode svar og beskrivelser. Da blir nok kvaliteten på treningsdata noe av det som er viktigst. 

Det spørs om ikke ChatGPT er den varianten som fortsatt gir best kvalitet i det som kommer ut av den og som har størst praktisk nytteverdi.

Det spørs om ikke Deepseek-R1  først og fremst er for de som vil lære hvordan sike systemer fungerer, ved å kjøre dem lokalt, og så er den jo kanskje også et brukbart utgangspunkt for alle makthavere som vil forklare sin befolkning litt om historie og sitt mer eller mindre spesielle syn på politikk og samfunn. Da kan et tilpasset og riktig trent AI system være makthaverens røst ut til folket. For ingen kan jo tvile på det som kommer ut i fra et system for AI eller kunstig intelligens.

[arne22]

4 minutes ago, Gavekort said:

At den kan brukes til (nesten) hva du vil uten at du må forholde deg til f.eks OpenAI (som ironisk nok er en av de som er mest "closed").

Men det er jo bare spesifikasjonene som er opensource. Selve modellen selv er jo bare en stor samlig med tall.

[Gavekort]

arne22 skrev (6 minutter siden):

Men det er jo bare spesifikasjonene som er opensource. Selve modellen selv er jo bare en stor samlig med tall.

Omvendt. Modellen er "open source" som betyr at du kan bruke den esoteriske blobben hvordan du vil, men de kommer aldri til å fortelle deg hvordan de laget den blobben.

Deepseek har nesten ikke publisert noe kode, bortsett fra noen små eksempler på hvordan man kan gjøre en inference i modellene demmes.

[arne22]

12 minutes ago, Gavekort said:

Omvendt. Modellen er "open source" som betyr at du kan bruke den esoteriske blobben hvordan du vil, men de kommer aldri til å fortelle deg hvordan de laget den blobben.

Hvordan går du fram for å lese innholdet i modellen?

"Opensource" brukes jo vanligvis for å beskrive programkode som er i lesbar klartekst.

Her er det som er lagt ut:

https://github.com/deepseek-ai/DeepSeek-R1

Hvor er resten av det som er lagt ut som "opensource"?

Endret 1. februar av arne22

[Gavekort]

arne22 skrev (1 minutt siden):

Hvordan går du fram for å lese innholdet i modellen?

"Opensource" brukes jo vanligvis for å beskrive programkode som er i lesbar klartekst.

Å lese innholdet i modellen er håpløst. Det er bare en diger blob med vektorer. Ja open source som navnet tilsier er jo at kildekoden er tilgjengelig, noe den ikke er.

[disarer42]

RTX 3090 med 24GB VRAM. Selges fra 7000kr på finn.no for mining brukt kort til 9000kr. Sikkert mulig å prute.

Med tanke på kronekurs og at vi har 25%MVA så selges disse kortene billigere i Norge enn i f.eks. USA. 

[arne22]

Hvis man først er i gang med Deepseek-R1 så ser det ut til å være en del andre alternativ også, som kan installeres og kjøres på akkurat samme måten (for eksmepel Phi4 fra Microsoft):

https://ollama.com/library/phi4

Info i fra Microsoft

Framgangsmåten for å installere via Ollama ser ut til å være identisk den samme. 

Endret 2. februar av arne22

[En vanlig mann i 40 åra]

DeepSeek selvbevisst?

[arne22]

Litt info om hvordan tingene fungerer og hvorfor man kaller modellen for "opensource" selv om de tradisjonelle kriteriene for "opensource" ikke er oppfylt.

Det refereres til Llama modellen for sammenligning, og Llama er da Meta eller Facebook sin variant:

https://ai.meta.com/blog/meta-llama-3-1/

Og Phi-4 er som tidligere nevnt Microsoft sin variant.

Alt sammen enkelt tilgjengelig via ollama.

Endret 4. februar av arne22