Er det noen som har erfaring med DeepSeek R1?

[arne22]

Er det noen av dere her på forum som har testet DeepSeek R1? 

Forstår det slik at DeepSeek R1 er en slags forminsket utgave av ChatGPT som har blitt trent ved å hente ut data i fra større språkmodeller slik som OpenAI og ChatGPT. Forstå det også slik at DeepSeek (i en eller annen variant) finnes som OpenSource programvare som det også skal være mulig å laste ned og kjøre på en vanlig PC. Fant noe info her:

Og her:

https://www.tek.no/nyheter/nyhet/i/rP30lK/openai-hevder-deepseek-brukte-deres-modell-ulovlig

Er det noen av dere her på forum som har testet DeepSeek eventuelt R1 og som har noe mer info eller erfaringer å dele?

Også noe interessant info her:

 

Og her:

https://robododd.com/how-to-run-deepseek-r1-ai-windows-locally/

Det kan se ut som at prisen på grafikkortet brukt i videoen over er ca 20.000,- og oppover. Skal tro om det finnes noen forholdvis rimelig hardware som gir brukbar performance?

(Har jeg endelig fått en grunn til å kjøpe meg en gaming maskin??!)

Kan DeepSeek R1 bare engelsk, eller forstår og behersker den også andre språk? Noe info.

Endret 29. januar av arne22

[Splitter]

Har ikke fått testet så mye med DeepSeek R1 ennå, men har et veldig positivt førsteinntrykk.

Legger ved et par skjermbilder av samtaler jeg har hatt med DeepSeek. Ble veldig imponert over at den klarte å løse gåten i den første samtalen. Ikke engang mine skrivefeil og dårlige engelsk klarte å forvirre den. 

Når det gjelder å snakke norsk, så er nok resultatet mye mindre imponerende. Den kan nok gjøre seg forstått, men hvis en ønsker å bruke den til en jobbsøknad eller noe annet viktig, er den stort sett ubrukelig.

Når det gjelder hardware, er mengden VRAM på skjermkortet alfa og omega. Jeg har testet med Geforce 4080 som har 16 GB. Skulle jeg ha kjøpt skjermkort i dag, ville jeg nok helt sikkert ha valgt et kort med mer VRAM. 3090 er et veldig godt alternativ, men 20000 er alt for mye. Prøv å se på Finn.no. Mange minere som prøver å bli kvitt skjermkortene sine nå som mining ikke lenger er lønnsomt.

[arne22]

On 1/29/2025 at 6:47 PM, Splitter said:

Prøv å se på Finn.no. Mange minere som prøver å bli kvitt skjermkortene sine nå som mining ikke lenger er lønnsomt.

Det var et godt tips. Ser at bruktprisen varierer mellom 7.000-12.000 med flesteparten rundt 9.000. Også noen ferdigbygde PC'er med kortet installert. Er i utlandet og har ingen mulighet til å teste nå, men vil gjøre det så snart jeg kommer hjem. Fant ellers en test av online utgaven av Deepseek, som jeg synes har et litt interessant innhold:

Mener/vil tro at videoen foruten å vise hvordan AI data kan være "biased", også kanskje viser noen av de kvalitative forskjellene mellom en AI modell som jobber ut i fra "ekte grunndata" kontra en AI modell som jobber opp mot et "destillat" av grunndata, dvs at den har blitt trent ut i fra bruken av andre AI modeller. (Den ene gir svar med mange nyanser og utdypinger, og den andre gir litt kortere og mer entydige svar - bare en foreløpig hypotese, som jeg har.) 

Egentlig så ligger jo "den praktiske bruksverdien" av AI i kvaliteten av de grunndata som den har blitt trent mot. Det interessante vil jo være om det for eksempel er mulig å trene en lokal generell AI modell som Deepseek videre ut i fra egne lokale data, slik at man kan spisse den opp mot mer avgrensede bruksområder, ved at man "legger inn" eller trener den opp videre mot egne dokumenter og grunndata, som man legger til selv, slik at man for eksempel kan få til en brukbar AI modell for forskjellige typer brukerstøtte.  

Endret 30. januar av arne22

[arne22]

Legger ut litt info for senere bruk.

1. Installasjon på Ubuntu Linux:

2. Litt om bruken:

3. Installasjon på Mac og litt mer om bruken:

 

 

 

[arne22]

Info til den som har lyst til å teste:

Jeg installerte den minste modellen på en "reise PC" på ca 1 kg og i5/16GB. PC har ikke noe dedikert grafikkort.

Fulgte instruksjonene i video no 2 ovenfra bortsett ifra at jeg valgte den minste modellen. En slik installasjon kan nok gi et interessant innblikk i hvordan AI modeller fungerer, men det som kom ut av den var kanskje ikke helt overbevisende:

******

>>> what is the capital of the Philippines?
<think>  

..

The current capital of the Philippines is **BaguenaDelta**, a city located in the Mindanao province. This city has been the capital since 1984, and it is often referred to by its name as the country's government center.

*******

"Fungerer" betyr tydeligvis ikke det samme som "gir ut riktige svar". 

[arne22]

>>> Forstår du norsk?
<think>

Njegde kan forstå norsk ifs de skal forstå den. Forstå Norwegian og Norske er like store forstå NDEN. Norske er det språket der er spil i hector med tellende frane, og norvann har norset en viktig rolle i samfunnsproglsen. Det er vanleg som at se norsk eller norvejskort, men det kan være letterligesom elder for de som ikke har til høst norvann. Forstå Norwegian er et viktig stolteord og er viktig for internasjonale kompetansen i internasjonal og klima utvikling.

[arne22]

Den relativt større språkmodellen (deepseek-r1:14b) kjørte også, men ganske langsomt og med 100% belastning på prosessor og RAM, og det var litt interessant, for da rakk man å følge med på hvordan den jobbet:

>>> What is the capital of the Philippines?
<think>
Alright, so the user just asked me what the capital of the Philippines is. Let's break this down.

First, I know that capitals are important because they're the centers of government for a country. The Philippines is a country in Southeast Asia, right? I'm pretty sure it's an archipelago with lots of islands.

I think the capital might be Manila because I remember hearing about it being a major city there. But wait, isn't there another city that's considered the capital too? Oh yeah, Quezon City!
That's where the president lives, so maybe it's also a capital in some sense.

But then I recall reading something about a new capital being planned to reduce the population and traffic in Manila. Isn't that supposed to be part of a big development project?

So, to sum up, Manila is the traditional capital with the government offices, Quezon City is where the president resides, and there's also plans for a new capital somewhere else.
</think>

The Philippines has two official capitals:

1. **Manila** - This is the nation's historical and economic capital, housing most government agencies and key institutions.
2. **Quezon City** - Designated as the administrative capital, it serves as the residence of the President of the Philippines.

Additionally, there are ongoing plans to establish a new capital, known as **New Clark City**, to alleviate population density and traffic congestion in Manila.

 

[Phantom Software]

Størrelsen på modell har mye å si, dermed har størrelse på VRAM mye å si. Et alternativ til dyre grafikkort er (dyre) Mac maskiner. Der er nesten alt minnet tilgjengelig som VRAM, så du kan kjøre mye større modeller til samme pris som et nytt skjermkort. Det vil til gjengjeld gå litt tregere.

R1 er fint til sitt bruk, er innom den med med noen spørsmål daglig.

Endret 31. januar av Phantom Software

[arne22]

Veldig interessant. Dette at det går tregt det gjør jo tingene nesten enda mer interessant, for da rekker man jo å følge med i hvordan det kjører. 

Lurte ellers på hvor den lagret alle disse store datafilene, på mange gigabyte, i tilfellet man må rydde opp manuelt. På Windows så var det lett å finne: 

C:/users/brukernavn/.ollama

Har ellers tenkt på den nye M4 Mac'en et par ganger, men har fram til nå ikke sett noe aktuelt bruksområde.

Endret 31. januar av arne22

[arne22]

Litt mer info for den som måtte ønske å eksperimentere med AI modeller:

Det viser seg jo at det ikke finnes bare en AI modell som kan kjøres lokalt, men "en hel haug" hvor av Depseek bare er en av mange og  den siste tilveksten i en lang rekke av slike "offline AI modeller". Microsoft har for eksempel sin variant som heter phi4. 

https://ollama.com/search

Tenkte at det var litt viktig å kunne lagre og kjøre en slik AI modell i fra et eksternt lagrinsmedium, hvis man eventuelt skal laste ned kjempestore modeller på hundrevis av GB, og sjekket litt på det. Fant noe info her:

https://github.com/ollama/ollama/blob/main/docs/windows.md

Satte så inn en USB minnepenn i PC og satte til en ny miljøvariabel slik som vist på tegningen. Måtte så reboote PC for å få den nye miljøvariabelen til å virke.

Det viste seg at det var unødvendig å kjøre pull kommando. Når jeg kjørte denne kommandoen: 

ollama run deepseek-r1:1.5b

.. så lastet den AI modellen ned automatisk og plasserte den på USB minnepinnen.

Minnepinnen har fisystem FAT32, og her hadde jo filen blitt for stor, for en av de andre store språkmodellene. Har så langt ikke testet med NTFS eller exFAT.

Siste test gjennomført på en PC med bare 8GB RAM og det fungerte OK med den minste modellen.

Edit:

Testet med exFAT på minnepennen. Fungerte likt.

Endret 31. januar av arne22

[Splitter]

Noen som har funnet en måte å omgå den tåpelige kinesiske sensureringen? Irriterer meg voldsomt.

 

 

[arne22]

4 hours ago, Splitter said:

Noen som har funnet en måte å omgå den tåpelige kinesiske sensureringen? Irriterer meg voldsomt.

Det var da en interessant problemstilling og en demo på at et AI system ikke nødvendigvis gir "de riktige svarene" men heller de svarene som "eieren" eller den som har utviklet språkmodellen ønsker at den skal gi. Sånn sett så kan eier av språkmodellen ha en viss makt til å definere hva som er "sant" og hva som ikke er "sant" og hva som har skjedd og hva som ikke har skjedd.

Hvis eier eller utvikler av språkmodellen bevist har utelatt visse data, så nytter det jo ikke å ta vekk noen sperre for å få tilgang til de data som faktisk ikke er der.

Men nå skal Deepseek-R1 være "open source", og hva i alle dager vil det da si at en språkmodell er "open source"?

Språkmodellen består vel i sitt praktiske bruk av to deler, av det programmet som opererer opp mot språkmodellens datastruktur, i dette tilfellet Ollama, som er en opensource programvare, og så selve språkmodellen Deepseek-R1 som sannsynligvis ikke er noe annet enn en samling med tall, eller eventuelt tegn, som ikke gir mening for andre enn Ollama programmet, og andre program som kan lese data, eventuelt skrive data ut i fra det samme formatet. Selve Deepseek-R1 språkmodellen eller datastrukturen, blir vel nærmest å sammenligne med en kryptert fil(?!)

Men det skal i teorien være mulig å "finetune" eller "retrene" Deepseek-R1 med nye data, som den ikke har fått lagt inn i fra før, ved hjelp av egen programvare som er egnet til det formålet. Det skal også være mulig å legge inn sperrer i en språkmodell, slik at det blir vanskelig å trene den i forhold til visse typer data.

En annen metode skal være å ikke endre selve datastrukturen i språkmodellen, men å koble den opp mot en ekstern database, slik at den både bruker sine egne data pluss også eksterne data, som man da har koblet opp.

Tenker at noe av forutsetningen for at "Deepseek-R1" skal kunne kalles "open source" og bie en "big hit", det er at den kan re-trenes og spesialiseres og spisses i mot forskjellige anvendelsesområder.

Ville ellers forvente at OpenAI kommer litt tilbake i sitt gamle spor og også lanserer en "opensource modell" for "offline processing".

Noen på forum som har god greie på AI og som kan korrigere eller legge ut ny, eventuelt utdypende info?   

   

Endret 31. januar av arne22

[disarer42]

Splitter skrev (4 timer siden):

Noen som har funnet en måte å omgå den tåpelige kinesiske sensureringen? Irriterer meg voldsomt.

Er det du bruker "Ai" til? 😆 Irritere seg over at ett diktatur vil skjule ett opprør blant befolkningen, hva blir man ikke krenket over nå til dags. Har den minste R1 modellen på PCen og der foreslo den at 20k ble drept under studentopprøret.

 

 

[Gavekort]

DeepSeek-R1 introduserer ikke spesielt mye nytt for oss forbrukere av modellene. Det som er unikt med DeepSeek er at de påstår å ha trent opp modellen med betraktelig mindre ressursbehov.

Men det virker ut som en kompetent modell. Har lekt meg litt med deepseek-r1:32b, som til tross for at det er en betraktelig redusert modell presterer ganske bra. Passer perfekt for å kjøre på mitt 7900 XTX skjermkort.

Dette tok omtrent 30 sekunder å generere:

[arne22]

9 minutes ago, Gavekort said:

Har lekt meg litt med deepseek-r1:32b, som til tross for at det er en betraktelig redusert modell presterer ganske bra. Passer perfekt for å kjøre på mitt 7900 XTX skjermkort.

Interessant med litt tilbakemelding om hva slags skjermkort man kan bruke for å kjøre de litt større modellene. Dette er et skjermkort til ca 12.000,- kan det stemme? (Har ingen kraftige skjermkort og vil vurdere å kjøpe ett.) Hva slags prosessor/hovedkort/RAM vil man ellers ha bruk for?

Fant en vide med noe relevant/interssant info:

 

[Gavekort]

arne22 skrev (4 minutter siden):

Dette er et skjermkort til ca 12.000,- kan det stemme? (Har ingen kraftige skjermkort og vil vurdere å kjøpe ett.) Hva slags prosessor/hovedkort/RAM vil man ellers ha bruk for?

Stemmer bra det. Om formålet ditt er å kjøre LLMs så ville jeg nok heller valgt Nvidia da. Resten av maskinen er ikke så veldig kritisk.

[arne22]

Hva vil det si at en LLM er opensource? 

Det ser ut som at det betyr at man kan laste ned datastruktukturen og spesifikasjonen for LLM'en er lagt ut åpent.

https://github.com/deepseek-ai/DeepSeek-R1 

 

[disarer42]

Åpne kilde kode. D.v.s. FRIHET.

Deepseek er under MIT lisens. Gjør hva du vil.

 

Sitat

MIT License Copyright (c) 2023 DeepSeek

Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions: The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software. THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

 

[disarer42]

arne22 skrev (8 timer siden):

Interessant med litt tilbakemelding om hva slags skjermkort man kan bruke for å kjøre de litt større modellene. Dette er et skjermkort til ca 12.000,- kan det stemme? (Har ingen kraftige skjermkort og vil vurdere å kjøpe ett.) Hva slags prosessor/hovedkort/RAM vil man ellers ha bruk for?

Fant en vide med noe relevant/interssant info:

 

NetoworkChuck har utrolig mange gode videoer.

Jeg kjørte Ollama i Boxbuddy.

Å kjøpe hardware for flere titusener for å kjøre "Ai" lokalt er ikke noe jeg ville gjort. Men hobbyer koster penger...

[Gavekort]

arne22 skrev (2 timer siden):

Hva vil det si at en LLM er opensource? 

At den kan brukes til (nesten) hva du vil uten at du må forholde deg til f.eks OpenAI (som ironisk nok er en av de som er mest "closed").

Men vil ikke si at noen av dem er spesielt "open source" siden mye av teknologien som bygger disse modellene er hemmelig og proprietært.