Stworzyłem prosty moduł w Lazarus 3.8, który umożliwia lokalne połączenie z modelami AI za pośrednictwem Ollama.

Aby rozpocząć pracę z modelami LLM, należy najpierw pobrać program Ollama, dostępny pod tym linkiem: Ollama. Następnie należy pobrać model, korzystając z tego linku: Ollama Models. Na przykład, można użyć komendy ollama run deepseek-r1:7b w terminalu PowerShell, aby uruchomić model.

Po pobraniu i uruchomieniu modelu, można go wykorzystać w konsoli lub za pomocą stworzonego modułu. Kod źródłowy modułu jest dostępny pod tym adresem: Ollama4Lazarus GitHub.
Dodałem obsługę asynchroniczności oraz funkcję, która pokazuje, ile czasu zajmuje generowanie odpowiedzi przez lokalnie zainstalowany model LLM.

W ComboBoxie modułu umieszczone są modele, które testowałem. Istnieje możliwość dodania dowolnego modelu tekstowego dostępnego na stronie Ollama. Osoby, które chcą, mogą również zaimplementować asynchroniczność, aby interfejs użytkownika nie zawieszał się podczas pracy z modelami.

Najpierw wybierz model LLM, a następnie możesz wpisać prompt, na przykład „Who is”, a w polu memo „Donald Trump”. Warto zauważyć, że te modele dobrze sprawdzają się w języku angielskim. Jednak na potrzeby testu użyłem polskiego modelu Bielik-11b, co pozwala na wpisywanie promptów w języku polskim.

Moduł testowałem na swoim komputerze o następujących parametrach:

• Procesor: AMD Ryzen 9 3900X
• Karta graficzna: Gigabyte Radeon RX 5700 XT AORUS 8G GDDR6
• Płyta główna: MSI MPG X570 GAMING EDGE WIFI
• Dysk: KINGSTON KC3000 2TB SSD
• Pamięć RAM: GOODRAM Pro 32GB 3600MHz

Zachęcam do zapoznania się z wideo pokazującym działanie modułu: Film na YouTube.