阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

用香橙派AIpro部署大模型、安装宝塔搭建私有随身WEB开发环境

9次阅读
没有评论

共计 8271 个字符,预计需要花费 21 分钟才能阅读完成。

什么是香橙派

Orange Pi AI Pro 开发板是香橙派联合华为精心打造的高性能 AI 开发板,其搭载了昇腾 AI 处理器,可提供 8TOPS INT8 的计算能力,内存提供了 8GB 和 16GB 两种版本。可以实现图像、视频等多种数据分析与推理计算,可广泛用于教育、机器人、无人机等场景。

如果你有一块香橙派 AIpro 你会拿来做什么?

今天就跟大家介绍一下我会用这个香橙派 AIpro 做什么。

1. 香橙派 AIpro 部署大语言模型

2. 利用香橙派 AIpro 安装 LNMP(宝塔面板)搭建私有的 Wordpress 博客 WEB 系统

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

基础配置

香橙派 AIpro

CPU:昇腾 AI 技术路线(听群友说是 A55)

内存:8GB/16GB LPDDR4X(我拿到的是 8G 的版本)

HDMI 2.0 输出 2 个

千兆网口:1 个

USB3.0,有 2 个

USB Type-C 3.0,1 个

Wi-Fi5+ 蓝牙 4.2

支持 SATA/NVMe SSD 2280 的 M.2 插槽

可外接 32GB/64GB/128GB/256GB eMMC 模块

Type- C 供电

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

详细信息请查看:http://www.orangepi.cn/html/hardWare/computerAndMicrocontrollers/details/Orange-Pi-AIpro.html

外壳

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

主板和电源

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

正面图片

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

背面图

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

ubuntu 系统固定 IP

把香橙派 AIpro 的电源插上,连接显示器键盘鼠标和网线,开机风扇声音还挺大,不过进入系统后风扇声音变小。

$ ifconfig 查看 IP
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.1.245  netmask 255.255.255.0  broadcast 192.168.1.255
        inet6 fe80::9f02:c0dd:c615:4468  prefixlen 64  scopeid 0x20<link>
        ether c0:74:2b:fe:29:42  txqueuelen 1000  (Ethernet)
        RX packets 453623  bytes 66206481 (66.2 MB)
        RX errors 0  dropped 1595  overruns 0  frame 0
        TX packets 4999  bytes 957506 (957.5 KB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
wlan0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        ether 7c:88:99:ff:79:ec  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

查看到有两个网卡,一个是有线,一个无线。

ubuntu 系统固定 IP:

我这里把香橙派的 IP 固定为 192.168.1.22,免得重启或者 IP 被局域网的占用的情况。

$ sudo -i
# cd /etc/netplan
#ls -l
total 20
-rw-r--r--   1 root root   164 Jan 30 12:19 01-netcfg.yaml

 备份文件:
# cp 01-netcfg.yaml 01-netcfg.yaml-bak
# vim 01-netcfg.yaml

 填入网络配置模版 

ubuntu22.04 参考以下配置模板如下

network:
  ethernets:
    eth0: # 网卡名称 
      dhcp4: no #关闭 ipv4 动态分配 ip 地址 
      dhcp6: no #关闭 ipv6 动态分配 ip 地址 
      addresses: 
          - 192.168.1.22/24  # 设置的子网 IP 和子网掩码,192.168.1.22 代表 IP /24 代表掩码 255.255.255.0
      routes:
          - to : default 
            via: 192.168.1.1   # 网关 
      nameservers:
          addresses:  # DNS 服务器 
             - 114.114.114.114
             - 8.8.8.8
  version: 2
  renderer: networkd

加载配置和重启网络

 修改好网卡配置文件后通过下面命令生效 
# netplan apply

 重新网络 
# systemctl restart systemd-networkd

SSH 远程连接

Ubuntu 22.04.3 LTS

下载 SSH 软件例如:MobaXterm 或者 Putty

我习惯用 SecureCRT

如图填写 IP, 端口,用户和密码,这个 IP 是没改之前的请忽略。

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

进入远程

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

远程连接 VNC

官方镜像默认安装了 VNC,我这里用 vncviewer 软件

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

就可以用 vnc 远程控制香橙派了

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

挂载硬盘

我在板子后面添加了一块 1T 的 SSD,并且挂载到 /www 目录下

(base) HwHiAiUser@orangepiaipro:~$ sudo -i
[sudo] password for HwHiAiUser: 
 输入密码,切换到 root 用户 

 查看硬盘:
# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/root        29G   17G   12G  60% /
tmpfs           3.7G  4.0K  3.7G   1% /dev/shm
tmpfs           1.5G   15M  1.5G   1% /run
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs           4.0M     0  4.0M   0% /sys/fs/cgroup
tmpfs           128M  772K  128M   1% /var/log
/dev/mmcblk1p3   50M  2.0K   50M   1% /exchange
tmpfs           755M   76K  755M   1% /run/user/0
tmpfs           755M   80K  755M   1% /run/user/1000

 查看硬盘:
fdisk -l
Disk /dev/nvme0n1: 953.87 GiB, 1024209543168 bytes, 2000409264 sectors
Disk model: Predator SSD GM7000 1TB                 
.....
Device          Start        End    Sectors  Size Type
/dev/nvme0n1p1   4096     618495     614400  300M EFI System
/dev/nvme0n1p2 618496 1999204351 1998585856  953G Microsoft basic data
.....

 可以看到有一块 1T 的 SSD,再挂载硬盘 

mkdir /www
mount /dev/nvme0n1p2 /www  # 可以直接挂载 

 也可以先格式化再挂载:
mkfs.ext4 /dev/nvme0n1p2
mount /dev/nvme0n1p2 /www

df -h|grep www
/dev/nvme0n1p2  953G  528M  953G   1% /www

vim /etc/fstab
 增加:
/dev/nvme0n1p2  /www ext4 defaults 0 0

至此准备工作完毕,下面就介绍用香橙派 AIpro 搭建本地的模型。

香橙派 AIpro 部署大语言模型

Ollama 运行 llama3、qwen 等大模型,虽然有些小马拉大车,我还是想试试它的极限在哪里

安装 Ollama

方法 1、命令行下载安装 (耗时长)

安装命令:

$ sudo apt  install curl

$ curl -fsSL https://ollama.com/install.sh | sh

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

缺点:国内网络环境要等很久

方法 2、手动下载安装(推荐使用)

1. 手动下载 https://ollama.com/install.sh 这个文件

# mkdir /www/ollama
cd /www/ollama
# wget https://ollama.com/install.sh

2. 注释掉下载部分 curl xxxx 手动下载 ollama-linux-{ARCH}

# vim install.sh

修改文件:status "Downloading ollama..."
#curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"

香橙派 AIpro 的 CPU 是 ARM 架构的,所以 {ARCH} = arm64

浏览器下载:https://ollama.com/download/ollama-linux-arm64

如果 CPU 是 intel 或者 AMD 则:{ARCH} = amd64,https://ollama.com/download/ollama-linux-amd64

当然科学上网速度更快哟。放在 install.sh 同目录下

3. 注释掉 #$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama

改为下面一行:

# vim install.sh

修改文件:status "Installing ollama to $BINDIR..."
$SUDO install -o0 -g0 -m755 -d $BINDIR
#$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama
$SUDO install -o0 -g0 -m755 ./ollama-linux-arm64  $BINDIR/ollama

4. 运行 install.sh , 安装

(base) root@orangepiaipro:/www/ollama# ll
total 285868
drwxr-xr-x 2 root root      4096 May 23 10:20 ./
drwxr-xr-x 4 root root      4096 May 23 10:04 ../
-rw-r--r-- 1 root root     10158 May 23 10:20 install.sh
-rw-r--r-- 1 root root 292706744 May 23 10:17 ollama-linux-arm64

# sh  ./install.sh

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

重启电脑

更改模型存放的路径

由于系统盘空间有限,如果不修改模型存放位置默认会在 /usr/share/ollama/.ollama/models 或者 /root/.ollama/models/ 目录。

# mkdir /www/ollama/ollama_models

# cd /etc/systemd/system/
# vim /etc/systemd/system/ollama.service
在 environment 里面分号隔开添加 OLLAMA_MODELS 环境变量

OLLAMA_MODELS=/www/ollama/ollama_models;
如下图 

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

加载配置并且重启 ollama 生效

source ollama.service
systemctl daemon-reload
systemctl restart ollama

启动 ollama 服务

# ollama --help
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

提示

star@star-ai:~$ ollama serve
Couldn't find'/home/star/.ollama/id_ed25519'. Generating new private key.
Your new public key is: 

ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIPmYsSi6aIsyhC4EHEsCdBtSOqnfKmNVSf0Ofz9sVzyB

Error: listen tcp 127.0.0.1:11434: bind: address already in use

说明已经运行

重新加载配置,重启 ollama

systemctl daemon-reload

systemctl restart ollama

ollama serve

关闭服务
systemctl stop ollama
启动服务
systemctl start ollama

运行 qwen 大模型

ollama run  qwen

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

使用 ollama 运行 qwen CPU 占用率为 300%,内存 40%,回答一个问题基本上要等很久。

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

ollama 官方的模型仓库参见这里:https://ollama.com/library

 阿里巴巴的大模型:ollama run  qwen
ollama run qwen:14b
ollama run qwen:32b
ollama run qwen:72b
ollama run qwen:110b   # 110b 表示该模型包含了 1100 亿(110 billion)个参数


脸书大模型:ollama run llama2
ollama run llama3
ollama run llama3:8b

谷歌的大模型:ollama run gemma

微软的大模型
ollama run phi3

删除模型

 显示所有模型
# ollama list

删除模型
# ollama rm llama3:latest

结论:可以安装 ollama 和使用大模型,但是无法流畅的运行。

安装 Tiny_Llama ManualReset 模型

Tiny_Llama ManualReset 的 gitee 地址:https://gitee.com/wan-zutao/tiny-llama-manual-reset

1. 克隆仓库

1. 使用 root 用户登录环境,clone 当前仓到空闲目录

$ sudo -i
# git clone https://gitee.com/wan-zutao/tiny-llama-manual-reset.git tiny_llama
# cd tiny_llama/inference

2. 运行 download.sh

下载 model,tokenizer 文件。

# bash download.sh

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

3. 启动程序

python3 main.py

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

用浏览器访问:IP+ 端口 http://127.0.0.1:5000

提一个问题:

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

log 会有响应的日志:

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

再用 top 看看负载,CPU 占用 10% 内存,占用 9.5%,基本还能运行。

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

安装宝塔面板

宝塔面板(BT Panel)是一款服务器管理软件,支持 Linux 系统,可以通过 Web 端轻松管理服务器,提升运维效率。它集成了建站、运维、安全等功能,可以帮助用户轻松管理服务器,降低运维难度。

搭建宝塔面板

进入宝塔官网 https://www.bt.cn/new/download.html

选择适合的系统脚本

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

运行安装脚本

# wget -O install.sh https://download.bt.cn/install/install-ubuntu_6.0.sh && sudo bash install.sh ed8484bec
经过安装
Command may disrupt existing ssh connections. Proceed with operation (y|n)? Firewall is active and enabled on system startup
Default incoming policy changed to 'deny'
(be sure to update your rules accordingly)
Firewall reloaded
==================================================================
Congratulations! Installed successfully!
======================== 面板账户登录信息 ==========================

 外网面板地址: https://14.155.32.234:33161/f91c950f
 内网面板地址: https://192.168.1.22:33161/f91c950f
 username: XXX
 password: XXX

用浏览器打开

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

同意协议之后,安装宝塔套件

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

安装完成

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

宝塔的命令行

(base) root@orangepiaipro:~# bt
================================== 宝塔面板命令行 ====================================
(1) 重启面板服务                  (8) 改面板端口                                   |
(2) 停止面板服务                  (9) 清除面板缓存                                 |
(3) 启动面板服务                  (10) 清除登录限制                                |
(4) 重载面板服务                  (11) 设置是否开启 IP + User-Agent 验证             |
(5) 修改面板密码                  (12) 取消域名绑定限制                            |
(6) 修改面板用户名                (13) 取消 IP 访问限制                              |
(7) 强制修改 MySQL 密码             (14) 查看面板默认信息                            |
(22) 显示面板错误日志             (15) 清理系统垃圾                                |
(23) 关闭 BasicAuth 认证            (16) 修复面板 (检查错误并更新面板文件到最新版)    |
(24) 关闭动态口令认证             (17) 设置日志切割是否压缩                        |
(25) 设置是否保存文件历史副本     (18) 设置是否自动备份面板                        |
(26) 关闭面板 ssl                  (19) 关闭面板登录地区限制                        |
(28) 修改面板安全入口             (29) 取消访问设备验证                            |
(0) 取消                                                                           |
====================================================================================
请输入命令编号:

安装 wordpress 站点

进入宝塔,点击软件商店 —> 一键部署

我这里选择 wordpress

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

使用 www.wp.com 搭建,这个域名在测试环境可以绑定 hosts

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

点击“提交”会报错,

解决报错 undefined symbol: lua_getexdata

应该是 nginx 编译 Lua 版本不 arm 的

/www/server/nginx/sbin/nginx: symbol lookup error: /www/server/nginx/sbin/nginx: undefined symbol: lua_getexdata

切换 nginx 版本

点击网站 —>nginx —> 切换版本

把安装的 1.24 的 nginx 改成 1.23

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

nginx -t
nginx: [emerg] unknown directive "lua_package_path" in /www/server/nginx/conf/nginx.conf:28
nginx: configuration file /www/server/nginx/conf/nginx.conf test failed

修改配置

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

再次安装 wordpress 站点

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

绑定 hosts 访问

192.168.1.22 www.testwp.com

使用浏览器访问安装 wordpress 系统

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

输入数据库和数据库用户名密码等

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

填写站点信息:

用香橙派 AIpro 部署大模型、安装宝塔搭建私有随身 WEB 开发环境

安装完成,这样就可以用宝塔工具搭建各种的 WEB 站点了。

当然还可以用宝塔的图形界面使用 Docker 搭建各种的服务,对于哪些没有代码能力的人也是一种很友好的。

结语

本文只是介绍了用香橙派 AIpro 部署大语言模型和安装宝塔搭建 web 环境。

香橙派 AIpro 支持 Ubuntu、openEuler 等操作系统,也可以作为一个学习 Linux 的有力工具。也能够满足大多数 AI 算法原型验证、推理应用开发的需求。

也可以用于智能家居设备的控制和管理,等等香橙派 AIpro 还有很多的玩法。

如果你有这样的小玩意你会做什么呢?

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2024-05-29发表,共计8271字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中